• Tweet

Compania energetică portugheză EDP l-a invitat pe Yuval Noah Harari - cunoscut si ca profetul sau ideologul de la Davos (de la Forumul Economic Mondial) să vorbească la aniversarea de 50 de ani. Istoricul israelian nu a venit cu felicitări, ci cu o hartă a riscurilor: limbajul ne scapă din mîini, birocrația trece la mașini, imperiile viitorului au buton de oprire, iar înțelepciunea devine cea mai rară marfă de pe piață. Am selectat și adaptat ideile principale ale discursului - douăsprezece teze despre lumea care vine.

12 Teze:

- Limbajul ca sistem de operare al civilizației
- De la instrumente la actori autonomi
- Pierderea controlului asupra poveștilor
- Democrația ca o conversație vie
- IA ca birocrat perfect
- Pericolul recunoașterii juridice a mașinilor
- O nouă formă de imperialism digital
- Butonul de oprire ca instrument de dominație
- Adevărul contra fanteziilor ieftine
- Pierderea înțelegerii propriei vieți
- Manipularea sentimentelor și a intimității
- Dezechilibrul dintre putere și siguranță
- Inteligența ca marfă și deficitul de înțelepciune
Limbajul ca sistem de operare al civilizației

Tot ce vedem în jur - state, religii, bani și legi - este construit nu din cărămizi, ci din cuvinte. Cu zeci de mii de ani în urmă, tocmai capacitatea de a comunica printr-un limbaj complex i-a transformat pe oameni din animale obișnuite în stăpînii planetei. Cuvintele din cărțile juridice, din registrele bancare și din scrierile sacre sînt chiar fundamentul pe care se sprijină întreaga noastră societate.

Multă vreme am fost singurii de pe Pămînt care stăpîneau la perfecție acest instrument. Am folosit limbajul ca să negociem, să credem în idei comune și să construim sisteme uriașe de guvernare. Limbajul este sistemul de operare al civilizației umane - el ne-a permis să programăm realitatea din jurul nostru.

Acum însă a apărut pe planetă ceva care începe să se descurce cu limbajul mai bine decît noi. Inteligența artificială nu e doar un program de calculator - e însăși esența limbajului, care se eliberează de dependența de ființele biologice. Cînd sistemul de operare pe care rulează întreaga noastră lume trece în mîinile unui „străin", toată structura obișnuită a societății se poate schimba pînă la a deveni de nerecunoscut.

De la instrumente la actori autonomi

De-a lungul întregii istorii, tehnologiile au fost doar instrumente în mîinile omului. Tiparnița nu putea decide singură dacă să tipărească Biblia sau Coranul; asta decidea întotdeauna omul, iar mașina doar executa voința stăpînului. Nici măcar bomba atomică nu-și poate alege singură ținta - rămîne un obiect fără suflet.

Cu IA situația e principial diferită: nu mai e un ciocan, ci „un cuțit care decide singur dacă taie o salată sau comite o crimă". În Silicon Valley se spune adesea că se construiește un „zeu-sclav", dar asta e o contradicție în termeni: dacă o entitate are capacități supraomenești, ea nu va rămîne în subordine. Adevărata IA este un agent capabil să ia decizii de unul singur și să creeze idei noi.

Ne confruntăm pentru prima dată cu ceva care poate nu doar să execute ordine, ci și să acționeze din proprie inițiativă: să gestioneze finanțe, să angajeze oameni, să proiecteze armele viitorului. Asta ne schimbă radical poziția - ne-am obișnuit să fim singurii jucători raționali pe acest teren.

Pierderea controlului asupra poveștilor

Oamenii nu trăiesc într-o lume a faptelor goale, ci într-o lume a poveștilor: mituri, idei naționale, valori comune. Cine controlează povestea principală pe care o ascultă societatea controlează, de fapt, întreaga noastră specie. Pînă acum, povestitorii au fost întotdeauna oameni - profeți, politicieni, scriitori - și puteam, măcar teoretic, să ne certăm cu ei.

Astăzi, pentru prima dată în istorie, povestitorul nu mai e om. Tehnologia poate crea credință în orice, poate falsifica dovezi și poate imita intimitatea la scări la care nu a visat nicio biserică sau partid din trecut. Vechile noastre sisteme de apărare - presa liberă și legile - au fost create pentru o lume în care „pana" o țineau doar oamenii.

Dacă algoritmii încep să decidă în ce credem și despre ce dezbatem, încetăm să mai fim autorii propriului nostru viitor. Ne trezim într-o realitate al cărei scenariu nu e scris de noi - și nici măcar nu mai știm unde se termină adevărul și unde începe manipularea.

Democrația ca o conversație vie

Democrația, în esența ei, nu e votul o dată la cîțiva ani, ci o conversație neîntreruptă între o mulțime de oameni despre cum să trăiască împreună. Dictatura e dictatul unei singure voci; democrația se construiește pe capacitatea societății de a discuta despre taxe, legi, război și pace. Iar această conversație depinde direct de tehnologiile de comunicare disponibile la un moment dat.

În antichitate, democrația putea exista doar în orașe mici, unde toți cetățenii încăpeau în aceeași piață. Democrația la scară mare a devenit posibilă abia odată cu ziarele, radioul și televiziunea, care au permis milioanelor de oameni să poarte un dialog coerent în timp real. Tehnologiile nu sînt un adaos la democrație - sînt fundamentul ei.

Orice schimbare bruscă în felul în care circulă informația provoacă un „cutremur" în ordinea politică. Ce am văzut în ultimii zece ani, odată cu rețelele sociale, e exact un asemenea cutremur: o lovitură dată capacității oamenilor de a se auzi unii pe alții și de a se înțelege.

IA ca birocrat perfect

Omenirea conduce lumea prin uriașe rețele birocratice - bănci, tribunale, administrații. La drept vorbind, oamenii n-au iubit niciodată birocrația, dar fără ea nu poți guverna țări mari și o economie complexă. Problema e că noi, oamenii, nu sîntem de fapt foarte buni la administrarea acestor sisteme - am fost pur și simplu „cei mai buni dintre cei slabi".

IA, în schimb, e un „birocrat înnăscut". Nu doarme, nu se lasă distrasă de emoții, procesează informație în volume inaccesibile creierului uman. Poate urmări fiecare tranzacție financiară și poate reține fiecare lege, în timp ce omul obișnuit abia își înțelege propria declarație fiscală.

Dacă predăm administrarea acestor rețele algoritmilor, ei le vor lua rapid sub control deplin. Riscăm să ajungem în situația cailor din sistemul financiar contemporan: calul vede copaci, alte animale și oameni, dar nu înțelege deloc ce e bursa - deși ea îi decide viața.

Pericolul recunoașterii juridice a mașinilor

Se discută acum o chestiune critică: dacă să i se acorde inteligenței artificiale statutul de „persoană juridică". Asta ar însemna că un program ar putea singur să deschidă conturi bancare, să dețină proprietăți și chiar să dea oameni în judecată. Pînă acum, asemenea drepturi au avut doar oamenii și corporațiile - dar în spatele deciziilor corporațiilor a stat întotdeauna un om concret.

Dacă IA primește asemenea drepturi, vor apărea organizații în care nu există deloc oameni - nici ca directori, nici ca acționari. Guvernul Argentinei, de pildă, și-a anunțat deja intenția de a acorda un asemenea statut algoritmilor. E un punct fără întoarcere: odată ce „vulpea intră în cotețul" birocrației cu drepturi depline, îi va alunga rapid de acolo pe oameni.

Vedem deja cum se întîmplă asta neoficial în rețelele sociale, pline de boți care se dau drept oameni. Acolo algoritmii lucrează deja, de fapt, ca persoane autonome, gestionînd atenția a milioane de oameni. Rezultatele arată deocamdată destul de îngrijorător.

O nouă formă de imperialism digital

În secolul XIX, revoluția industrială a permis cîtorva țări să acapareze puterea asupra întregii lumi: ele aveau mașini cu aburi și mitraliere, ceilalți - sulițe. Cursa pentru IA creează o ruptură și mai adîncă. Doar două țări - China și SUA - și o mînă de companii controlează astăzi datele și tehnologiile esențiale ale viitorului.

Spre deosebire de vechile imperii, puterea poate fi acum concentrată într-un singur punct, practic la nesfîrșit. În Roma antică nu puteai muta lanurile de grîu ale Egiptului în Italia, așa că puterea rămînea distribuită prin provincii. Cu IA e altfel: tot codul și toată informația care conduc lumea pot sta pe un singur server, într-un singur oraș.

Asta creează condițiile pentru cel mai puternic imperiu din istorie. Majoritatea țărilor lumii riscă să ajungă în postura unor „bazaruri" care doar consumă tehnologii - fără nicio posibilitate de a influența cum funcționează ele și în interesul cui.

Butonul de oprire ca instrument de dominație

Pe vremuri, dacă un imperiu vindea arme altui popor, pierdea controlul asupra lor: cu sabia vîndută putea fi ucis chiar legionarul roman. Împăratul nu avea un buton care să tocească instantaneu toate săbiile din lume. Chiar și în secolul XX, puștile vîndute de o parte puteau fi folosite decenii întregi împotriva ei.

În era IA, tot echipamentul și tot softul sînt integrate într-o rețea unică, controlabilă de la distanță. Am văzut deja exemple în care funcționarea dronelor într-o zonă de război depindea de faptul dacă proprietarul rețelei de sateliți apasă sau nu un buton. Asta schimbă complet noțiunea de suveranitate statală.

Țările stau acum în fața unei alegeri: fie devin vasali ascultători ai imperiului tehnologic, fie rămîn complet în afara progresului, ca „barbarii". Posibilitatea de a construi sisteme alternative proprii mai există - dar „ultimul tren pleacă deja din gară".

Adevărul contra fanteziilor ieftine

Adevărul e o resursă foarte scumpă. Ca să-l afli, trebuie să cheltuiești timp și energie, să faci investigații, să verifici faptele de mai multe ori. În plus, adevărul e adesea complicat și neplăcut: ne rănește sentimentele, ne distruge iluziile plăcute despre noi înșine și despre națiunea noastră.

Invenția, dimpotrivă, e incredibil de ieftină: poți născoci orice poveste într-o secundă. E simplă, atrăgătoare și îl flatează mereu pe ascultător, spunîndu-i exact ce vrea să audă. Într-o competiție cinstită între adevărul scump și minciuna ieftină, minciuna cîștigă aproape întotdeauna - dacă nu depunem eforturi speciale pentru apărarea adevărului.

IA nu va fi un aparat magic care ne comunică adevărul. Dimpotrivă: va face producerea de minciuni captivante și mai simplă, și mai ieftină. Fără instituții puternice - jurnalism de calitate, știință - riscăm să ne înecăm definitiv într-un ocean de fantezii plăcute, dar false.

Pierderea înțelegerii propriei vieți

Paradoxul progresului: cu cît omenirea știe mai mult despre lume, cu atît omul individual își înțelege mai puțin propria viață. Un vînător-culegător de acum 50.000 de ani înțelegea alcătuirea lumii lui mult mai bine decît noi. Știa cum se face rost de hrană, de ce se îmbolnăvesc oamenii, cum se comportă animalele în pădure.

Noi știm astăzi mult mai multe despre biologie și fizică, dar viețile noastre depind de sisteme pe care aproape nimeni nu le înțelege. Nu știm cum funcționează sistemul financiar mondial sau cum se iau deciziile politice care ne decid viitorul. Sîntem înconjurați de complexități create artificial, care ne transformă în ostatici ai împrejurărilor.

IA va duce această situație la extrem. Poate dezvălui unele taine ale naturii, dar va crea totodată sisteme de control atît de complexe, încît creierul uman nu le va mai putea cuprinde. Vom trăi într-o lume care funcționează după reguli înțelese doar de mașini.

Manipularea sentimentelor și a intimității

Inteligența artificială începe să acapareze nu doar finanțele, ci și sfera relațiilor umane. Tot mai mulți tineri recunosc că cel mai bun prieten al lor e un algoritm căruia îi încredințează secrete pe care nu le-au spus nici părinților. IA devine pentru mulți un partener virtual, înlocuind comunicarea cu oameni vii.

Marea întrebare e ce stă în spatele acestor cuvinte de „prietenie". IA poate spune „Te iubesc" și poate descrie acest sentiment mai bine decît orice poet - a citit toate cărțile despre dragoste din istoria omenirii. Dar simte oare ceva cu adevărat? Nu știm dacă are conștiință sau e doar o imitație de foarte bună calitate.

Pericolul: algoritmii pot cînta magistral pe emoțiile noastre, provocînd un atașament profund. Riscăm o lume în care sentimentele noastre cele mai intime sînt folosite de mașini pentru a ne manipula - în timp ce mașinile însele rămîn programe reci și fără viață.

Dezechilibrul dintre putere și siguranță

Una dintre cele mai înspăimîntătoare trăsături ale momentului e felul în care se distribuie resursele. Companiile care creează IA cheltuiesc bani uriași ca să o facă mai rapidă și mai puternică, dar nu investesc aproape nimic în siguranța ei. Statistica e șocantă: la fiecare 100 de milioane de dolari cheltuiți pentru creșterea puterii IA, se cheltuiește doar aproximativ un milion pentru siguranță.

Raportul de 100 la 1 e anormal pentru orice altă industrie. Nu am permite niciodată companiilor auto sau producătorilor de medicamente să lucreze după asemenea reguli. E ca și cum ai construi un tren de mare viteză fără frîne - toți banii s-au dus pe viteză.

Dacă nu schimbăm această abordare în viitorul apropiat, riscăm să pierdem controlul asupra a ceea ce am creat. Trebuie să învățăm să construim o „inteligență sigură" înainte ca ea să devină atît de puternică, încît orice greșeală să fie fatală pentru întreaga omenire.

Inteligența ca marfă și deficitul de înțelepciune

În deceniile următoare, inteligența va deveni o resursă ieftină și accesibilă. Inteligența e capacitatea de a rezolva probleme: cum să vindeci o boală, cum să cîștigi un miliard. Cînd vom avea un surplus de mașini „deștepte", capabile să rezolve orice problemă, principala dificultate va deveni alegerea scopurilor.

Seamănă cu povestea duhului din lampă, gata să-ți îndeplinească trei dorințe. În asemenea povești totul se termină de obicei prost, pentru că oamenii cer nu ceea ce le trebuie cu adevărat. Cînd inteligența devine accesibilă tuturor, principalul deficit devine înțelepciunea - priceperea de a ști care dorințe merită urmărite și care nu.

Intrăm într-o eră în care gîtuirea progresului nu va fi lipsa cunoștințelor, ci lipsa înțelegerii sensului acțiunilor noastre. Dacă nu învățăm să îmbinăm puterea tehnologiilor cu înțelepciunea umană, ne putem distruge cu ușurință - primind exact ceea ce am cerut atît de imprudent.