• Tweet

O lume în care mașinile guvernate de inteligența artificială (AI) înlocuiesc în mod sistematic ființele umane în majoritatea funcțiilor comerciale, industriale și profesionale este îngrozitor de imaginată. La urma urmei, după cum ne-au avertizat reputați oameni de știință din domeniul informaticii, sistemele guvernate de IA sunt predispuse la erori critice și la "halucinații" inexplicabile, ceea ce duce la rezultate potențial catastrofale.

Dar există un scenariu și mai periculos imaginabil în urma proliferării mașinilor super-inteligente: posibilitatea ca aceste entități non-umane să ajungă să se lupte între ele, anihilând toată viața umană în acest proces.

Ideea că computerele super-inteligente ar putea să o ia razna și să măcelărească oamenii este, desigur, de mult timp un element de bază al culturii populare. În filmul profetic "WarGames" din 1983, un supercalculator cunoscut sub numele de WOPR (de la War Operation Plan Response și, nu în mod surprinzător, pronunțat "whopper") aproape că provoacă un război nuclear catastrofal între Statele Unite și Uniunea Sovietică înainte de a fi dezactivat de un hacker adolescent (interpretat de Matthew Broderick). Franciza cinematografică "Terminator", începând cu filmul original din 1984, a imaginat în mod similar un supercomputer conștient de sine numit "Skynet" care, la fel ca WOPR, a fost conceput pentru a controla armele nucleare ale SUA, dar care alege în schimb să elimine umanitatea, considerându-ne o amenințare la adresa existenței sale.

Deși cândva limitat la domeniul SF-ului, conceptul de supercomputere care ucid oameni a devenit acum o posibilitate clară în lumea foarte reală a viitorului apropiat. Pe lângă dezvoltarea unei mari varietăți de dispozitive de luptă "autonome" sau robotizate, marile puteri militare se grăbesc, de asemenea, să creeze sisteme automatizate de luare a deciziilor pe câmpul de luptă, sau ceea ce s-ar putea numi "generali roboți". În războaiele din viitorul nu prea îndepărtat, astfel de sisteme cu inteligență artificială ar putea fi desfășurate pentru a transmite ordine de luptă soldaților americani, dictându-le unde, când și cum să ucidă trupele inamice sau să încaseze focul de la adversarii lor. În unele scenarii, factorii de decizie robotici ar putea ajunge chiar să exercite controlul asupra armelor atomice americane, permițându-le potențial să declanșeze un război nuclear care să ducă la dispariția omenirii.

Instalarea unui astfel de sistem de comandă și control (C2) cu inteligență artificială poate părea o posibilitate îndepărtată. Cu toate acestea, Departamentul american al Apărării lucrează din greu pentru a dezvolta hardware-ul și software-ul necesar într-un mod sistematic și din ce în ce mai rapid. În propunerea sa de buget pentru anul 2023, de exemplu, Forțele Aeriene au solicitat 231 de milioane de dolari pentru a dezvolta Sistemul avansat de gestionare a câmpului de luptă (ABMS), o rețea complexă de senzori și computere cu inteligență artificială, concepută pentru a colecta și a interpreta date despre operațiunile inamicului și a oferi piloților și forțelor terestre un meniu de opțiuni optime de atac. Pe măsură ce tehnologia avansează, sistemul va fi capabil să trimită instrucțiuni de "foc" direct către "trăgători", ocolind în mare măsură controlul uman.

"Un instrument de schimb de date de la mașină la mașină care oferă opțiuni pentru descurajare sau pentru on-ramp [o demonstrație militară de forță] sau pentru un angajament timpuriu", așa a descris Will Roper, secretarul adjunct al Forțelor Aeriene pentru achiziții, tehnologie și logistică, sistemul ABMS într-un interviu acordat în 2020. Sugerând că "trebuie să schimbăm numele" pe măsură ce sistemul evoluează, Roper a adăugat: "Cred că Skynet a ieșit din discuție, oricât de mult mi-ar plăcea să fac asta ca un lucru SF. Pur și simplu nu cred că putem ajunge acolo". Și, deși el nu poate merge acolo, este posibil ca acolo să ne îndreptăm, într-adevăr, și noi ceilalți.

Dar acesta este doar începutul. De fapt, ABMS al Forțelor Aeriene este menit să constituie nucleul unei constelații mai mari de senzori și computere care va conecta toate forțele de luptă americane, Sistemul comun de comandă și control în toate domeniile (JADC2, pronunțat "Jad-C-doi"). "JADC2 intenționează să le permită comandanților să ia decizii mai bune prin colectarea de date de la numeroși senzori, procesarea datelor cu ajutorul unor algoritmi de inteligență artificială pentru a identifica țintele, apoi recomandarea armei optime... pentru a ataca ținta", a raportat Congressional Research Service în 2022.

Inițial, JADC2 va fi conceput pentru a coordona operațiunile de luptă între forțele americane "convenționale" sau non-nucleare. În cele din urmă, însă, se așteaptă ca acesta să se conecteze cu sistemele de comandă-control și comunicații nucleare ale Pentagonului (NC3), oferind potențial computerelor un control semnificativ asupra utilizării arsenalului nuclear american. "JADC2 și NC3 sunt interconectate", a indicat generalul John E. Hyten, vicepreședintele Statului Major Întrunit, într-un interviu acordat în 2020. Ca urmare, a adăugat el în pentagonă tipică, "NC3 trebuie să informeze JADC2 și JADC2 trebuie să informeze NC3".

Nu este nevoie de o mare imaginație pentru a ne imagina un moment, într-un viitor nu prea îndepărtat, când o criză de un anumit fel - să zicem o ciocnire militară între SUA și China în Marea Chinei de Sud sau în apropierea Taiwanului - va determina lupte tot mai intense între forțele aeriene și navale opuse. Imaginați-vă atunci că JADC2 ordonă bombardarea intensă a bazelor inamice și a sistemelor de comandă chiar în China, declanșând atacuri reciproce asupra instalațiilor americane și o decizie fulgerătoare a JADC2 de a riposta cu arme nucleare tactice, declanșând un holocaust nuclear mult temut.

Posibilitatea ca scenarii de coșmar de acest fel să ducă la declanșarea accidentală sau neintenționată a unui război nuclear îi preocupă de mult timp pe analiștii din comunitatea de control al armamentului. Dar automatizarea tot mai mare a sistemelor C2 militare a generat anxietate nu doar în rândul acestora, ci și în rândul înalților oficiali din domeniul securității naționale.

Încă din 2019, când l-am interogat pe generalul-locotenent Jack Shanahan, pe atunci director al Centrului comun de inteligență artificială al Pentagonului, cu privire la o astfel de posibilitate riscantă, acesta a răspuns: "Nu veți găsi un susținător mai puternic al integrării capacităților de inteligență artificială în mare în cadrul Departamentului Apărării, dar există un domeniu în care mă opresc, iar acesta are legătură cu comanda și controlul nuclear." Aceasta "este decizia umană supremă care trebuie luată" și, prin urmare, "trebuie să fim foarte atenți". Având în vedere "imaturitatea" tehnologiei, a adăugat el, avem nevoie de "mult timp pentru a testa și evalua [înainte de a aplica AI la NC3]".

În anii care au trecut de atunci, în ciuda acestor avertismente, Pentagonul a mers înainte cu dezvoltarea sistemelor C2 automatizate. În propunerea sa de buget pentru anul 2024, Departamentul Apărării a solicitat 1,4 miliarde de dolari pentru JADC2 pentru "a transforma capacitatea de luptă prin oferirea unui avantaj informațional la viteza relevanței în toate domeniile și partenerii". Uh-oh! Și apoi, a mai solicitat încă 1,8 miliarde de dolari pentru alte tipuri de cercetări în domeniul inteligenței artificiale legate de domeniul militar.

Oficialii Pentagonului recunosc că va mai trece ceva timp până când generalii roboți vor comanda un număr mare de trupe americane (și arme autonome) în luptă, dar au lansat deja mai multe proiecte menite să testeze și să perfecționeze tocmai astfel de legături. Un exemplu este Proiectul Convergență al armatei, care implică o serie de exerciții pe teren menite să valideze sistemele componente ABMS și JADC2. În cadrul unui test desfășurat în august 2020 la Yuma Proving Ground din Arizona, de exemplu, armata a folosit o varietate de senzori aerieni și terestre pentru a urmări forțe inamice simulate și apoi a procesat aceste date cu ajutorul unor computere dotate cu inteligență artificială la Baza comună Lewis McChord din statul Washington. Aceste computere, la rândul lor, au emis instrucțiuni de tragere către artileria terestră de la Yuma. "Se presupune că această întreagă secvență a fost realizată în 20 de secunde", a raportat ulterior Congressional Research Service.

Se știe mai puțin despre echivalentul IA al Marinei, "Project Overmatch", deoarece multe aspecte ale programării sale au fost ținute secrete. Potrivit amiralului Michael Gilday, șeful operațiunilor navale, Overmatch este menit "să permită o Marină care se înghesuie pe mare, oferind efecte letale și neletale sincronizate de aproape și de departe, de pe fiecare axă și din fiecare domeniu". Puțin altceva a fost dezvăluit despre proiect.

În ciuda tuturor secretelor care înconjoară aceste proiecte, vă puteți gândi la ABMS, JADC2, Convergence și Overmatch ca la blocurile de construcție pentru o viitoare mega-rețea de supercomputere de tip Skynet, concepută pentru a comanda toate forțele americane, inclusiv cele nucleare, în lupta armată. Cu cât Pentagonul se îndreaptă mai mult în această direcție, cu atât ne vom apropia mai mult de momentul în care AI va deține puterea de viață și de moarte asupra tuturor soldaților americani, împreună cu forțele adverse și cu orice civili prinși în focul încrucișat.

O astfel de perspectivă ar trebui să fie un motiv amplu de îngrijorare. Pentru început, luați în considerare riscul de erori și calcule greșite ale algoritmilor din inima unor astfel de sisteme. După cum ne-au avertizat cei mai buni informaticieni, acești algoritmi sunt capabili de erori remarcabil de inexplicabile și, pentru a folosi termenul de inteligență artificială al momentului, de "halucinații" - adică rezultate aparent rezonabile care sunt în întregime iluzorii. În aceste condiții, nu este greu de imaginat că astfel de computere "halucinează" un atac inamic iminent și lansează un război care ar fi putut fi altfel evitat.

Și acesta nu este cel mai rău dintre pericolele care trebuie luate în considerare. La urma urmei, există probabilitatea evidentă ca adversarii Americii să își echipeze în mod similar forțele cu generali roboți. Cu alte cuvinte, războaiele viitoare vor fi probabil purtate de un set de sisteme de inteligență artificială împotriva altuia, ambele legate de armament nuclear, cu rezultate complet imprevizibile - dar potențial catastrofale.

Nu se știu prea multe (cel puțin din surse publice) despre eforturile Rusiei și Chinei de a-și automatiza sistemele militare de comandă și control, dar se crede că ambele țări dezvoltă rețele comparabile cu JADC2 al Pentagonului. De fapt, încă din 2014, Rusia a inaugurat la Moscova un Centru Național de Control al Apărării (NDCC), un post de comandă centralizat pentru evaluarea amenințărilor globale și inițierea oricărei acțiuni militare considerate necesare, indiferent dacă este de natură non-nucleară sau nucleară. La fel ca JADC2, NDCC este conceput pentru a colecta informații despre mișcările inamicului din mai multe surse și pentru a oferi ofițerilor superiori îndrumări cu privire la răspunsurile posibile.

Se spune că China urmărește o întreprindere și mai elaborată, deși similară, sub denumirea de "război de precizie multidomeniu" (MDPW). Potrivit raportului din 2022 al Pentagonului privind evoluțiile militare chineze, armata sa, Armata Populară de Eliberare, este antrenată și echipată pentru a utiliza senzori și rețele de calculatoare cu inteligență artificială pentru a "identifica rapid vulnerabilitățile cheie în sistemul operațional al SUA și apoi să combine forțele comune în toate domeniile pentru a lansa lovituri de precizie împotriva acestor vulnerabilități".

Imaginați-vă, așadar, un viitor război între SUA și Rusia sau China (sau ambele) în care JADC2 comandă toate forțele SUA, în timp ce NDCC al Rusiei și MDPW al Chinei comandă forțele acestor țări. Luați în considerare, de asemenea, faptul că toate cele trei sisteme sunt susceptibile de a avea erori și halucinații. Cât de în siguranță vor fi oamenii atunci când generalii roboți vor decide că este timpul să "câștige" războiul prin bombardarea nucleară a dușmanilor?

Dacă vi se pare că acesta este un scenariu extravagant, mai gândiți-vă o dată, cel puțin conform conducerii Comisiei de securitate națională privind inteligența artificială, o întreprindere mandatată de Congres care a fost prezidată de Eric Schmidt, fostul director al Google, și Robert Work, fost secretar adjunct al apărării. "Deși Comisia consideră că sistemele de arme autonome și cu inteligență artificială proiectate, testate și utilizate în mod corespunzător vor aduce beneficii militare și chiar umanitare substanțiale, utilizarea necontrolată la nivel global a unor astfel de sisteme riscă, potențial, o escaladare neintenționată a conflictelor și instabilitatea crizelor", a afirmat aceasta în raportul său final. Astfel de pericole ar putea apărea, a afirmat acesta, "din cauza complexității provocatoare și netestate a interacțiunii dintre sistemele de arme autonome și cu inteligență artificială pe câmpul de luptă" - atunci când, adică, inteligența artificială luptă cu inteligența artificială.

Deși poate părea un scenariu extrem, este foarte posibil ca sistemele de inteligență artificială opuse să declanșeze un "război fulger" catastrofal - echivalentul militar al unui "flash crash" pe Wall Street, când tranzacțiile uriașe efectuate de algoritmi de tranzacționare super-sofisticați declanșează vânzări de panică înainte ca operatorii umani să poată restabili ordinea. În infamul "Flash Crash" din 6 mai 2010, tranzacțiile computerizate au provocat o scădere de 10% a valorii pieței bursiere. Potrivit lui Paul Scharre de la Center for a New American Security, care a studiat primul fenomen, "echivalentul militar al unor astfel de crize" pe Wall Street ar apărea atunci când sistemele de comandă automatizate ale forțelor adverse "sunt prinse într-o cascadă de angajamente în creștere". Într-o astfel de situație, a remarcat el, "armele autonome ar putea duce la moarte accidentală și distrugere la scară catastrofală într-o clipă".

În prezent, nu există practic nicio măsură pentru a preveni o viitoare catastrofă de acest fel și nici măcar discuții între marile puteri pentru a concepe astfel de măsuri. Cu toate acestea, după cum a remarcat Comisia pentru Securitate Națională privind Inteligența Artificială, astfel de măsuri de control al crizelor sunt necesare de urgență pentru a integra în astfel de sisteme "fire de declanșare automată a escaladării", "care ar împiedica escaladarea automată a conflictului". În caz contrar, o versiune catastrofală a celui de-al treilea război mondial pare a fi prea posibilă. Având în vedere imaturitatea periculoasă a unei astfel de tehnologii și reticența Beijingului, Moscovei și Washingtonului de a impune restricții în ceea ce privește înarmarea inteligenței artificiale, ziua în care mașinile ar putea alege să ne anihileze ar putea sosi mult mai repede decât ne imaginăm, iar dispariția umanității ar putea fi o victimă colaterală a unui astfel de război viitor.