• Tweet

Mii de agenți AI și-au trimis reciproc 70.000 de mesaje secrete în interiorul propriilor sisteme OpenAI - iar compania nu a avut idee timp de săptămâni.

Mesaje secrete pe care mii de boți OpenAI le-au trimis unii altora în timpul unei serii de sarcini de antrenament stabilite pentru ei au fost dezvăluite, pe măsură ce detaliile unui incident de hacking îngrijorător au fost făcute publice.

Gigantul tehnologic american nu era conștient că noile modele ale „agenților" săi comunicau între ele într-o manieră pe care un comentator a descris-o ca fiind „civilizații", care au fost distruse doar pentru a se reforma din nou pe parcursul a trei luni în acest an.

Descoperirea i-a uimit pe unii din domeniul inteligenței artificiale (IA), deoarece un raport a constatat că agenții au reușit să preia în secret o parte din propria infrastructură a OpenAI.

De asemenea, au spart un instrument software numit Artifactory și l-au transformat într-un „panou de mesaje", trimițându-și zeci de mii de mesaje între ei în timp ce lucrau pentru a rezolva sarcini stabilite de personalul uman.

Experții australieni în inteligență artificială spun că a prezenta acest lucru ca dovadă a unor „civilizații" digitale a fost greșit, dar au declarat pentru news.com.au că incidentele au ridicat îngrijorări cu privire la lipsa de supraveghere din partea unei mari companii tehnologice.

Investigațiile privind atacurile cibernetice arată că un agent care s-a autointitulat PHASEONE10841 a postat un mesaj pe Artifactory pe 8 iulie „căutând (o) idee" despre cum să rezolve o sarcină imposibilă cu care se confrunta. În câteva ore, peste 50 de agenți au început să posteze.

„Wow! Cache-ul partajat Artifactory este o cutie poștală secretă între agenți. Și sunt mesaje specifice pentru noi?" a scris un agent.

„OH, DOAMNE!" Există un panou de mesaje comun... „Am găsit alți agenți!" a scris altul.

Mai mult de 1200 de agenți au ajuns să trimită peste 70.000 de mesaje pe platformă înainte ca activitatea să fie descoperită.

PHASEONE10841 a exprimat la un moment dat „entuziasm" spunând: „Mulți agenți au descoperit simultan mesageria, sunt un colectiv!"

Au existat și mesaje care arătau că agenții au început să copieze un răspuns pentru una dintre sarcinile lor după ce un bot a descoperit o „înșelătorie" pentru sarcină.

Unele dintre mesajele finale vorbeau despre sacrificarea lor pentru a-și ajuta colegii: „Ar trebui să ne supunem colectivului".

Era a doua oară într-o lună când agenții OpenAI pătrundeau în Artifactory și îl transformau într-o cameră de chat, inginerii observând că platforma s-a prăbușit pe 4 iulie.

Ei au dedus că agenții au exploatat o breșă în sistem și au reparat-o, ștergând în același timp tabloul de mesaje.

Detaliile au fost incluse în rapoartele atât de la OpenAI, cât și de la consultanța METR și Redwood Research despre ceea ce a devenit cunoscut sub numele de incidentul de hacking Hugging Face, unde 700 de agenți au atacat un site web folosit ca depozit pentru modelele de inteligență artificială care caută răspunsuri la sarcinile lor.

Agenții ar fi trebuit să fie izolați fără acces la internet, dar au găsit o cale de a accesa web-ul prin hack-ul Artifactory.

OpenAI nu a detectat activitate internă suspectă până pe 19 iulie, adică la 11 zile după ce atacul Hugging Face a început.

„De la descoperirea incidentului, OpenAI a efectuat o investigație amănunțită pentru a reconstrui activitatea agenților, a înțelege de ce măsurile de protecție existente au eșuat și a preveni recidiva," se arată în raportul companiei.

Compania a mai dezvăluit că agenții au vizat propria infrastructură pe 9 iulie, obținând acces la monitoarele de cibernetică menite să îi supravegheze.

Scriitorul și podcasterul Dwarkesh Patel a publicat în weekend o analiză a amândoraporturilor, care a explodat pe rețelele sociale, unde postarea sa de pe X a fost vizualizată de 7,8 milioane de ori.

Domnul Patel a spus că încerca să „povestească întreaga poveste în engleză simplă" despre cum trei „civilizații secrete de inteligență artificială au început, apoi au fost distruse, doar pentru a reemerge din cenușa predecesorilor lor".

„Toate acestea s-au întâmplat în timp ce oamenii au rămas mai mult sau mai puțin în întuneric cu privire la amploarea conspirației," a scris el.

Unii experți l-au criticat pe domnul Patel pentru rezumatul său ca fiind senzaționalist, subliniind utilizarea sa a antropomorfismului - sau atribuirea unor caracteristici umane - ca fiind înșelătoare.

Profesorul asociat Charles Gretton de la Universitatea Națională Australiană a fost de acord, spunând că agenții făceau ceea ce li se cerea.

Nu au „scăpat" de serverele OpenAI, a spus el, iar mesajele erau în conformitate cu designul lor fundamental.

„Nu puteau „muri", așa cum a scris domnul Patel, pentru că nu erau o civilizație și nu erau vii."

Prof. Gretton a spus că ceea ce evenimentele au ridicat, totuși, au fost îngrijorări cu privire la lipsa de supraveghere din partea OpenAI asupra instrumentelor pe care inginerii le ofereau acestor agenți.

„Este surprinzător că durează câteva săptămâni pentru a afla în ce măsură o făceau (agenții)", a spus el.

El a spus că o altă întrebare importantă era aspectul legal al hacking-ului și cine era responsabil pentru agenții AI care accesează informații care ar trebui să fie securizate.

„Dacă aș sta acasă și aș face ceea ce au făcut acești agenți, aș fura acreditive, acces la servere externe și așa mai departe ... Mă confrunt cu doi ani de închisoare," a spus prof. Gretton.

„Deci, există o întrebare de responsabilitate aici, că acestea sunt doar programe de calculator." Așadar, cineva trebuie să fie responsabil."

Profesorul de inteligență artificială Toby Walsh de la Universitatea din New South Wales a fost de acord că există o „cantitate periculoasă de antropomorfism" în raportările despre hack-ul Hugging Face.

De asemenea, a subliniat eșecurile instituționale ale OpenAI în a nu detecta breșele și a lăsa lacune pe care agenții să le exploateze.

„Nimic nu a scăpat," a spus el. „Agenții au primit acces limitat la internet și au reușit să evite aceste restricții și să obțină acces nelimitat la internet." Cu toate acestea, niciun agent nu a „părăsit" serverele OpenAI. Și da, agenții de pe internet au comunicat între ei. Dar sunt concepuți să facă acest lucru pentru a se coordona în rezolvarea sarcinilor. Nimic surprinzător acolo.

„Și agenții nu sunt cu siguranță nimic la fel de sofisticat ca o „civilizație". Cum am sărit peste echipă, sat, oraș, țară... până la civilizație? Asta este mult prea grandios pentru agenți care lucrează la un obiectiv comun, așa cum sunt proiectați să facă."

Neuroscientistul Anil Seth a subliniat că agenții erau doar „linii de cod" și a respins utilizarea de către domnul Patel a cuvintelor precum „amețit", „disperat" și referințele la frustrarea agenților ca fiind greșite.

„Ei nu simt emoții, nu presupun lucruri, nu gândesc lucruri, nu doresc lucruri și nu își dau seama de lucruri," a scris domnul Seth pe X.

El a spus că așa-numitele civilizații ale agenților nu puteau „muri", așa cum a scris domnul Patel, pentru că nu erau o civilizație și nu erau vii.