• Tweet

Compania Anthropic a avertizat că progresele rapide ale tehnologiei ar putea permite în curând sistemelor de IA să se perfecționeze mai repede decât poate societatea să controleze riscurile.

Anthropic propune ca cele mai importante companii de inteligență artificială din lume să găsească o modalitate coordonată de a suspenda dezvoltarea sistemelor avansate de IA, avertizând că tehnologia evoluează atât de rapid încât există riscul ca oamenii să piardă controlul.

Compania din spatele chatbotului Claude a declarat joi într-o postare pe blog că, pe măsură ce IA de ultimă generație devine din ce în ce mai rapidă în îndeplinirea sarcinilor, „ar fi bine pentru lume să aibă opțiunea de a încetini sau de a suspenda temporar" dezvoltarea acesteia.

Anthropic a declarat că institutul său intern de cercetare intenționează să exploreze problema în colaborare cu alții și să „ia măsuri" pentru a ajuta la construirea sistemelor pentru o încetinire sau o pauză credibilă, fără a oferi detalii suplimentare.

Divergențe între marii dezvoltatori

OpenAI, rivalul Anthropic, a susținut o abordare diferită într-un raport publicat miercuri, afirmând că „guvernele democratice - nu companiile private care acționează singure - trebuie să stabilească în cele din urmă regulile, măsurile de protecție și mecanismele de responsabilizare".

„Părerea noastră este că deciziile privind ritmul inovației în domeniul IA nu ar trebui lăsate în seama unui singur laborator, companie sau grup de interese speciale", a afirmat compania.

Modelele de IA devin din ce în ce mai rapide, cu creșteri rapide ale vitezei cu care pot efectua sarcini software, cum ar fi codarea, pe cont propriu, a afirmat Anthropic în postarea sa. Pe baza tendințelor actuale și având la dispoziție suficientă putere de calcul, un sistem de IA ar putea fi capabil să-și proiecteze și să-și dezvolte propriul succesor, în ceea ce se numește „autoîmbunătățire recursivă".

IA care se autoconstruiește ar fi o etapă tehnologică majoră care ar aduce beneficii în știință, sănătate și alte domenii, a afirmat Anthropic, dar „ar putea, de asemenea, să crească riscul ca oamenii să piardă controlul asupra sistemelor de IA".

Unele personalități din industria tehnologică au avertizat de mult timp cu privire la un astfel de scenariu.

Riscul unui „vierme" de IA capabil de hacking auto-adaptabil

Postarea Anthropic vine după o altă avertizare din această săptămână din partea unei echipe de cercetători de la Universitatea din Toronto, care a arătat cum instrumentele de IA ar putea fi folosite pentru a crea un nou tip de „vierme" de IA care își adaptează strategia de hacking pe măsură ce se răspândește de la un dispozitiv la altul și preia controlul asupra unei vaste rețele de calcul.

„Cred că este foarte important ca oamenii să înțeleagă că nu doar cele mai mari și mai puternice modele lingvistice ridică probleme de securitate", a declarat cercetătorul principal Nicolas Papernot într-un interviu.

Autorii postării Anthropic, cofondatorul companiei Jack Clark și Marina Favaro, șefa institutului de cercetare al acesteia, au afirmat că pauza va fi utilizată pentru a permite „cercetarea structurilor sociale și a alinierii" pentru a ține pasul cu progresele IA. Alinierea este un termen utilizat în industrie pentru a se asigura că tehnologia corespunde valorilor și intențiilor umane.

Mecanisme globale de coordonare și provocările actuale de reglementare

Coordonarea propusă ar permite laboratoarelor avansate de IA să verifice dacă rivalii globali și-au oprit sau încetinit efectiv activitatea, „și că un actor rău intenționat nu ar putea folosi pretextul unei încetiniri coordonate pentru a avansa în secret".

Compania a afirmat că este necesar un mecanism global coordonat deoarece, fără acesta, o încetinire a dezvoltării IA ar putea permite actorilor „cel mai puțin prudenți" să recupereze terenul pierdut și să sporească presiunea asupra companiilor și guvernelor în timp ce acestea iau decizii dificile privind siguranța IA.

Temerile că sistemele avansate de IA ar putea scăpa de sub controlul uman și ar putea provoca daune societății au crescut pe măsură ce tehnologia devine din ce în ce mai performantă. Propriul model Mythos al Anthropic a provocat valuri de șoc în diverse industrii, inclusiv în sectorul bancar și al software-ului, la începutul acestui an, datorită capacității sale de a identifica vulnerabilități în codul existent.

Însă reglementarea a fost lentă, în special în SUA, unde își au sediul majoritatea laboratoarelor de IA de top. Un ordin executiv al administrației Trump de la începutul acestei săptămâni a pus responsabilitatea pe umerii laboratoarelor însele, solicitândule să-și supună voluntar cele mai performante modele la testări de securitate cibernetică efectuate de guvern înainte de lansarea publică.

Cercetătorii din domeniul IA au mai cerut o pauză și înainte, dar au avut puțin succes. Elon Musk, care deține laboratorul de IA xAI, s-a numărat printre susținătorii unei inițiative din 2023 a organizației non-profit Future of Life Institute de a opri dezvoltarea IA timp de șase luni pentru a acorda timp pentru măsuri de siguranță.

Poziționarea Anthropic pe piață și democratizarea atacurilor informatice cu IA

Anthropic s-a poziționat de mult timp ca un laborator de IA axat pe siguranță. La începutul acestui an, a refuzat să permită armatei SUA să-i utilizeze modelele pentru supraveghere internă și arme complet autonome, provocând o reacție negativă din partea guvernului, care l-a inclus pe o listă neagră de securitate națională, care va intra în vigoare mai târziu, în 2026.

Postarea Anthropic vine în contextul în care compania și OpenAI, producătorul ChatGPT, se întrec să-și vândă acțiunile pe bursă, într-o ofertă publică inițială care ar putea evalua Anthropic la aproape un trilion de dolari.

Papernot a notificat autoritățile canadiene de securitate cibernetică înainte de a-și publica raportul, care arată cum cercetătorii au dezvoltat viermele într-un laborator folosind un instrument de IA „open-source" la care dezvoltatorii de software pot avea acces și pe care îl pot modifica cu ușurință și la un cost redus.

„În trecut, atacatorii cibernetici se concentrau pe ținte cu valoare foarte mare", a spus el. „Sisteme bancare, spitale, rețele electrice, sisteme de tratare a apei, școli."

Papernot a fost de acord că ar trebui să existe o colaborare mai strânsă între companii, agenții guvernamentale și cercetători academici pentru a dezvolta contramăsuri, pe măsură ce instrumentele de hacking bazate pe IA intensifică căutarea vulnerabilităților informatice.

„Acel laptop vechi pe care îl aveți în subsol și pe care nu îl verificați regulat nu pare a fi o țintă de mare valoare, dar poate fi folosit ca rampă de lansare pentru a ataca aceste ținte de valoare mai mare", a spus el. „Orice este conectat la internet este acum expus riscului, din cauza costului redus la care au ajuns aceste atacuri cibernetice."