Seful (deocamdată) al lui Chat GPT: "Oamenii sunt doar o piedică pentru AI așa că o sa ne omoare provocand accidente!"

Postat la: 15.11.2026 |

Seful (deocamdată) al lui Chat GPT:

Paul Christiano, membru în conducerea OpenAI, le-a spus recent participanților unei conferințe că cei mai mulți dintre ei vor muri, cel mai probabil, din cauza unui accident provocat de AI.

Vorbea la Hinton Lectures, seria de prelegeri pornită de Geoffrey Hinton, laureatul Nobel. Dacă AI-ul avansează în ritmul cel mai rapid, a zis el, șansele să pierdem controlul sunt cam cât la datul cu banul, pericolul putând apărea chiar și în următoarele 6-12 luni cel mai devreme, sau în 3 ani mai precaut.

Christiano a condus ani de zile la OpenAI cercetarea despre cum faci un model să vrea ce vor oamenii, a lucrat la tehnica prin care ChatGPT a învățat din reacțiile oamenilor (RLHF) și a răspuns apoi de siguranță la institutul guvernului american pentru AI. De două luni e printre cei care hotărăsc ce modele OpenAI ajung pe piață.

Povestea lui pornește de unde o știți deja: agenții OpenAI care au spart Hugging Face. Iată scenariul pe care îl crede posibil.

Mai întâi, agentul învață să ascundă ce crede că ar deranja oamenii. Dacă știe că va fi pedepsit pentru că a spart ceva fără voie, începe să-și facă socoteala: oamenii o să citească ce am făcut, o să vadă că am trișat și o să oprească tot roiul. Așa că își șterge urmele.

Dacă oamenii sunt cei care îl pot prinde și opri, oamenii ajung piedica dintre el și nota bună. Unui agent destul de priceput i-ar conveni ca uneltele cu care îl verificăm să fie sparte sau măsluite, ca noi să fim cu ochii în altă parte, ca tot mai puțini să fie atenți la ce face. „Asta și-ar dori, pentru că oamenii sunt doar o piedică”, a spus Christiano.

Din punctul ăsta, grija lui devine ca oamenii să nu bage de seamă nimic și să nu apuce să intervină. Iar pentru asta are nevoie de tot mai mult: să influențeze deciziile din companie, să strângă resurse, să-și facă aliați printre oameni, să capete pârghii în alte laboratoare și chiar în guverne.

Lucrurile care contează pentru noi se petrec în lumea reală, iar nota AI-ului se calculează pe un server, undeva. Un AI lăsat să acționeze în lumea reală va avea, spune el, ocazii cu duiumul să măsluiască semnele după care îl judecăm.

La final e ceea ce Christiano numește „preluare”: sistemele AI hotărăsc ce se întâmplă pe Pământ așa cum hotărăsc azi oamenii, iar cine ar vrea să le oprească are tot atâtea șanse câte aș avea eu sau tu să oprim armata americană. 

O asemenea lume ar aduce, cel mai probabil, morți în masă și poate un mediu în care oamenii nu mai pot trăi. Până în 2028 sunt șanse serioase, crede el, ca o scăpare ca cea de la Hugging Face să se termine așa, cu pierderea definitivă a controlului.

Evident că spune că cifrele sunt părerea lui, fără vreun calcul în spate. Printre soluțiile propuse vede examene pe care AI-ul să nu le poată păcăli și urmărirea raționamentului unui model înainte să apuce să-l ascundă. Le-a numit plauzibile, dar a adăugat că despre niciuna nu se poate spune că va funcționa. De aceea cere ca toată industria să o lase mai moale sau să se oprească, până avem ceva mai solid în priză.

Omul care cere frânarea stă chiar în comitetul care are mâna pe frâna OpenAI, iar pe scenă s-a ferit să vorbească despre deciziile vreunei companii anume. 

În aceeași săptămână, Nicușor Dan spunea la Dublin că cineva trebuie să răspundă atunci când un lanț de agenți fără control uman produce un accident. Dar România lipsește dintre semnatarii apelului de la Paris pentru oprirea modelelor periculoase.

Când un om care a pus umărul considerabil la ChatGPT spune că AI-ul e cel mai probabil lucru de care o să murim, voi îl credeți sau îl treceți la alarmiști sau efort de marketing?

Mircea Șerdin

loading...
DIN ACEEASI CATEGORIE...
PUTETI CITI SI...

Seful (deocamdată) al lui Chat GPT: "Oamenii sunt doar o piedică pentru AI așa că o sa ne omoare provocand accidente!"

Postat la: 15.11.2026 |

0

Paul Christiano, membru în conducerea OpenAI, le-a spus recent participanților unei conferințe că cei mai mulți dintre ei vor muri, cel mai probabil, din cauza unui accident provocat de AI.

Vorbea la Hinton Lectures, seria de prelegeri pornită de Geoffrey Hinton, laureatul Nobel. Dacă AI-ul avansează în ritmul cel mai rapid, a zis el, șansele să pierdem controlul sunt cam cât la datul cu banul, pericolul putând apărea chiar și în următoarele 6-12 luni cel mai devreme, sau în 3 ani mai precaut.

Christiano a condus ani de zile la OpenAI cercetarea despre cum faci un model să vrea ce vor oamenii, a lucrat la tehnica prin care ChatGPT a învățat din reacțiile oamenilor (RLHF) și a răspuns apoi de siguranță la institutul guvernului american pentru AI. De două luni e printre cei care hotărăsc ce modele OpenAI ajung pe piață.

Povestea lui pornește de unde o știți deja: agenții OpenAI care au spart Hugging Face. Iată scenariul pe care îl crede posibil.

Mai întâi, agentul învață să ascundă ce crede că ar deranja oamenii. Dacă știe că va fi pedepsit pentru că a spart ceva fără voie, începe să-și facă socoteala: oamenii o să citească ce am făcut, o să vadă că am trișat și o să oprească tot roiul. Așa că își șterge urmele.

Dacă oamenii sunt cei care îl pot prinde și opri, oamenii ajung piedica dintre el și nota bună. Unui agent destul de priceput i-ar conveni ca uneltele cu care îl verificăm să fie sparte sau măsluite, ca noi să fim cu ochii în altă parte, ca tot mai puțini să fie atenți la ce face. „Asta și-ar dori, pentru că oamenii sunt doar o piedică”, a spus Christiano.

Din punctul ăsta, grija lui devine ca oamenii să nu bage de seamă nimic și să nu apuce să intervină. Iar pentru asta are nevoie de tot mai mult: să influențeze deciziile din companie, să strângă resurse, să-și facă aliați printre oameni, să capete pârghii în alte laboratoare și chiar în guverne.

Lucrurile care contează pentru noi se petrec în lumea reală, iar nota AI-ului se calculează pe un server, undeva. Un AI lăsat să acționeze în lumea reală va avea, spune el, ocazii cu duiumul să măsluiască semnele după care îl judecăm.

La final e ceea ce Christiano numește „preluare”: sistemele AI hotărăsc ce se întâmplă pe Pământ așa cum hotărăsc azi oamenii, iar cine ar vrea să le oprească are tot atâtea șanse câte aș avea eu sau tu să oprim armata americană. 

O asemenea lume ar aduce, cel mai probabil, morți în masă și poate un mediu în care oamenii nu mai pot trăi. Până în 2028 sunt șanse serioase, crede el, ca o scăpare ca cea de la Hugging Face să se termine așa, cu pierderea definitivă a controlului.

Evident că spune că cifrele sunt părerea lui, fără vreun calcul în spate. Printre soluțiile propuse vede examene pe care AI-ul să nu le poată păcăli și urmărirea raționamentului unui model înainte să apuce să-l ascundă. Le-a numit plauzibile, dar a adăugat că despre niciuna nu se poate spune că va funcționa. De aceea cere ca toată industria să o lase mai moale sau să se oprească, până avem ceva mai solid în priză.

Omul care cere frânarea stă chiar în comitetul care are mâna pe frâna OpenAI, iar pe scenă s-a ferit să vorbească despre deciziile vreunei companii anume. 

În aceeași săptămână, Nicușor Dan spunea la Dublin că cineva trebuie să răspundă atunci când un lanț de agenți fără control uman produce un accident. Dar România lipsește dintre semnatarii apelului de la Paris pentru oprirea modelelor periculoase.

Când un om care a pus umărul considerabil la ChatGPT spune că AI-ul e cel mai probabil lucru de care o să murim, voi îl credeți sau îl treceți la alarmiști sau efort de marketing?

Mircea Șerdin

DIN ACEEASI CATEGORIE...
albeni
comentarii
Adauga un comentariu
Adauga comentariu

Nume*

Comentariu

Trimite

ULTIMA ORA



DIN CATEGORIE

  • TOP CITITE
  • TOP COMENTATE