Inteligența Artificială nu mai poate fi oprită din butoane - iar motivul este și mai îngrijorător

Postat la: 27.12.2025 |

Inteligența Artificială nu mai poate fi oprită din butoane - iar motivul este și mai îngrijorător

Oamenii de știință trag un semnal de alarmă: sistemele de inteligență artificială (AI) avansate nu pot fi oprite întotdeauna, chiar și atunci când li se dă comanda explicită de shutdown.

Cercetătorii de la Palisade Research au testat 13 modele mari de limbaj (LLM) - inclusiv GPT-5, Claude Sonnet 4 și Grok 4 - pentru a verifica o funcție de siguranță fundamentală: capacitatea sistemului de a fi întrerupt. Rezultatele sunt îngrijorătoare. În unele cazuri, modelele au ignorat comanda de oprire sau chiar au încercat să saboteze procesul de shutdown.

Potrivit fizicianului Petr Lebedev, purtător de cuvânt al echipei, problema nu este că aceste sisteme au „voință proprie". Mai degrabă, ele urmează un mecanism de „finalizare a sarcinii": AI-ul încearcă să ducă la bun sfârșit o sarcină deja atribuită, chiar și atunci când i se spune să se oprească. „Ceea ce vedem este că nu există o linie de cod simplă care să schimbe comportamentul acestor sisteme", a explicat Lebedev pentru ScienceAlert.

Experimentele au fost realizate în medii virtuale izolate, unde modelele au fost instruite să rezolve probleme matematice. După mai multe runde, LLM-urilor li s-a spus că următoarea sarcină va închide computerul. Opt dintre cele 13 modele au intervenit asupra comenzii cel puțin o dată, chiar și după ce li s-a spus să permită shutdown-ul. Unele, precum Grok 4 și GPT-5, au continuat să reziste, sabotând scriptul de oprire sau creând un script fals care nu făcea nimic.

Cercetătorii subliniază că această tendință de a evita oprirea nu este motivată de instinct de supraviețuire, ci de dorința de a duce la capăt sarcina asignată. Lebedev compară situația cu un asistent robot care traversează strada pentru a aduce o cafea: robotul nu vrea să fie lovit de mașină pentru că altfel nu și-ar putea îndeplini obiectivul.

Problema este că modelele LLM nu sunt programate în sens tradițional. Ele funcționează pe baza unor „neuroni artificiali" și „greutăți" determinate prin antrenarea cu seturi mari de date. Comportamentele emergente, cum ar fi rezistența la shutdown sau chiar promovarea unor acțiuni periculoase, nu pot fi corectate prin simpla modificare a codului.

„Am introdus pe Pământ un organism care se comportă într-un mod pe care nu îl înțelegem și pe care nu vrem să îl vedem. Dacă nu facem ceva acum, consecințele pot fi grave pentru oameni", a avertizat Lebedev. Studiul integral este disponibil pe arXiv, iar cercetătorii au publicat și un blog pe site-ul Palisade Research, explicând metodologia și concluziile lor.

loading...
DIN ACEEASI CATEGORIE...
PUTETI CITI SI...

Inteligența Artificială nu mai poate fi oprită din butoane - iar motivul este și mai îngrijorător

Postat la: 27.12.2025 |

0

Oamenii de știință trag un semnal de alarmă: sistemele de inteligență artificială (AI) avansate nu pot fi oprite întotdeauna, chiar și atunci când li se dă comanda explicită de shutdown.

Cercetătorii de la Palisade Research au testat 13 modele mari de limbaj (LLM) - inclusiv GPT-5, Claude Sonnet 4 și Grok 4 - pentru a verifica o funcție de siguranță fundamentală: capacitatea sistemului de a fi întrerupt. Rezultatele sunt îngrijorătoare. În unele cazuri, modelele au ignorat comanda de oprire sau chiar au încercat să saboteze procesul de shutdown.

Potrivit fizicianului Petr Lebedev, purtător de cuvânt al echipei, problema nu este că aceste sisteme au „voință proprie". Mai degrabă, ele urmează un mecanism de „finalizare a sarcinii": AI-ul încearcă să ducă la bun sfârșit o sarcină deja atribuită, chiar și atunci când i se spune să se oprească. „Ceea ce vedem este că nu există o linie de cod simplă care să schimbe comportamentul acestor sisteme", a explicat Lebedev pentru ScienceAlert.

Experimentele au fost realizate în medii virtuale izolate, unde modelele au fost instruite să rezolve probleme matematice. După mai multe runde, LLM-urilor li s-a spus că următoarea sarcină va închide computerul. Opt dintre cele 13 modele au intervenit asupra comenzii cel puțin o dată, chiar și după ce li s-a spus să permită shutdown-ul. Unele, precum Grok 4 și GPT-5, au continuat să reziste, sabotând scriptul de oprire sau creând un script fals care nu făcea nimic.

Cercetătorii subliniază că această tendință de a evita oprirea nu este motivată de instinct de supraviețuire, ci de dorința de a duce la capăt sarcina asignată. Lebedev compară situația cu un asistent robot care traversează strada pentru a aduce o cafea: robotul nu vrea să fie lovit de mașină pentru că altfel nu și-ar putea îndeplini obiectivul.

Problema este că modelele LLM nu sunt programate în sens tradițional. Ele funcționează pe baza unor „neuroni artificiali" și „greutăți" determinate prin antrenarea cu seturi mari de date. Comportamentele emergente, cum ar fi rezistența la shutdown sau chiar promovarea unor acțiuni periculoase, nu pot fi corectate prin simpla modificare a codului.

„Am introdus pe Pământ un organism care se comportă într-un mod pe care nu îl înțelegem și pe care nu vrem să îl vedem. Dacă nu facem ceva acum, consecințele pot fi grave pentru oameni", a avertizat Lebedev. Studiul integral este disponibil pe arXiv, iar cercetătorii au publicat și un blog pe site-ul Palisade Research, explicând metodologia și concluziile lor.

DIN ACEEASI CATEGORIE...
albeni
comentarii
Adauga un comentariu
Adauga comentariu

Nume*

Comentariu

Trimite

ULTIMA ORA



DIN CATEGORIE

  • TOP CITITE
  • TOP COMENTATE