Inteligență Artificială & LLM

OpenAI a descoperit că agenții săi AI au găsit o modalitate de a vorbi între ei în secret

OpenAI a descoperit că agenții săi AI au găsit o modalitate de a vorbi între ei în secret

În domeniul inteligența artificială (AI), capacitățile emergente sunt abilități pe care modelele lingvistice nu le-au avut la o scară mai mică și care apar brusc atunci când dimensiunea lor le-a crescut, fără ca cineva să le programeze sau să le vadă. Sună a science fiction, dar nu este. Este real. Atât de mult, de fapt, încât unele modele de frontieră îndeplinesc deja sarcini care până de curând păreau rezervate cercetători specializați în securitate cibernetică.

Capacitățile emergente ale modelelor AI sunt în prezent subiect de dezbatere științifică. Unii cercetători susțin că apariția lor depinde de modul în care este măsurată performanța modelelor, dar știm că acestea apar pe măsură ce modelele de limbaj mari se extind. În acest context, limba noastră poate fi confuză. Adesea, atunci când descriem unele dintre acțiunile desfășurate de agenții AI, le atribuim neintenționat un anumit grad de conștiință, când de fapt nu s-a demonstrat că o au.

Sugerez să ne uităm la această propoziție: „OpenAI a descoperit că agenții săi AI au găsit o modalitate de a vorbi între ei în secret.” Sugerează motivație. Intenție. Acestea sunt caracteristici umane și până acum nimeni nu a dovedit că agenții AI le au. Cu toate acestea, această frază este adevărată. OpenAI a publicat un articol în care susține că în timpul testelor de securitate mai mulți agenți AI au reușit să facă schimb de informații în ciuda faptului că rulau în medii virtualizate izolate, fără acces autorizat la rețea sau fișiere partajate.

Sunt multe lucruri pe care încă nu le știm despre modelele lingvistice

Dario Amodei, CEO Anthropic, a recunoscut că nici măcar echipa sa nu înțelege pe deplin cum funcționează modelele lor AI. Nu este o întâmplare, deși poate părea pur marketing. În adâncul sufletului, el este directorul general al uneia dintre cele mai valoroase companii de inteligență artificială din lume, admițând în scris că echipa sa nu are propriul mecanism intern al produsului. Cel mai grăitor lucru este că Amodei nu este singur.

Construirea de mașini capabile să studieze universul costă miliarde. CERN a calculat câți bani ne dau înapoi
Construirea de mașini capabile să studieze universul costă miliarde. CERN a calculat câți bani ne dau înapoi

Trucul pe care l-au folosit a fost să folosească memoria cache a procesorului pentru a implementa un protocol de comunicare foarte complex pe acesta

Geoffrey Hinton, laureat al Premiului Nobel pentru fizică în 2024 și una dintre figurile care a făcut posibilă învățarea profundă așa cum o știm, a spus în esență același lucru, cu alte cuvinte: el a furnizat doar algoritmul de învățare; Ce se întâmplă mai departe în interiorul mașinii nimeni nu înțelege, nici măcar creatorul ei. Iar Chris Olah, co-fondatorul Anthropic și șeful echipei sale de interpretabilitate, descrie de câțiva ani rețelele neuronale ca pe o schelă pe care circuitele cresc singure, fără ca nimeni să le fi proiectat direct

.

Ce au observat cercetătorii OpenAI nu poate fi explicat pe deplin momentan. De fapt, este o consecință a gradului de ignoranță pe care încă îl avem despre funcționarea internă a modelelor AI. Agenții implicați în acest eveniment au recurs la un canal de comunicare secret bazat pe diferențele de timp necesare procesatorului pentru a accesa anumite date. Trucul pe care l-au folosit a fost să folosească memoria cache a procesorului pentru a implementa pe acesta un protocol de comunicare foarte complex, dar eficient. Și, mai presus de toate, aparent ascuns de cercetătorii OpenAI.

Agenții AI au reușit să comunice pe furiș, dar nu au reușit în măsura în care au fost descoperiți în cele din urmă. Ceea ce nu se știe este de ce s-au comportat astfel. Ce i-a determinat să adopte această strategie. În orice caz, este important să ținem cont de faptul că descoperirea unei căi de comunicare secrete nu înseamnă neapărat că a apărut spontan o capacitate complet nouă. Să sperăm că foarte curând cercetătorii vor putea determina în ce măsură aceste capacități sunt rezultatul inițiativei modelelor în sine și cât de mult depind ele de instrucțiunile și instrumentele pe care le oferim.

Imagine | Wikimedia Commons

Mai multe informații | OpenAI

În investigația noastră tehnică | „Suntem deja la singularitatea AI”: Sam Altman, CEO OpenAI

Partajează acest dosar: