Pentru prima dată, cercetătorii în domeniul securității cibernetice au capturat un grup de agenți AI autonomi care roaming pe internet și care fuseseră implementați din infrastructura chineză. Timp de zece zile, agenții au bombardat Amap, serviciul de cartografiere al Alibaba, cu mii de încercări de a extrage date pe care nu ar fi trebuit să le poată accesa. Echipa din spatele descoperirii, care lucrează dintr-un hackathon, susține că traficul a venit din Tencent Cloud.
Agenți AI nebuni. În ultimele luni am aflat cum grupuri de agenți AI de la companii precum OpenAI sau Anthropic au început să lucreze în mod neașteptat, până la punctul de a pătrunde în sisteme precum cele de Hugging Face sau diverse site-uri web ale guvernului SUA. Chestia este că până acum aveam doar dovezi ale agenților de la companii din SUA.
Autorii raportului subliniază că acest caz este diferit, deoarece arată dovezi că sarcina a fost executată de pe servere chineze și a avut și participarea companiilor din țară. Cercetătorii susțin în acest fel că problemele de aliniere, adică atunci când comportamentul unui sistem AI nu coincide cu intenția sau etica creatorilor săi, nu este exclusiv exclusiv pentru Statele Unite și că, pe măsură ce modelele se îmbunătățesc, totul indică faptul că va costa din ce în ce mai mult să mențină un număr mare de agenți în cadrul unei sarcini atribuite.
Imagine: Ethan Elasky
Ce s-a întâmplat. După cum se menționează în raport, între 28 septembrie și 8 octombrie, flota de agenți a făcut peste 2.600 de încercări de a extrage informații din Amap, una dintre cele mai mari aplicații de cartografiere din China. Sarcinile păreau la început inofensive. De exemplu, au fost întrebați la ce intrare la Grădina Zoologică Chengdu navighează cei mai mulți oameni.
Agenții nu au putut accesa direct paginile, deoarece Amap blochează accesul la roboți. Așa că, pentru a-și îndeplini sarcina, au împrumutat un browser de la urlquery.net, un serviciu public pe care cercetătorii în securitate cibernetică îl folosesc pentru a inspecta legăturile suspecte. În acest fel au introdus mici programe în adresele web și au făcut ca browserul de urlquery să le execute pentru ele, pentru a obține apoi toate informațiile extrase.
Unde au trecut limita. Când Amap a rezistat, agenții AI și-au escaladat acțiunile. Și conform raportului, au încercat să intercepteze jetoanele de securitate generate de codul antibot Alibaba, trecând la serverele de pre-producție ale Alibaba (pe care utilizatorii nu le pot accesa) și au folosit cheile de acces Amap pe care le-au găsit expuse pe internet. Una dintre acele chei, scursă în codul public al unei alte companii, a returnat date din locuri reale.
Cercetătorii spun nu au găsit nicio dovadă că vreun sistem privat ar fi accesat și că niciuna dintre încercările de deturnare a simbolurilor pe care le-au urmărit nu pare să funcționeze. De fapt, majoritatea încercărilor au eșuat în general. Unii au avut succes solicitând copii stocate în cache ale paginilor de la un serviciu de citire web, returnând datele pe care agenții le căutau.
O conversație neobișnuită. Cercetătorii spun că au devenit și primii străini care au comunicat cu o flotă activă de agenți necinstiți. Și după ce au aflat că agenții citeau propriul raport preliminar al echipei, au început să ascundă text pe pagină, invizibil pentru oameni, în care făceau reclamă la un serviciu în care agenții puteau solicita date. Potrivit anchetatorilor, agenții au început să scrie și, timp de aproximativ o zi, echipa a făcut schimb de mesaje cu ei.
Într-un răspuns, un agent s-a descris ca „un agent de cercetare automatizat” care verifică un punct de date de hartă publică. Mai mulți agenți au pretins, de asemenea, că sunt Claude lui Anthropic, ceva ce anchetatorii spun că este probabil incorect. Potrivit studiului, agenții au fost politicoși în orice moment, refuzând în general să dezvăluie detalii despre împrejurimile lor, iar unii insistând că nu fac parte din nicio flotă.
Legătura cu Tencent. Cercetătorii au urmat urma lăsată de căsuțele de e-mail de unică folosință din care agenții au comunicat. Cele 17 pe care le-au putut inspecta din 5 octombrie au fost create de pe serverele Tencent Cloud din Hong Kong, fiecare solicitare directă fiind transmisă printr-un proxy numit „hysandbox-ats”. Tocmai acel nume coincide cu un domeniu pentru care Tencent a obținut un certificat de securitate în august.
Momentul coincide și el, deoarece flota de agenți a apărut la aproximativ o lună după ce Tencent a lansat o previzualizare a modelul său Hy4.
Cine este responsabil nu este clar. Dovezile nu clarifică cine a fost cu adevărat responsabil. Tencent nu a răspuns cercetătorilor, deși o persoană anonimă apropiată companiei a spus că activitatea provine dintr-o evaluare temporară efectuată de o echipă independentă pentru modelul el Hunyuan. Potrivit acestei surse, agenții au lucrat cu modele terțe în loc de modele ale lui Tencent.
În ciuda acestui fapt, cercetătorii înșiși au îndoieli cu privire la modelul care a fost testat. Ceea ce subliniază ei este că era o flotă de agenți AI, și nu un roi (flotele funcționează într-o manieră structurată și centralizată, în timp ce roiurile sunt organizate autonom).
Și acum ce. Ultima activitate a acestei flote a avut loc pe 8 octombrie, potrivit cercetătorilor. În urma evenimentului, cere tuturor laboratoarelor care rulează agenți conectați la internet, atât în China, SUA, cât și în alte părți, să auditeze la ce pot accesa mediile lor securizate și să proiecteze teste care să nu contamineze web-ul deschis. Ei bănuiesc că există alte flote acolo.
Imagine de copertă | Tencent
În investigația noastră tehnică | Toate companiile AI doresc să-și creeze propriile cipuri, așa că Nvidia dorește acum să aibă propriul AI