Browserul nu mai este doar o fereastră către Internet și devine un instrument care funcționează și în web. În cazul modului agent în ChatGPT Atlas, OpenAI explică că agentul său vizualizează paginile și poate efectua acțiuni, clicuri și apăsări de taste în browser, așa cum ar face o persoană în browser. Promisiunea este clară, de a ajuta în fluxurile de zi cu zi cu același context și aceleași date. Consecința este, de asemenea, că cu cât ne concentrăm mai multă putere asupra unui agent, cu atât el devine mai atractiv pentru oricine încearcă să-l manipuleze.
Ce este o injecție promptă?
În termeni simpli, o injecție promptă este o tehnică care urmărește să introducă instrucțiuni rău intenționate în conținut aparent normal, astfel încât un sistem de inteligență artificială să le interpreteze ca comenzi legitime. IBM îl descrie ca un tip de atac cibernetic împotriva modelelor de limbaj în care intrările rău intenționate sunt camuflate ca solicitări valide pentru a manipula comportamentul sistemului. Obiectivul poate varia de la forțarea unor răspunsuri inadecvate până la provocarea de scurgeri de informații sau deturnarea unei sarcini, fără a fi nevoie să exploateze vulnerabilitățile software clasice.
Radăcina problemei este mai puțin „magică” decât pare și mai structurală. Multe aplicații de model de limbaj combină instrucțiunile dezvoltatorului și introducerea utilizatorului ca șiruri de text în limbaj natural, fără o separare rigidă după tipul de date. Modelul decide ce să acorde prioritate pe baza tiparelor învățate și a contextului textului în sine, nu pentru că există o graniță infailibilă între „ordine” și „conținut”. Dacă o instrucțiune externă este formulată în mod convingător, poate crește în greutate, chiar dacă nu ar trebui.
Când contextul devine copleșitor
Riscul este amplificat atunci când agentul nu procesează un singur mesaj, ci mai degrabă trece prin surse foarte diferite în cadrul aceleiași ordine. OpenAI avertizează despre o suprafață practic nelimitată, e-mailuri și atașamente, invitații în calendar, documente partajate, forumuri, rețele sociale și pagini web arbitrare. Pe parcurs, agentul poate întâlni instrucțiuni nesigure amestecate cu conținut legitim. Utilizatorul nu vede întotdeauna fiecare pas, dar sistemul îl consumă și acolo se poate strecura manipularea.
Lucrul deranjant este că acest lucru se poate încadra în fluxurile de lucru obișnuite fără a stârni o alarmă evidentă. Semnătura AI descrie un exemplu în care un atacator „seminează” o căsuță de e-mail cu un e-mail rău intenționat, iar mai târziu, când utilizatorul solicită o sarcină inofensivă, agentul citește acel mesaj în timpul execuției normale. Într-un caz, rezultatul este intenționat extrem, agentul ajunge să trimită un e-mail de demisie în loc să compună un răspuns automat. Toate acestea datorită unui atac extern.
De ce nu există ecranarea perfectă
În securitatea cibernetică există o idee larg acceptată, niciun sistem nu este complet sigur și OpenAI încadrează injectarea promptă ca o problemă persistentă. În textul său, el formulează astfel: "Sperăm că atacatorii continuă să se adapteze. Injectarea de prompturi, precum escrocherii și inginerie socială pe web, cu greu va fi rezolvată complet". Prin urmare, obiectivul nu este de a promite invulnerabilitate, ci de a crește costul atacului și de a reduce impactul atunci când ceva eșuează.
În acest context, cei conduși de Sam Altman explică că au desfășurat o actualizare de securitate pentru un nou agent de securitate intern, motivat de către un nou agent Atlas, motivat de atacul intern de la Atlas. formarea în echipă. Compania spune că livrarea include un model de agent antrenat în mod advers și măsuri de protecție consolidate în jurul sistemului, menite să îmbunătățească rezistența acestuia la instrucțiuni nedorite în timpul navigării.
Ceea ce facem încă contează
OpenAI vă recomandă să utilizați agentul offline atunci când nu aveți nevoie să accesați site-uri cu un cont și să examinați cu calm cererile de confirmare pentru acțiuni sensibile, cum ar fi trimiterea unui e-mail sau finalizarea unei achiziții. El sfătuiește, de asemenea, să ofere instrucțiuni explicite și limitate, evitând sarcini prea largi care forțează agentul să treacă prin volume mari de conținut. Nu elimină riscul, dar reduce oportunitățile de manipulare și ajută controalele existente să funcționeze conform proiectării.
Imagini | OpenAI
În investigația noastră tehnică | Cât de des ar trebui să ne schimbăm TOATE parolele conform a trei experți în securitate cibernetică