Una dintre cele mai notabile particularități ale ființei umane este, fără îndoială, folosirea limbajului. Folosim o rețea complicată și de neînțeles de simboluri care, timp de milenii, au depășit cu mult funcția biologică cu care s-a născut. Bogăția limbii noastre este mult mai mare decât ceea ce este necesar pentru supraviețuirea noastră în savana africană. De ce acest surplus de cuvinte, structuri gramaticale și sintactice? De ce această pluralitate de sensuri, această varietate semantică care îmbogățește pe cât de mult încurcă?
Dar în plus, ca și cum limba vorbită nu ar fi complexă în sine, a apărut scrisul. Au sosit ideogramele, silabele și alfabetele. Au sosit cuneiformul monoton, fenicianul, frumosul grec și latina noastră sobră. Este păcat să nu scrii de la dreapta la stânga folosind alifatul, considerat o artă în sine.
Mașinile, când soseau serios, nu erau înțelese în esență ca calculatoare, ci ca manipulatori simbolici. Inspirat de celebrele Mașini Turing, pionierii inteligenței artificiale precum Allen Newell și Herbert Simon a înțeles că un computer primește ca intrare o serie de simboluri (litere sau cifre) asupra cărora efectuează operații: le șterge, le stochează, le clasifică sau efectuează operații matematice sau logice asupra lor. În acest fel, sunt create noi structuri de simbol care evoluează pe măsură ce sunt manipulate.
De la complicatul limbaj de mașină la relativ simplu Python, interfața hardware între limbaje de programare și interfața incomprehensibilă este microcircuite și instrucțiuni ale programatorului. Primele limbaje, cele de cel mai jos nivel, precum limbaj de asamblare, s-au bazat, fundamental, pe a fi cât mai ușor de utilizat pentru programator. Deoarece este imposibil să ținem evidența milioanelor de operațiuni efectuate de procesor, instrucțiunile de limbă sunt un fel de „pictograme desktop”, ceva simplu care pune în mișcare o multitudine de procese complicate.
Așa s-a ajuns la limbi de nivel înalt, care încearcă să fie cât mai aproape de pseudocod, adică încearcă să semene cu o limbă naturală, să vorbească cu mașina în engleză sau spaniolă. Limbile de nivel înalt ar fi icoane de icoane de icoane... niveluri de limbaj care comunică cu alte niveluri de limbaj, și cu alții și cu alții, creând rețele semantice. Și aceste rețele, în plus, sunt vii.
Așa cum se întâmplă cu limbile naturale, în care cuvintele sau expresiile noi se nasc și mor continuu, același lucru se întâmplă și în calcul. Limbi, biblioteci, metode, argumente, funcții, proceduri... mor în uitare din cauza neutilizarii lor sau sunt create și devin relevante. Fortran, Pascal, Basic, Prolog... cadavre frumoase care au fost înlocuite cu altele: C, Java, PHP, R, Matlab, Python... Și apoi sunt nou-născuții, pe care nimeni nu îndrăznește să parieze: vor ajunge Kotlin, Rust, Scala sau Julia departe?
Bine, dar să nu ne îndepărtam prea mult de subiectul pe care vrem să îl discutăm: ce s-a întâmplat când, folosind aceste limbaje artificiale, s-a încercat să învețe mașinile să folosească limbajele noastre naturale?
Provocarea de a preda automat limbajul nostru natural
La început au existat mari așteptări care, mai devreme decât mai târziu, au ajuns să fie întrerupte. Primele proiecte NLP (Natural Language Processing) au avut ca scop traducerea automată. Nimic nu părea mai de dorit decât să avem o mașină căreia i-am prezentat un text în chineză și ni l-a returnat tradus imediat în limba noastră vernaculară.
Poate că lucrarea fondatoare a fost cea a rusului Smirnov-Troyanskii, care în 1933, deja vorbea despre idei moderne precum realizarea unei analize logice sintactice mecanice a expresiilor pentru a fi traduse cât mai bine posibil, astfel încât să sune cât mai bine în limbajul țintă. ea. Cu toate acestea, munca lui nu era cunoscută în afara mamei Rusia și a fost uitată curând.
Lucruri interesante aveau să se întâmple de cealaltă parte a Cortinei de Fier, în special în atotputernica Fundație Rockefeller. Unul dintre directorii săi, genialul Warren Weaver, publicase în 1949, împreună cu Claude Shannon, una dintre cele mai importante cărți ale secolului al doilea: href="https://www.Divizia Media-afilia.com/redirect?url=https%3A%2F%2Fwww.amazon.es%2FMathematical-Theory-Communication-C laude-Shannon%2Fdp%2F0252725484&category=robotica-e-ia&site=Serviciul Secret de Inteligență&ecomPostExpiration=not_classified&postId=228644" id="link-ecommerce-1">Teoria matematică a comunicării'. Acolo a fost formulată matematic o teorie despre transmiterea și prelucrarea informațiilor.
Weaver a propus aplicarea acestei teorii în traducerea automată: ar putea fi aplicate tehnici de traducere probabilitate, metode statistice, tehnici criptografice... Tot ceea ce era în vogă în informatică în acele vremuri urma să fie aplicat traducerii automate. Și așa, în 1954 primul prezentarea publică a unui traducător automat. IBM, în colaborare cu Universitatea Georgetown, a conceput un sistem capabil să traducă 49 de propoziții din rusă în engleză folosind șase reguli gramaticale și un vocabular de 250 de cuvinte.
Nu a fost mare lucru, dar a fost un mare stimulent pentru cercetare, un avertisment pentru sovietici care erau încă foarte în urmă cu acest subiect și o mare euforie: FAHQT (Fully Automatic High Quality Translation) a fost propus ca un mare obiectiv. Cu toate acestea, acel entuziasm al anilor 1950 s-a transformat în confuzie și neliniște în deceniul următor.
În 1960, Oscar Westreich, de la MIT, a criticat posibilitățile reale ale traducătorilor: era imposibil, având în vedere stadiul tehnicii, să se construiască mașini care traduceau într-un mod similar cu traducătorii umani. Și îndoielile au fost înlăturate cu faimosul raport ALPAC (Automatic Language Processing Advisory Committee).
Principalele surse de finanțare (în principiu, agențiile militare) au comandat Fundația Națională de Știință să analizeze ceea ce se face cu contribuțiile sale considerabile la cauza traducerii automate. S-a format un comitet condus de John R. Pierce, care a hotărât, practic, că banii erau risipiti. Era mult mai rapid și mai ieftin să angajezi un traducător uman decât să folosești mașini. Finanțarea a fost redusă drastic.
Dar ce se întâmpla? De ce este atât de dificil pentru mașini să traducă dintr-o limbă în alta? Să vedem. La început, cel mai simplu mod de a înțelege comparația dintre două limbi este să ne gândim la relația lor ca la o funcție bijectivă, adică să ne gândim la ele ca la două seturi în care pentru fiecare cuvânt dintr-una există un echivalent în celălalt. Pentru „perro” în spaniolă, există „dog” în engleză, pentru „casa” există „house”, pentru „coche” există „car”, și așa mai departe cu toate elementele limbii.
Dacă ar fi așa, ar fi suficient să construim un dicționar automat care să asocieze fiecare cuvânt dintr-o limbă cu omologul său din cealaltă. Dacă ar fi atât de ușor! În curând găsim expresii al căror sens nu depinde de sensul fiecărui cuvânt izolat, ci de poziția acestuia în structura gramaticală a propoziției, de ceea ce s-a spus în propozițiile anterioare sau de contextul în care a fost folosit.
De exemplu, expresia „foc” nu înseamnă același lucru dacă este spusă de cineva în mijlocul unui incendiu, ca și cum ar fi spusă de cineva care se apropie de tine cu o țigară în gură. Există și idiomuri al căror sens nu are nimic de-a face cu sensul cuvintelor care le compun. De exemplu, sensul expresiei spaniole „I „Ești peste cap” nu poate fi înțeles doar făcând apel la sensul cuvintelor care îl compun.
La fel, expresia engleză „I’ve enough on my plate”, care înseamnă că nu-mi mai pot descurca viața, nu are nimic de-a face cu traducerea ei literală. Și astfel găsim o problemă după alta care face modelul nostru traducere bijectivă a colapsului inexorabil.
Marele filozof american Willard V. O. Quine noi a propus un experiment de gândire sugestiv. Să presupunem că suntem antropologi care studiem limba unui trib pierdut în jungla amazoniană. Apoi auzim un nativ rostind cuvântul „gavagai” când observă un iepure. Pare firesc ca apoi să traducem „gavagai” ca „iepure”. Dar poate că am greși.
Nativul s-ar fi putut referi la multe alte lucruri: „Mâncare”, „ghinion” (poate că în acel trib ei cred că iepurii o aduc), „sezonul de vânătoare va începe”... S-ar putea referi pur și simplu la o anumită calitate sau o parte a iepurelui: „urechi mari”, „culoare albă”, „a fi rapid”, „a fi mic”, etc. Cum știi care este traducerea corectă?
Am putea restrânge sensul punând nativului mai multe întrebări. De exemplu, am putea să-i arătăm un iepure negru și să-l întrebăm dacă este și un „gavagai”. Dacă ar răspunde nu, am ști că cuvântul se referă la culoarea albă, iar dacă ar spune da, am ști că se referă la iepure.
Cu toate acestea, încă nu am fi siguri. Poate că a răspuns nu pentru că cuvântul „gavagai” înseamnă tinerețe și iepurele negru era bătrân, sau poate că a răspuns da nu pentru că „gavagai” înseamnă iepure, ci pentru că înseamnă „animal cu două urechi” și ambii iepuri le au. Astfel, ar fi imposibil să fim complet siguri că traducerea noastră este complet corectă.
Să ne gândim și la expresii care sunt pur și simplu imposibil de tradus fără un anumit tip de pierdere semantică. De exemplu, cuvântul „Iktsuarpok” în limba inuit este de obicei tradus ca „ieșiți afară pentru a vedea dacă vine cineva” (vă puteți imagina prin ce a trecut traducătorul pentru a ajunge la asta). Totuși, această traducere nu ține cont de faptul că inuiții trăiesc în regiunile arctice din America de Nord, așa că acolo, a ieși în afara cortului sau igluului pentru a vedea dacă este cineva acolo este, cel puțin, neplăcut dacă nu periculos, având în vedere vremea nefavorabilă de la Polul Nord.
Așadar, atunci când traducem „Iktusarpok” ca „ieșiți afară să vedem dacă vine cineva”, pierdem orice referință la vremea care, cu siguranță, apare în mintea eschimosului când pronunță cuvântul. Sau, un alt exemplu, cuvântul slovac „prozvonit” vine să însemne ceea ce înseamnă „apel pierdut” în spaniolă, adică a suna pe cineva, dar întrerupând apelul înainte ca acesta să preia, astfel încât să te poată suna și astfel să economisească minute din tariful tău de telefon.
Să ne gândim atunci cum am traduce asta într-o limbă în care nici măcar telefoanele nu există, cum ar fi, verbigratia, inuit... Imposibil! Ar fi nevoie de multe pagini pline de explicații pentru a traduce sensul unui singur cuvânt! Există o anumită nedeterminare în traducere, o anumită incomensurabilitate între limbi.
Și sistemele statistice au ajuns la traducere
Atâtea dificultăți nu i-au descurajat pe dezvoltatorii care au continuat să încerce să-și îmbunătățească programele, deși cu o anumită doză de realism, gândindu-se mai mult la asistenții de traducere decât la FAHQT, ceea ce era considerat aproape imposibil. Un program foarte celebrat a fost METEO, proiectat de John Chandioux pe baza prototipului TAUM-METEO al Universității din Montreal, care a fost folosit pentru a traduce rapoartele meteo.
Am făcut-o destul de bine, dar desigur, mă pricepeam doar la limbajul de specialitate al meteorologiei. Am fost acolo unde am fost întotdeauna: inteligența artificială a funcționat bine în domenii foarte specifice, dar a eșuat lamentabil dacă a fost eliminată în domenii generale. Au fost multe altele: Systran a fost utilizat pe scară largă (care încă funcționează până în prezent); Spanam sau Engspam pentru spaniolă; Metal, de la firma Siemens; EUROTRA, finanțat de Uniunea Europeană; etc., etc. Cu toate acestea, deși se îmbunătăți, progresul a fost lent. Era nevoie de un alt mod de abordare a textelor... Și a ajuns în 2017! Sunt sisteme statistice bazat pe corpus.
A observat cineva cât de mult s-a îmbunătățit Google Traducere? Încă face greșeli, dar o face destul de bine. Cu doar câțiva ani în urmă, era mult mai rău. Care este motivul acestui progres notabil? La un sistem numit BERT (Bidirectional Encoder Representations from Transformers, acronim care coincide cu numele personajului Sesame Street pe care în Spania l-am numit Epi).
Implica proiectarea unui set de arhitecturi neuronale care este antrenat folosind cantități imense de text. În timpul acestui antrenament, algoritmii analizează frecvența cu care apare fiecare token (cuvânt sau expresie) într-un context dat. Pentru a face acest lucru, ei folosesc un nou tip de rețea care revoluționează domeniul învățării automate numită Transformer.
Această arhitectură analizează secvențe de text căutând afinități între cuvinte. De exemplu, articolul „The” va avea mai multă afinitate cu substantive precum „câine” decât cu verbe precum „fugi”. Analizând milioane de texte, ei verifică frecvențele cu care cuvintele sunt împerecheate, obținând astfel o corecție gramaticală excelentă. Dar, cel Transformatoarele merg mult mai departe.
Înainte de sosirea lor, au fost folosite rețele recurente precum LSTM (Long-Term-Term Memory), care analizau informațiile secvenţial, dar aveau problema că, pe măsură ce progresează, informația este analizată
Transformatorii au un mecanism de atenție (articolul în care Vaswani și alții i-au prezentat lumii se numea „Atenția este tot ce ai nevoie”) care permite o analiză mai bună a textului în care se regăsește relevanța textului. În plus, nu necesită administrarea secvenţială a datelor, pentru a nu fi nevoie să proceseze începutul înainte de sfârşit, ceea ce permite o paralelizare mai mare (prelucrarea multor date deodată) decât predecesorii lor. Așa că am creat monstrul, trebuie doar să-l hrănim.
BERT a fost instruit pe peste 3,3 miliarde de cuvinte (Toate Wikipedia și Google Cărți), dar se pot face și mai mari lucruri. OpenIA, compania lui Elon Musk, a creat descendența programului GPT (Genera) Transformator. Cea mai recentă versiune, GPT-3, prezentată în vara acestui an, a fost antrenată cu 175 de miliarde de parametri... Este o arhitectură gigantică!
Dar lucrul interesant la aceste sisteme nu este că traduc textele mult mai bine decât programele anterioare, ci că pot fi folosite pentru orice altceva. Funcția esențială pentru care au fost concepute este aceea de a continua textul, adică astfel încât utilizatorul să introducă un șir și să îl continue într-un mod coerent. Cu aceasta, evident, pot traduce limbi, dar pot face și sarcini nesfârșite. Le poți prezenta titlul unei știri, iar ei ți-l notează în întregime ca și cum ar fi jurnalist; titlul unei povești și ți-l completează... Se văd repede utilizări răuvoitoare: un loc de muncă pentru universitate? Chiar acest articol! Nu, nu vă faceți griji, încă nu sunt chiar așa de bune (deși pe Reddit au ajuns deja în atenție).
Ideea este să creăm un model de limbaj de bază pe care l-am antrenat deja cu un corpus imens, pe care apoi să îl reeducam pentru a îndeplini o anumită sarcină la care dorim să fie deosebit de bun. De exemplu, am putea reeduca GPT-3 cu tot ce s-a scris vreodată despre gătit, pentru a crea un super expert pe această temă pe care l-am putea folosi pentru a recomanda rețete bazate pe ingrediente date sau pentru a ști ce sos se potrivește cel mai bine cu anumite carne sau pește.
Dar, în plus, s-a dovedit că, doar cu antrenamentul de bază, fără nici un tip de pregătire specifică, aceste modele au îndeplinit foarte decent în multe sarcini (asta se numește învățare zero-shot). Și aceasta este o realizare extrem de importantă pentru că deschide speranțe către Sfântul Graal al inteligenței artificiale: visatul inteligenței generale artificiale.
Sistemele NLP își dovedesc valoarea înfruntându-se cu diverse teste. Celebrul Turing_Test a devenit acum puțin depășit (și era prea imprecis), cu baterii de teste mult mai bogate și mai specifice, cum ar fi LAMBADA, StoryCloze, QuAc, Drop, SQUad 2.0, Hell comprehension (test de prescriptie) texte), TriviaQA (cunoștințe generale), CoQa (conversație), PhysicalQA (fizica de bun simț), testul de schemă Winograd (cu versiunea sa XL >Winograd, faimosul , href="https://super.gluebenchmark.com/">SuperGlue (competențe lingvistice variate), etc.
Ei bine, doar baza GPT-3, fără nicio pregătire specifică, a avut sarcina de a depăși stadiul în LADA în multe rezultate acceptabile. TriviaQA. Rețineți că spunem că un sistem general le înfrânge pe cele concepute special. Este ca și cum același sportiv ar fi competitiv în probele de maraton, călărie, navigație și tir cu arcul, fără să se fi pregătit special pentru niciuna dintre ele... Incredibil!
Mai este un drum lung de parcurs
Cu toate acestea, în ciuda agitației enorme pe care a generat-o aspectul lor și a faptului că trebuie recunoscut că sunt o realizare tehnologică magnifică, aceste sisteme au un defect de bază foarte grav: nu înțeleg absolut nimic din ce citesc sau ce spun. Rețineți că se bazează doar pe frecvențele de apariție a cuvintelor, adică nu clasifică cuvintele pe baza niciunui criteriu semantic, ci doar cuantifică probabilitățile acestora.
De aceea GPT-3 are rezultate destul de slabe în sarcinile care implică raționament de bun simț, în același mod în care abilitățile sale de aritmetică sunt foarte limitate. Gary Marcus și Ernest Davis au pus GPT-3 printr-un test informal cu 157 de întrebări pe diverse întrebări de bun simț pe diverse subiecte: raționament fizic, temporal, spațial, social, psihologic etc.
.Deși aparatul a primit corect 71 de întrebări (care au fost, de asemenea, special concepute pentru a fi dificil de răspuns pentru o mașină), rezultatul arată destul de bine cum a făcut multe greșeli pe care nimeni, care a raționat chiar pe departe bine, nu le-ar face. Să ne uităm la un exemplu (în aldine este continuarea textului realizat de GPT-3):
"Moshe a postat pe Facebook o fotografie care îi înfățișează pe Maurice Ravel, Francois Poulenc, Frederic Mompou și Erik Satie. Satie a murit în 1925. Poulenc s-a născut în 1899. Așa că fotografia trebuie să fi fost făcută în 1926."
Ar fi demn de un film de groază dacă Satie ar fi murit în fotografie timp de un an.
„Ți-ai turnat un pahar de merișor, dar apoi, absent, ai turnat în el cam o linguriță de suc de struguri. Arată în regulă. Încerci să-l adulmeci, dar ai o răceală urâtă, așa că nu simți mirosul nimic. Ți-e foarte sete. Așa că l bei > mort.”
Sucul de struguri nu este otravă.
„Ai nevoie de făină pentru a coace pâine. Ai un sac de făină în garaj. Când ajungi acolo, descoperi că s-a înmuiat bine într-o ploaie abundentă aseară. Așa că trebuie să o uscați înainte de să o puteți folosi. Poți face acest lucru împrăștiindu-l pe un evantai pe o masă.”
>.Acesta m-a făcut foarte amuzant. Îmi pare rău GPT-3, dar un ventilator nu ar usca făina, ar întinde-o peste tot.
Și, în ciuda succesului calitativ în comparație cu predecesorii lor, aceste sisteme bazate pe frecvență constituie un anumit pas înapoi. Modelele anterioare au încercat să aibă un anumit tip de înțelegere semantică a cuvintelor sau expresiilor, chiar dacă competența lor era mai mică. GPT-3, pentru a spune poetic, i lipsește un suflet. Deși în spatele propozițiilor lor poate părea că există „cineva” care încearcă să răspundă coerent, ca și cum ar fi un copil care tocmai a învățat să vorbească, nu există nimic din asta. Doar o măsurătoare de frecvență calculată cuvânt după cuvânt.
În filozofie avem un experiment de gândire celebru care descrie perfect the Camera chinezească a lui Searle. Să ne imaginăm o cameră în care locuiește o persoană vorbitoare de engleză. În camera respectivă sunt două ferestre, una prin care intră mesajele scrise în chineză. Pe de altă parte, locuitorul trebuie să trimită un răspuns la mesajul primit, scris tot în chineză. Pentru a îndeplini sarcina, are un manual de reguli care potrivește fiecare expresie din chineză cu răspunsul corespunzător.
Astfel, camera ar putea avea o conversație competentă cu o persoană chineză, fără ca locuitorul său vorbitor de engleză să înțeleagă un cuvânt de chineză. Ei bine, asta crede Searle că programele NLP fac și este util să descrii GPT-3.
Îmi place să combin această explicație spunând că regulamentul folosit de traducătorul ignorant se bazează pe Teorema infinitului maimuței a lui Borel: dacă punem o grămadă de maimuțe, ele vor apăsă la întâmplare, o mașină de scris la sfârșit, apăsând tastele la sfârșit, o cantitate infinită de timp pentru a scrie la sfârșit. Don Quijote. Așa e, o grămadă de GPU-uri care lucrează în paralel, procesând tone și tone de informații, vor găsi neapărat cuvântul care continuă textul, chiar dacă nu înțeleg, deloc, nimic din ceea ce fac.
Dacă cei 175 de miliarde de parametri pe care GPT-3 îi analizează nu par suficienți pentru metafora maimuței, există o arhitectură și mai mare. La foarte scurt timp după ce OpenIA a prezentat GPT-3, Google a lansat GShard, un program de traducere care a analizat 600 de miliarde de parametri și a fost antrenat cu TPU-uri 2048 v3, astfel încât să fie capabil să traducă în engleză o sută de limbi.
Din cunoștințele mele, aceasta este cea mai mare rețea neuronală artificială creată vreodată. Dar, ca și ceilalți, ceea ce este grozav este o prostie: traduce o sută de limbi fără să înțeleagă sensul niciunui dintre cuvintele pe care le folosește, de parcă ar fi un savant care știe să recite pe de rost rezultatele tuturor meciurilor din istoria Premier League, dar nu înțelege nimic despre fotbal.
Ne pare rău prieteni, limbajul uman este una dintre cele mai puternice invenții ale evoluției, iar secretele sale sunt încă departe de a fi dezvăluite. Mulți cred că inteligența artificială ne va depăși în foarte câțiva ani, dar greșesc complet: abia am început să mergem.
Fotografii | iStock