Inteligență Artificială & LLM

Masakhane, proiectul african care dorește să traducă peste 2.000 de limbi locale în engleză folosind procesarea limbajului natural

Masakhane, proiectul african care dorește să traducă peste 2.000 de limbi locale în engleză folosind procesarea limbajului natural

Deși engleza, franceză și arabă sunt trei limbi larg răspândite pe tot continentul african, cei peste 1.216 milioane de locuitori ai săi vorbesc limbi diferite. Nu există cifre oficiale, dar se estimează că de Dintre cei 7.000 din lume, 2.000 sunt în Africa, unii mai multor minorități, iar alții cu 1 milion mai mult decât minoritari, shoi, 4, 1 milion mai mult șapte milioane de oameni vorbesc nativ.

Atât de multe limbi necesită un efort herculean pentru a traduce într-o limbă precum engleza, dar tehnologia avansează și face posibilă reducerea sarcinii folosind sisteme precum Procesarea limbajului natural (NLP). Dezvoltarea acestor modele de traducere pentru limbile africane este ceea ce propune proiectul Masakhane.

O sarcină titanică

Limbi africane

Proiectul este alcătuit din trei faze: dezvoltarea modelelor, aplicarea modelelor în diferite limbi și prezentarea lucrărilor la diferite conferințe pentru „pune Africa pe harta NLP” și „traducerea internetului și a conținutului său în limbile noastre și viceversa”. Cu toate acestea, pentru a antrena un model NLP aveți nevoie de un corpus, adică de o serie de baze de date bine structurate, cu informațiile necesare gata de procesare, iar aceasta este o problemă.

Acesta este Showleap: limbajul semnelor în timp real pentru traducătorul text și voce se apropie
Acesta este Showleap: traducătorul de limbaj semnelor în timp real pentru text și voce se apropie

În Masakhane (care, apropo, înseamnă „Construim împreună” în isiZulu), ei citează un articol de Laura Martinus și Jade Z. Abbott care subliniază unele obstacole în dezvoltarea modelelor de traducere automată în limbaj african. Prima este că „societatea africană nu are nicio speranță că limbile indigene vor fi acceptate ca un mod de comunicare mai primar”, așa că „există puțin efort pentru a finanța și a se concentra pe traducerea acestor limbi”.

Problema este că, din moment ce există atât de multe limbi răspândite pe continent, este dificil să găsești corpus pentru a antrena modelele

Martinus adaugă că lipsesc resurse lingvistice, adică loturi de date pe un dialect, care să găsească puține modele pentru a le antrena greu de adăugat. Ei notează de la Masakhane că „este adesea necesar să fii asociat cu o anumită instituție academică dintr-o anumită țară pentru a avea acces la datele lingvistice disponibile pentru acea țară” și că „cercetarea existentă în sine este dificil de descoperit, deoarece sunt adesea publicate în conferințe sau reviste africane mai mici, care nu sunt disponibile electronic sau indexate prin instrumente de cercetare precum Google Scholar.”

Africa 3

Cum doriți să depășiți aceste bariere? Cu colaborarea cercetătorilor africani. Pentru a face acest lucru, ei au creat un depozitiv colaborativ de traducere automată neuronală folosind Joey NMT, o bază de cod axată pe utilizatorii cu puține resurse de modificare pentru utilizatorii mai puțin experimentați, care are puține resurse de modificare. După cum explică ei înșiși:

„Ideea este să găsiți un set de date (sau să combinați mai multe seturi de date), cunoscut și ca un corpus paralel, pentru limbile africane alese de dvs. (de preferință una pe care o puteți vorbi) și să pregătiți un rezultat de referință pentru limba dvs..”

Cum să găsiți acel corpus la distanță? În mod curios, comunitatea Martorilor lui Iehova traduce de multă vreme multe documente, nu toate religioase, iar corpusul său paralel de limbi este destul de extins și variat, așa că este dificil de descoperit în baza de date care este prezentă în limbă și este dificil de descoperit în baza de date. În acest tabel puteți consulta toate limbile disponibile, nu mai mult de 5 și 62 limbi disponibile. Este o opțiune, dar deoarece există mai mult de 2.000 de limbi, cercetătorii ar putea fi nevoiți să caute alte resurse. Pentru a procesa datele, proiectul pune la dispoziția cercetătorilor resursele din cloudul Google.

Fotografia 2019 12 02 14 00 17 Țările reprezentate în prezent în proiect.

În prezent, aproximativ 60 de cercetători din diferite țări africane participă la proiect, majoritatea fiind din Africa de Sud, Kenya și Nigeria. Fiecare dintre ei trebuie să colecteze informații despre limbile lor materne și să antreneze un model. Și a avea un model de traducere fiabil este esențial atunci când creați material educațional. Venture Beat explică faptul că, potrivit

În acest moment, proiectul se află în faza de colectare a informațiilor și de seturi de date, deși au existat deja unele progrese. La mijlocul anului 2019, Martinus și Abbott au prezentat rezultatele ale modelelor lor de traducere automată neuronală pentru cinci limbi africane care au fost instruite cu resurse publice: isiZulu, Sesoto sa leboa, Setswana, Xitsonga și Bantu.p>

Partajează acest dosar: