Inteligență Artificială & LLM

Acesta este modul în care recorderul Google Pixel este capabil să convertească vocea în text în timp real, folosind învățarea automată de pe dispozitiv

Acesta este modul în care recorderul Google Pixel este capabil să convertească vocea în text în timp real, folosind învățarea automată de pe dispozitiv

Una dintre noutățile pe care Google le-a introdus în noul său Google Pixel (și că apoi a fost transportat la modelele anterioare) este înregistratorul de voce. Poate părea o aplicație normală, dar adevărul este că are un model de învățare automată care rulează pe dispozitivul însuși capabil să transcrie tot ce „aude” în text în timp real și să obțină cuvintele cheie, deși deocamdată doar în limba engleză.

Nu este singura aplicație care face acest lucru, deoarece există alternative precum Otter.ai, care fac același lucru, cu diferența că întregul proces rulează în cloud. Recorderul Google Pixel nu numai că este capabil să transcrie audio, dar detectează informații contextuale, cum ar fi aplauze, muzică sau râsete în timpul înregistrării, marcându-le în înregistrarea însăși. Toate acestea se fac fără a fi nevoie de o conexiune la internet, iar acum Google a explicat cum funcționează.

Când AI ascultă și scrie offline

Modelul de învățare automată al reportofonului se bazează pe sistemul de recunoaștere a vocii pe care Google l-a implementat în Gboard la începutul acestui an. Acest model a fost antrenat utilizând tehnologia traductorului RNN, care este folosită pentru a aduce toată inteligența artificială pe dispozitiv și Fotografie computațională pentru a vedea stelele: așa funcționează modul „Astrofotografie” al Google Pixel

Fotografie computerizată pentru a vedea stelele: așa funcționează modul „Astrofotografie” al Google Pixel

Acest model indexează conversațiile după cuvinte, permițând utilizatorului să facă clic pe oricare dintre cuvintele din transcriere și, în același timp, să asculte partea din înregistrarea audio în care este rostit cuvântul respectiv. Otter.ai face exact același lucru, totul este spus, deși marele avans al modelului Google este că se poate face fără a avea o conexiune de date activă.

Pe de altă parte, când folosim reportofonul pentru a înregistra o conferință, barele de sunet se aprind într-o culoare diferită atunci când este detectată voce (albastru) sau conținut accesoriu, cum ar fi aplauze (în portocaliu). Acest lucru este posibil deoarece recorderul detectează sunetul dominant la fiecare 50 ms. Precizia sa se bazează pe faptul că reportofonul are capacitatea de a fereastra glisantă de a procesa audio parțial suprapus (voce și aplauze) de 960 ms la intervale de 50 ms. Fiecare fragment de 960 de secunde este analizat individual pentru a determina audio-urile predominante.

Modelul combină rețele neuronale convoluționale cu o bază de date de evenimente audio pentru a clasifica fiecare sunet. În această bază de date, numită AudioSet și lansată în 2017, există peste două milioane de fragmente de zece secunde obținute de pe YouTube etichetate în 527 de categorii, cu cel puțin 100 de exemple pentru fiecare categorie. În total sunt 5.800 de ore de audio și categoriile sunt foarte diferențiate. De exemplu, categoria „Animale” este împărțită în „animale de companie”, „animale de fermă” și „animale sălbatice”, ceea ce îmbunătățește acuratețea detectării.

În sfârșit, pentru a sugera trei cuvinte cheie pentru titlul înregistrării, reportofonul folosește cele trei cuvinte cele mai reprezentative. Acest lucru se face imediat ce înregistrarea se termină datorită faptului că transcrierea este analizată în timp real. În primul rând, este analizată frecvența termenilor, precum și rolul lor gramatical în cadrul propoziției (importanța lor, să spunem). Modelul etichetează apoi fiecare cuvânt în funcție de rolul respectiv pentru a detecta substantivele proprii și substantivele comune și punctează cuvintele folosind extragerea termenilor pe baza n-gram.

Arborele de decizie

În sfârșit, arborele de decizie prezentat mai sus este folosit pentru a genera scorul pentru fiecare cuvânt. Acesta a fost instruit cu date de conversație și caracteristici textuale, cum ar fi frecvența și specificitatea cuvintelor din document. În acest fel, modelul știe că, dacă ești la o conferință privind schimbările climatice, „carbon” este un cuvânt important. În cele din urmă, cuvintele oprite și înjurăturile sunt filtrate și sunt generate primele trei etichete.

Via | Google

Partajează acest dosar: