În ultimul timp, rețelele neuronale revin la știri datorită realizărilor pe care le obțin. De exemplu, Google a reușit să să învingă propriul reCAPTCHA cu rețele neuronale, la Stanford au reușit să genereze automat subtitrări... a creierului uman într-un computer.
Acum, în ce constau aceste modele? Cum poate un computer să imite procesul de învățare și să ajungă să dezvolte un „lucru” care funcționează? Astăzi, În investigația noastră tehnică, vom aprofunda puțin acest subiect care atrage atât de multă atenție și vom începe, ca întotdeauna, de la început.
Cum funcționează o rețea neuronală?
În ciuda numelui lor, rețelele neuronale nu au în spate un concept foarte complicat. Numele, după cum vă puteți imagina, vine de la ideea de aimite funcționarea rețelelor neuronale ale organismelor vii:un set de neuroni conectați între ei și care lucrează împreună, fără a exista o sarcină specifică pentru fiecare. Cu experiență, neuronii creează și întăresc anumite conexiuni pentru a „învăța” ceva care rămâne fixat în țesut.
Acum, oricât de frumos ar suna, abordarea biologică nu a fost deosebit de utilă: rețelele neuronale s-au mutat pentru a se concentra pe matematică și statistică. Ele se bazează pe o idee simplă: având în vedere niște parametri, există o modalitate de a le combina pentru a prezice un anumit rezultat. De exemplu, cunoscând pixelii unei imagini, va exista o modalitate de a ști ce număr este scris, sau știind încărcarea de pe serverele unui Centru de procesare a datelor (CPD), temperatura acestora și așa mai departe, va exista o modalitate de a ști cât de mult le-ar fi plăcut Google. Problema, desigur, este că nu știm să le combinăm.
Rețelele neuronale sunt un model pentru a găsi acea combinație de parametri și a o aplica în același timp. În limbajul propriu-zis, găsirea combinației care se potrivește cel mai bine este „antrenarea” rețelei neuronale. O rețea deja pregătită poate fi apoi utilizată pentru a face predicții sau clasificări, adică pentru a „aplica” combinația.
Pentru a înțelege bine cum funcționează această rețea, vom merge cu un exemplu. Să presupunem că sunteți elevi într-o clasă în care profesorul nu a spus exact cum va scrie notele. Pentru început, să presupunem că ai susținut doar două examene și ai nota la fiecare dintre ele și cea finală.
Unitatea de bază a rețelei neuronale: perceptronul. Intrările sunt cele două note, n1 și n2, fiecare cu greutatea corespunzătoare wn (ceea ce trebuie găsit). Rezultatul, nf, va fi 1 dacă este aprobat și 0 dacă merge în septembrie.
Cum folosim o rețea neuronală pentru a afla cât valorează fiecare examen? Aici vom avea nevoie de unitatea fundamentală a rețelei neuronale: perceptronul. Un perceptron este un element care are mai multe intrări cu o anumită greutate fiecare. Dacă suma acelor intrări pentru fiecare greutate este mai mare decât un anumit număr, rezultatul perceptronului este unul. Dacă este mai mică, rezultatul este zero.
În exemplul nostru, intrările ar fi cele două note de examen. Dacă rezultatul este unul (adică suma notelor cu greutatea corespunzătoare este mai mare de cinci), este o trecere. Dacă este zero, eșuează. Greutățile sunt ceea ce trebuie să găsim la antrenament. În acest caz, antrenamentul nostru va consta în a începe cu două greutăți aleatorii (de exemplu, 0,5 și 0,5, aceeași greutate pentru fiecare examen) și a vedea ce rezultat dă rețeaua neuronală pentru fiecare elev. Dacă eșuează în orice caz, vom ajusta greutățile puțin câte puțin până când totul este bine reglat.
De exemplu, dacă un student cu o notă foarte bună la al doilea examen a picat cursul, vom scădea ponderea celui de-al doilea examen pentru că în mod evident nu are prea multă influență. Încetul cu încetul vom ajunge să găsim greutățile care se potrivesc cu notele pe care le-a dat profesorul. Ideea de ajustare sau feedback este să adaptăm rețeaua la informațiile „ascunse” conținute în datele pe care le transmitem acesteia, astfel încât să poată învăța.
Așa cum am spus mai devreme, acesta este exemplul simplu. Poate că vrem să complicăm mai mult, punând mai multe teste (mai multe noduri de intrare) sau dorind să obținem mai multe rezultate, cum ar fi un perceptron a cărui ieșire este una dacă studentul are onoruri.
Puterea de înmulțire: rețele multistrat
Exemplul pe care l-am dat înainte funcționează, dar nu se poate spune că este prea puternic. Dar poate e prea simplu. Nu am spus la început că rețelele neuronale sunt un grup de neuroni _conectați între ei_? Cum se realizează această „conexiune” în rețelele neuronale?
Conceptul care ne lipsește aici este straturile. Și pentru a-l explica, vom continua cu exemplul nostru de profesor care dă notițe fără a spune cum, adăugând o temă care trebuia livrată.
Se pare că există o situație curioasă. Sunt doi elevi care au aceeași notă la examene, două zeci, dar unul are 7 la lucrare și celălalt 4. Cel din clasa a 7-a a trecut cursul, dar cel din clasa a 4-a nu. Există un student care are 10 la temă și 4,99 la ambele examene și care a picat.
Putem încerca să antrenăm o rețea neuronală ca cea de dinainte atât cât ne dorim în această situație care nu va funcționa bine. Poate funcționa în multe cazuri, dar nu va fi perfect. Și se pare că nota lucrării nu are nicio influență decât dacă nu o pică, caz în care ești suspendat direct. Este un filtru, un unu sau un zero pe care trebuie să-l extragem în rețeaua neuronală înainte de a putea da rezultatul de promovare sau eșec la curs... Ar trebui să vezi deja încotro merg loviturile.
Într-adevăr: avem nevoie de mai multe straturi. Avem nevoie de un perceptron intermediar care să ne spună dacă jobul este aprobat sau nu și să numărăm asta în perceptronul de ieșire. O posibilitate ar fi o rețea ca următoarea:
Primul perceptron caută să vadă dacă nota de lucru înmulțită cu unu negativ este mai mare decât negativ cinci (sau, cu alte cuvinte, dacă nota este mai mică de cinci). Dacă este, atunci ieșirea sa este una. Înmulțindu-l cu minus zece la intrarea celui de-al doilea perceptron, va forța întotdeauna un eșec. Dacă lucrarea este aprobată, rezultatul primului perceptron va fi 0 și nu va afecta media examenelor.
Ce am realizat cu asta? Sau, mai general, pentru ce sunt straturile? Ceea ce am realizat este să adăugăm informații care nu existau înainte. Luăm datele de intrare, le explorăm și extragem caracteristicile care ne ajută cel mai bine să înțelegem ce se întâmplă.
Cel mai interesant lucru despre straturi este ceva ce nu am văzut aici. În exemplu am mai pus un strat foarte grosolan, dar ceea ce se face de obicei este să pun mai multe cu mai multe noduri, fiecare conectat la toate intrările anterioare. Lucrul bun vine atunci când, în timpul procesului de învățare, fiecare strat „învață” să găsească și să detecteze caracteristicile care ajută cel mai bine la clasificarea datelor. În exemplul nostru, în timpul ajustării, primul strat ar învăța că studenții cu lucru eșuat pisează cursul. Dacă ar fi să folosim o rețea pentru a detecta numerele scrise de mână, straturile ascunse ar putea învăța să detecteze linii drepte sau curbe care pot fi folosite pentru a decide dacă ne uităm la unul sau la opt, de exemplu.
Dincolo de perceptroni: sigmoizi, rețele profunde și rețele convoluționale
În roșu, funcția „pas”. În albastru, sigmoidul, o aproximare mai blândă, dar cu aceeași idee.