Inteligență Artificială & LLM

AI-urile devin foarte inteligente. Și crearea de teste pentru a le pune la fața locului devine din ce în ce mai dificilă.

AI-urile devin foarte inteligente. Și crearea de teste pentru a le pune la fața locului devine din ce în ce mai dificilă.

Modelul o3 de la OpenAI este prea inteligent. Cel puțin, pentru testele și benchmark-urile concepute până acum. În programare, matematică și raționament, merge acolo unde niciun alt model AI nu a mai ajuns și asta a arătat că avem nevoie de noi modalități de a testa AI. Și acolo sunt experții.

Examenele normale au rămas scurte

La începutul anului 2023, ChatGPT a putut deja să să promoveze examenele de drept și cele pentru un MBA, deși cu o promovare casată. Așa cum subliniază in Time, aproape doi ani mai târziu, progresul în modele este atât de enorm încât acele teste concepute pentru oameni nu au eșuat, dar la fel și benchmark-urile care erau folosite până acum pentru a le evalua performanța. Era ceva ce putea fi deja văzut venind.

Avem o problemă cu AI: nu există o modalitate fiabilă de a ști dacă ChatGPT este mai bun decât Gemini, Copilot sau Claude
Avem o problemă cu AI: nu există o modalitate fiabilă de a ști dacă ChatGPT este mai bun decât Gemini, Copilot sau Claude

O evoluție amețitoare

În 2010, profesorul de la Stanford, Fei-Fei Li, a dezvoltat un punct de referință pentru clasificarea imaginilor numit ImageNet Large Scale Visual Recognition Challenge. Cinci ani mai târziu, un sistem de viziune artificială a reușit să depășească provocarea. În 2017, DeepMind a reușit cu AlphaGo să-l zdrobească pe cel mai bun jucător Go din lume și ne-a amintit de piatra de hotar a DeepBlue. Se părea că provocările ca acestea aveau să dureze mai mult pentru a fi depășite de mașini, dar evoluția sistemelor AI a fost frenetică, iar acum modelele moderne de AI se îmbunătățesc și mai amețitor.

FrontierMath

Epoch AI, un ONG de cercetare, a ajuns să dezvolte, de exemplu, un nou set de teste matematice numite FrontierMath. Până de curând, modelele AI precum GPT-4 sau Claude nu au depășit 2% la acest test, performanță care a arătat că mai este mult loc de îmbunătățire. Lansarea lui o3 a schimbat lucrurile: a atins brusc o performanță de 25,2%, lucru pe care directorul Epoch AI Jaime Sevilla a descris ca fiind „mult mai bine decât se aștepta echipa noastră la scurt timp după lansare”.

Frontiermath vs alte benchmarks Modelele AI au depășit cu mult succes criteriile matematice anterioare. Cu FrontierMath lucrurile se schimbă. Cel puțin, deocamdată, pentru că o3 atinge deja un scor de 25,2% (nu este afișată această diagramă, unde modelele au reușit să ajungă doar la 2%). Sursa: Epoch AI.

Teste mai solicitante

Acest benchmark constă din aproximativ 300 de probleme matematice de diferite niveluri. Ele au fost proiectate de o echipă de peste 60 de matematicieni, inclusiv Terence Tao, câștigător al medaliei Fields. Deși există unele probleme mai accesibile, 25% dintre ele sunt clasificate ca fiind deosebit de complexe. De fapt, doar cei mai buni experți le-ar putea rezolva și ar dura chiar și zile pentru a face acest lucru.

Ultimul examen al umanității

Un alt test recent este Ultimul examen al umanității, un examen cu de 20 până la 50 de ori mai multe întrebări decât FrontierMath, dar care acoperă mult mai multe discipline. Problemele de rezolvat au fost culese de la comunitatea academică, iar pentru a fi inclusă, o întrebare trebuie să nu fi primit corect răspunsul modelelor actuale. Acest test este de așteptat să fie lansat la începutul anului 2025.

Paradoxul lui Moravec

Dar la fel de interesante sau mai interesante decât aceste teste avansate sunt cele care se joacă cu conceptul care tratează paradoxul Moravec. Lucruri care sunt banale pentru ființele umane, dar pe care mașinile nu le pot rezolva.

ARC-AGI

Exact asta face benchmark-ul ARC-AGI, creat de cercetătorul François Chollet în 2019 și care în cea mai recentă evoluție pune teste cu care majoritatea modelelor se descurcă foarte rău. O1 mini a obținut doar un scor de 7,8%, dar încă o dată o3 a surprins pe toată lumea și ajunge la 87,5% în modul său cel mai avansat (foarte scump) și la 75,7% în modul de consum redus, un reper cu adevărat excepțional. Desigur, creatorii ARC-AGI lucrează deja la o versiune nouă, mult mai solicitantă, despre care modelele AI cred că va dura mult timp pentru a o depăși.

Imagine | Crymedy7 cu Midjourney

În investigația noastră tehnică | OpenAI arde bani de parcă nu era mâine. Întrebarea este cât poate dura așa

Partajează acest dosar: