Inteligență Artificială & LLM

o3 scoruri la fel de mari ca programatorii umani în raționament și abstractizare. Este exact ceea ce are nevoie OpenAI

o3 scoruri la fel de mari ca programatorii umani în raționament și abstractizare. Este exact ceea ce are nevoie OpenAI

Lansarea o3 vinerea trecută a trecut poate oarecum neobservată în avalanșa lansărilor OpenAI. Parțial pentru că a apărut poate prea repede —o1 abia a fost lansat cu trei luni mai devreme— și parțial nu este încă disponibil publicului. Și totuși tot ceea ce ne vine ne face să credem că ne aflăm în fața unui model cu totul special.

Atenție și așteptări în OpenAI

În mod curios, în OpenAI discursul este relativ moderat. Sam Altman a vorbit și mai multe despre o3-mini, versiunea redusă, cu costuri mai mici de 3,000,000 de ani. Potrivit acestuia, va fi o adevărată minune de programat. El a retweetat un mesaj de la unul dintre cercetătorii OpenAI, Nat McAleese, care a evidențiat într-un thread performanța sa mare în teste. El a numit modelul rezultat „foarte, foarte impresionant.”

Swe Sursa: Podul algoritmic

Programare

Până nu demult, credeam că GPT-4o se programa bine. În benchmark-ul SWE-bench Verified, cu întrebări tipice din partea inginerilor de software, acest model a obținut un scor de 31%. După cum se indică în The Algorithmic Bridge, cu o1 este posibil să se ajungă la 31%, dar atenție, deoarece Claude Sonnet 3.5 atinge 50,8% și Flash Gemini 50,8%. Acestea sunt scoruri fantastice, dar o3 atinge 71,7%. Este un salt pur și simplu extraordinar care nu a mai fost văzut până acum în acest tip de benchmark.

Dar sunt mai multe

Există un alt punct de referință izbitor: testul Codeforces, care se concentrează pe teste de programare „competitive”, atribuind un ELO acelor programatori – oameni sau mașini – care trec aceste teste. OpenAI a obținut 2.727 de puncte cu o3, scorul care în clasamentul actual ar ocupa poziția 175: sunt doar acei programatori — printre cei care au susținut testul — care depășesc nivelul de programare la acest model când ajunge la nivelul de programare. Deepmind Alphacode 2, care a fost antrenat special în acest scop și lansat în decembrie 2023, se afla în percentila 87. O3 se află în percentila 99,7.

Doctor în științe

În iunie, Claude Sonnet 3.5 și GPT-40 abia au depășit 50% la testul de întrebări științifice GPQA Diamond. O1 ajunge la 78%, dar o3 a atins deja 87,7%. Nivelul doctoraturilor este de obicei în jur de 70% în medie.

Captură de ecran 2024 12 23 La 16 38 11

Un geniu al matematicii

În matematică, testele erau oarecum învechite, dar o companie numită Epoch AI a creat un nou etalon numit FrontierMath, care este atât de greu încât chiar și cei mai buni matematicieni cred că nu poate fi depășit cu ușurință de AI. Terence Tao, care a câștigat medalia Fields în 2006 („Nobelul matematicii”), a indicat că AI ar dura câțiva ani pentru a le depăși. Ei bine, până acum cele mai avansate modele AI (State of the Art) au obținut cel mult 2% în acel test, dar o3 a atins 25,2%.

Avem o problemă cu AI: nu există o modalitate fiabilă de a ști dacă ChatGPT este mai bun decât Gemini, Copilot sau Claude
Avem o problemă cu AI: nu există o modalitate fiabilă de a ști dacă ChatGPT este mai bun decât Gemini, Copilot sau Claude

Și apoi există ARC-AGI

Cu toate acestea, cel mai promițător dintre teste este ARC-AGI, un benchmark creat inițial de François Chollet în 2019 și care a devenit referința care demonstrează paradoxul Moravec. Acestea sunt teste care par banale pentru oameni, dar pe care mașinile nu le pot rezolva în mod normal. Chollet este creatorul Premiului ARC, o competiție care măsoară „inteligența” înțeleasă ca „capacitatea unui sistem de a se adapta la noi probleme pe care nu le-a văzut până acum și pe care creatorii săi (dezvoltatorii) nu le-au anticipat.”

o3 este foarte, foarte bun la ARC-AGI. GPT-3 în 2020 a obținut un scor de 0%, iar GPT-4o a obținut 5% la testul menționat. Cu o1 a existat deja un salt incredibil prin atingerea a 32%, dar o3 a atins un incredibil 87,5% (desigur, la un cost de mii de dolari per sarcină) și 75,7% în modul „low computing” (20 USD per sarcină).

Este acesta AGI?

Întrebarea pe care o ridică unii este dacă aceasta înseamnă că o3 poate fi considerat o inteligență generală artificială (AGI). Chollet crede că nu și explică de fapt că o3 încă nu a rezolvat unele sarcini banale pentru oameni, dar lucrează la o a doua versiune a ARC-AGI-2 despre care el susține că „va continua să fie extrem de dificilă” pentru o3.

Totul trebuie confirmat

Benchmark-urile au problema că sunt doar atât: benchmark-uri. Teste sintetice care se adaptează la situații foarte specifice și care pot să nu fie foarte fiabile ca măsură a performanței în utilizarea de zi cu zi a acestor modele. Și totuși, știind cât de bine performează deja o1, Claude 3.5 Sonnet sau Gemini 2.0 Flash în domenii precum programarea, rezultatele lui o3 sunt cu adevărat promițătoare. Nu numai atât: evoluția acestor modele de raționament este deosebit de frenetică, iar acest lucru este demonstrat de faptul că o3 a apărut la doar trei luni după o1.

OpenAI schițează o restructurare îndrăzneață: scăparea de controlul organizației sale non-profit, conform Reuters
OpenAI schițează o restructurare îndrăzneață: scăparea de controlul organizației sale non-profit, potrivit Reuters

Și cum rămâne cu prețul?

Din ceea ce subliniază Chollet, prețul lui o3 va fi astronomic dacă dorim să-l folosim cu toate caracteristicile sale și este posibil să fie o versiune cu totul specială a serviciului pe care OpenAI îl va oferi doar în zone foarte specifice. Dar se pare că o3-mini va fi mult mai accesibil și mai eficient, așa că ne putem aștepta ca ceea ce se plătește acum pentru o1 nelimitat cu luna abonamentului ChatGPT Pro) orice acces la o3 mini ajunge să coste. OpenAI este de așteptat să-l ofere în primul trimestru al anului 2025, iar alte modele de acest tip vor concura până atunci cu o3-mini și o3.

O IA mai precisă, eficientă și capabilă ca niciodată

Ceea ce ridică toate acestea este accesul la modele AI care sunt mai eficiente și chiar mai ieftine decât oricând dacă ceea ce ne dorim este să rezolvăm anumite tipuri de probleme. Se pare că programatorii și cercetătorii au un instrument promițător în aceste modele, dar se pare că a priori vom avea cel puțin două aspecte majore ale AI. Pe de o parte, actualele ChatGPT/Gemini/Claude și evoluțiile lor, mai mult destinate utilizării rapide și cu o anumită toleranță la erori. Pe de altă parte, modelele care „raționează” precum o1 sau o3, mai scumpe, precise și durează mai mult să răspundă, dar sunt foarte puternice în anumite zone.

OpenAI face bine să se diversifice

Și tocmai de aceea OpenAI are o modalitate interesantă de a ataca piața cu modele diferite pentru nevoi diferite. Acest lucru vă va permite, de asemenea, să stabiliți diferite planuri și prețuri – am văzut deja cum intenționați să mergeți creșterea prețului abonamentelor – și să le justificați exact pe fiecare. O strategie rezonabilă care poate ajunge cu siguranță să funcționeze pentru a obține ceva de care aveți nevoie cu orice preț: venit.

În investigația noastră tehnică | Sam Altman se postulează ca Zuckerberg al AI: el este din ce în ce mai singur sau Open AI va avea succes

Partajează acest dosar: