Inteligență Artificială & LLM

Este Pangram arbitrul AI de care are nevoie industria literară? Un autor peruan o descoperă în carnea sa

Este Pangram arbitrul AI de care are nevoie industria literară? Un autor peruan o descoperă în carnea sa

Pe 23 octombrie, ă-l-a atribuită-detecta-País. AI cei 99% din „Where the water works', câștigător al unui premiu ale cărui reguli au interzis folosirea AI. Autorul neagă acest lucru, iar editorul suspendă prezentărilesuspend. La fel ca lucrarea lui Thélyson Orélien „C'était ça ou mourir” („A fost asta sau mori”), romanul lui David Silva Roja se concentrează pe exploatare, durere și memorie. A fost aleasă dintre 2.204 manuscrise din 22 de țări pentru „subtilitatea scrierii sale și utilizarea magistrală a tăcerilor ca resursă compozițională”. 

În orice caz, a câștigat cei 20.000 de euro la care a aspirat Premiul Internațional de Roman scurt Almadía–Ventosa Arrufat și este deja în curs de traducere. Și mai multe dintre prezentările sale au fost, de asemenea, anulate. Desigur, nu vom decide aici dacă romanul este sau nu rezultatul AI. Pentru că, în realitate, este greu de pus în valoare. Problema este alta: în câteva luni, programul unei companii private a devenit un judecător de facto al autorului literar. Pangram este arbitrul de care avem nevoie?

Ce face și ce face bine

Pangram este un clasificator de rețele neuronale antrenat pe text uman și text generat de model, cu tehnici de reducere a rezultatelor false pozitive. Scoate pe bucăți și returnează un procent: o estimare a cât de mult este un text cu ceea ce ar introduce o mașină, nu o reconstrucție a modului în care a fost tastat.

Potrivit companiei în sine, Pangram 4 detectează 99,66% din textul AI și marchează 0,0041% fiecare greșeală

o greșeală. 24.000 de documente. Și nu doar compania o spune: un studiu al Universității din Chicago a plasat-o deasupra GPTZero și Originality.ai, iar El País a dovedit că a dat 0% în cărți înainte de ChatGPT. În cazul lui Goncourt, a fost confirmat după ce autorul a folosit AI.

Versiunea folosită de El País, Pangram 4.1, a fost lansată pe 19 octombrie, cu patru zile înainte de publicarea analizei. Pe 29.103 perechi de texte cu modificări minime, modificările nedorite ale verdictului scad de la 1,08% la 0,15%, o problemă similară cu cea semnalată de experimentele de adăugare a unei virgule sau a unui spațiu suplimentar (am povestit-o deja aici). În plus, returnează probabilitatea fiecărei etichete (umană, asistată de IA sau generată de IA) și arată mai puțină certitudine în textele mai scurte de 150 de cuvinte.

Instrumentele de detectare a textelor realizate cu IA sunt slabe: ei cred că „O sută de ani de singurătate” este AI
Instrumentele de detectare a textelor realizate cu IA sunt slabe la nivel: ei cred că „O sută de ani de solitudine”

Compania își estimează fals pozitive la 0,009% în engleză și 0,0026% în spaniolă, dar le măsoară pe textul web, nu pe romane. Fals-negativele cresc ușor, de la 0,34% la 0,37%. Și lista în sine admite că rata sa de eroare nu este zero și că o simplă greșeală poate cauza prejudicii reputației.

Ceea ce nu face bine

Nature raportează că, atunci când o inteligență artificială modifică substanțial încercările umane, Pangram le etichetează ca fiind timpul uman41%. A-l păcăli nu este greu: Jot Down a arătat și cum un spațiu suplimentar schimbă verdictul. Un preprint recent susține că, după ce au trecut printr-un „umanizator”, negativele false depășesc 96%, exact opusul a ceea ce anunță compania (detecție de 98,83% față de 13 umanizatori). Studiile nu sunt niciodată de acord.

Există o limită mai subtilă. CEO-ul său explică că rata de fals pozitive este măsurată cu a prior to 2002/"> Între timp, cineva bănuiește că mulți scriitori vor fi învățat să introducă AI în articolele lor și să o ascundă mai bine. În general, aceasta este o verificare bună pentru începători, dar nu vă spune cum notați un scriitor în 2026, după ani de citire și corectare cu modele. Și un procent nu dezvăluie cine a făcut ce: dacă AI a elaborat, a corectat sau doar a sugerat parcele. Mai mult, eroarea nu este simetrică, am spus-o deja: un fals pozitiv pozitiv de cost și nimic nu poate distruge o reputație fals negativă.

Arbitru cu interes comercial

Pangram Labs este o companie fondată de doi colegi din Brooklyn, iar afacerea ei crește cu neîncredere: conform The Times, care și-a înmulțit veniturile în New York, care și-a înmulțit 5 un an și utilizatorii săi lunari Au trecut de la 2.700 la 120.000 între iunie 2025 și iunie 2026. Cele mai citate rate de eroare sunt ale lor. Pe măsură ce reduceți „intervalul de încredere”, succesul dvs. pare să crească. Dar, după cum a indicat Tim Requarth, astăzi niciunul dintre modelele sale nu este capabil să înțeleagă straturile și straturile prin care trece un text real.

Claude: ce este, cum funcționează și cum este mai bun (și ce nu este) decât ChatGPT și concurența
Claude: ce este, cum funcționează și cum este mai bun (și ce nu este) decât ChatGPT și concurența

Studiul de la Chicago este independent (este finanțat de universitate și de un program Google Cloud, nu Pangram), dar GPTZero se asigură că, cu același banc de testare, depășește acum Pangram. Nu există un standard: fiecare furnizor alege metrica, pragul și corpus. Și nu există nici un protocol. Cazul Goncourt a început cu un raport anonim pe X care a trecut fragmente prin Pangram. Academia a cerut prudență și să verifice fiabilitatea software-ului. Astăzi, oricine poate deschide un dosar fără un prag definit sau fără drept la replică, în mijlocul zgomotului „afurisita de IA”.

Ce se întâmplă dacă merge la proces?

Până în prezent, nu există o decizie spaniolă cu privire la valoarea probatorie a acestor detectoare. În cadrul procedurilor penale, admisibilitatea depinde de relevanță, iar judecătorul evaluează liber probele. Un raport Pangram ar trebui să vină ca o opinie de expert, cu un expert capabil să explice metoda, marja de eroare și să se supună examinării încrucișate.

„Claude poate să nu fie autorul original”: noul brand invizibil al lui Anthropic este o idee minunat de imperfectă
„Claude poate să nu fie autorul original”: noua marcă invizibilă a lui Anthropic este o idee nemaipomenită de imperfectă

Numai acolo avem deja trei probleme. Este o cutie neagră neuronală care nu explică de ce marchează o frază; rata de eroare este declarată de producător; iar modelele lor se schimbă (Pangram 3 a avut o dată de retragere de 30 septembrie), ceea ce face dificilă reproducerea unui verdict luni mai târziu. Cel mai probabil, va servi ca un indiciu pentru a solicita proiecte, nu ca o dovadă în sine.

Ce am cere de la un arbitru

Dacă avem nevoie de un judecător cu privire la ce este IA, aceasta ar trebui să fie de încredere, auditată, valabilă din punct de vedere juridic și neutru. Pangram este astăzi, de departe, cel mai bine cotat detector. Totuși, este departe de a fi infailibil. Auditurile lor aparțin domeniului academic, nu sunt susținute de audituri publice și recurente cu acces la model. Niciun standard nu îi recunoaște validitatea juridică și există un conflict de interese, deoarece compania însăși își apără instrumentul.

Europa avansează pe cealaltă parte. Articolul 50 din Legea AI obligă furnizorii generativi de IA să-și marcheze rezultatele în format care poate fi citit automat (cu termenul limită de 2 decembrie 2026 pentru sistemele deja existente pe piață), iar la 10 iunie Comisia a publicat un href="https://iagovernance.com/blog/articulo-50-ai-act-transparencia-etiquetado/">codul de bune practici

. Dar un filigran nu dovedește nimic pe cont propriu și nu acoperă textul deschis din modele. Există o lipsă a unui auditor independent, public și european care să măsoare acești detectoare cu teste deschise și comparabile. Ceea ce avem nu este nici măcar aproape de asta.

Imagini | Configurație creată folosind ChatGPT

În investigația noastră tehnică | Pangram vede 99% IA în romanul premiat „Unde funcționează apa”. Problema este aceeași ca întotdeauna: nu există detector infailibil

Partajează acest dosar: