Inteligență Artificială & LLM

Un cercetător s-a săturat de textele scrise cu inteligență artificială și a creat un detector care promite o acuratețe de 98%

Un cercetător s-a săturat de textele scrise cu inteligență artificială și a creat un detector care promite o acuratețe de 98%

Că suntem înconjurați de text scris de o IA nu mai surprinde pe nimeni. Aceia dintre noi care vrem să citească oamenii mergem toată ziua cu securea ridicată în căutarea indicii pentru a verifica dacă citim un om sau un robot, dar deși asta poate fi o chestiune de etică sau preferință, sunt necesare instrumente bune care detectează textul scris de AI.

Și spun „bine” pentru că unele dintre cele mai faimoase eșuează mai mult decât o pușcă corectă, clasificând textele umane drept „facute de AI” și invers. Un cercetător pe nume Jochen Madler s-a obosit și a conceput un sistem care nu numai că spune dacă un text este sau nu AI, ci și dacă acel text este scris de un om care pur și simplu s-a dedicat rezultatului pe care i-a dat paraphras-ul. 

Rezultat? O macrocomandă F1 aproape de 98%.

Pe scurt

Studiul se intitulează „SlopShape" și, în acesta, Madler explică că sistemul a analizat o serie de texte al căror model nu l-a văzut niciodată și a atins rata de succes de 98% menționată mai sus în etichetare, indiferent dacă a fost scris de la început până la sfârșit de AI sau de un om.

Potrivit cercetătorului, sistemul nu citește textul și emite verdictul, ci mai degrabă un model lingvistic răspunde pentru fiecare postare la un chestionar de peste 200 de întrebări despre modul în care este alcătuit textul respectiv. Concret, analizează ordinea în care sunt prezentate ideile, dacă articolul își anunță în prealabil structura, se uită la locul unde apare teza, modul în care sunt prezentate sursele, orientarea practică a articolului sau dacă textul se termină prin repetarea sau reformularea concluziei.

Norvegia arată lumii o opțiune când vine vorba de AI în școli: nu o integrează deloc
Norvegia arată lumii o opțiune atunci când se confruntă cu IA în școli: să nu o integreze deloc

Experimentul

Pentru a-l pune la încercare, el a adunat 2.250 de postări pe blog de la 268 de companii media, toate publicate înainte de lansarea ChatGPT și preluate folosind Wayback Machine. Apoi a cerut cinci modele (GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 și Kimi K2.5) să își scrie propria versiune pe baza unui rezumat al conținutului original.

În total, au fost 11.250 de versiuni generate de aceste modele, scrise și rescrise din nou, pentru a verifica în ce măsură sistemul lor a putut identifica modificări de la profunde la minore. Rezultatul a fost că, în timpul testării, a obținut un punctaj de aproximativ 97-98 macro F1, o valoare care combină precizia și acoperirea pentru oameni și AI.

Când textele au fost rescrise de mai multe ori folosind AI, macrocomanda F1 abia s-a schimbat. A scăzut semnificativ doar la schimbarea caracteristicilor de stil (cu un scor de 88,1). Concluzia este că inteligența artificială lasă o amprentă asupra arhitecturii discursului, oferind texte previzibile, foarte răvășite, cu concluzii repetitive. De fapt, conform testelor, în 79% din cazuri sistemul ar putea chiar să indice ce model a scris ce pe baza „literelor” fiecăruia dintre ele.

Jochen Madler Imagine | Jochen Madler

Forma pantei

Iar cheia: ceea ce dă indicii instrumentului este ceea ce îi dă titlului investigației, acea „forma slop”. Potrivit lui Madler, ei au de obicei aceste trăsături:

  • Formă foarte ordonată, uneori cu puncte inițiale care indică secțiunile.
  • Titlul promite exact ceea ce va oferi articolul, fără a oferi context tangențial.
  • Introducerea prezintă imediat teza și apoi urmează o structură de „definiție, avantaje, pași, erori și recomandări” ca și cum ar fi concluziile de sfârșit sau de expert
  • sau experți. ideea care era deja anunțată în introducere.

Există și alți factori, cum ar fi afirmații fără surse, statistici fără context sau un fel de liste de argumente pro și contra care sunt întotdeauna echilibrate și care nu contribuie cu nimic.

China a rezolvat dilema AI în educație: materie de bază și profesori cu pregătire specializată
China a rezolvat dilema IA în educație: formarea disciplinei de bază și a profesorilor de specialitate

DAR

Faptul că aceste trăsături sunt îndeplinite nu dovedește că un text a fost scris de o IA. De fapt, în presă și înainte de ChatGPT, am găsit agenții de comunicare care au lansat mesaje urmând tocmai acea structură corporativă. Are sens pentru că sunt textele pe care le-au folosit pentru studiu și, de asemenea, cu care au fost antrenate AI-urile diferitelor companii (printre atâtea lucruri furate pentru instruirea respectivă, desigur).

În plus, și acest lucru este important, studiul a fost făcut cu articole în limba engleză, deci nu poate fi aplicat în alte limbi sau la orice text scris pe Internet. Concluzia este că ceea ce este caracteristic formațiunilor este combinarea repetată a fiecăruia și a fiecăruia dintre acești factori care ne pot face suspicioși și, mai presus de toate, textele cu „mult text” și care nu numai că nu aduc nimic, dar nu arată o progresie de idei.

Dar ei bine, până la urmă, deocamdată este încă o investigație asupra unui lucru care este evident o problemă. Și, într-o eră în care din când în când sunt lansate tot mai multe modele de frontieră, sunt necesare instrumente pentru a distinge cine a făcut ce text. Ca o curiozitate, am analizat acest text și sunt 70% om. Și în celălalt scrie 80% când este un interviu. Trebuie să continuați reglarea fină a instrumentului.

IA post Că un articol de interviu spus într-un mod mai narativ are acest punctaj nu vorbește prea bine despre instrument

Imagini | Jochen Madler

În investigația noastră tehnică | Cel mai recent raport PISA sugerează un colaps din cauza AI și a ecranelor. Poate este doar o eroare de măsurare

Partajează acest dosar: