Că suntem înconjurați de text scris de o IA nu mai surprinde pe nimeni. Aceia dintre noi care vrem să citească oamenii mergem toată ziua cu securea ridicată în căutarea indicii pentru a verifica dacă citim un om sau un robot, dar deși asta poate fi o chestiune de etică sau preferință, sunt necesare instrumente bune care detectează textul scris de AI.
Și spun „bine” pentru că unele dintre cele mai faimoase eșuează mai mult decât o pușcă corectă, clasificând textele umane drept „facute de AI” și invers. Un cercetător pe nume Jochen Madler s-a obosit și a conceput un sistem care nu numai că spune dacă un text este sau nu AI, ci și dacă acel text este scris de un om care pur și simplu s-a dedicat rezultatului pe care i-a dat paraphras-ul.
Rezultat? O macrocomandă F1 aproape de 98%.
Pe scurt
Studiul se intitulează „SlopShape" și, în acesta, Madler explică că sistemul a analizat o serie de texte al căror model nu l-a văzut niciodată și a atins rata de succes de 98% menționată mai sus în etichetare, indiferent dacă a fost scris de la început până la sfârșit de AI sau de un om.
Potrivit cercetătorului, sistemul nu citește textul și emite verdictul, ci mai degrabă un model lingvistic răspunde pentru fiecare postare la un chestionar de peste 200 de întrebări despre modul în care este alcătuit textul respectiv. Concret, analizează ordinea în care sunt prezentate ideile, dacă articolul își anunță în prealabil structura, se uită la locul unde apare teza, modul în care sunt prezentate sursele, orientarea practică a articolului sau dacă textul se termină prin repetarea sau reformularea concluziei.
Experimentul
Pentru a-l pune la încercare, el a adunat 2.250 de postări pe blog de la 268 de companii media, toate publicate înainte de lansarea ChatGPT și preluate folosind Wayback Machine. Apoi a cerut cinci modele (GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 și Kimi K2.5) să își scrie propria versiune pe baza unui rezumat al conținutului original.
În total, au fost 11.250 de versiuni generate de aceste modele, scrise și rescrise din nou, pentru a verifica în ce măsură sistemul lor a putut identifica modificări de la profunde la minore. Rezultatul a fost că, în timpul testării, a obținut un punctaj de aproximativ 97-98 macro F1, o valoare care combină precizia și acoperirea pentru oameni și AI.
Când textele au fost rescrise de mai multe ori folosind AI, macrocomanda F1 abia s-a schimbat. A scăzut semnificativ doar la schimbarea caracteristicilor de stil (cu un scor de 88,1). Concluzia este că inteligența artificială lasă o amprentă asupra arhitecturii discursului, oferind texte previzibile, foarte răvășite, cu concluzii repetitive. De fapt, conform testelor, în 79% din cazuri sistemul ar putea chiar să indice ce model a scris ce pe baza „literelor” fiecăruia dintre ele.
Imagine | Jochen Madler
Forma pantei
Iar cheia: ceea ce dă indicii instrumentului este ceea ce îi dă titlului investigației, acea „forma slop”. Potrivit lui Madler, ei au de obicei aceste trăsături:
- Formă foarte ordonată, uneori cu puncte inițiale care indică secțiunile.
- Titlul promite exact ceea ce va oferi articolul, fără a oferi context tangențial.
- Introducerea prezintă imediat teza și apoi urmează o structură de „definiție, avantaje, pași, erori și recomandări” ca și cum ar fi concluziile de sfârșit sau de expert
- sau experți. ideea care era deja anunțată în introducere.
Există și alți factori, cum ar fi afirmații fără surse, statistici fără context sau un fel de liste de argumente pro și contra care sunt întotdeauna echilibrate și care nu contribuie cu nimic.
DAR
Faptul că aceste trăsături sunt îndeplinite nu dovedește că un text a fost scris de o IA. De fapt, în presă și înainte de ChatGPT, am găsit agenții de comunicare care au lansat mesaje urmând tocmai acea structură corporativă. Are sens pentru că sunt textele pe care le-au folosit pentru studiu și, de asemenea, cu care au fost antrenate AI-urile diferitelor companii (printre atâtea lucruri furate pentru instruirea respectivă, desigur).
În plus, și acest lucru este important, studiul a fost făcut cu articole în limba engleză, deci nu poate fi aplicat în alte limbi sau la orice text scris pe Internet. Concluzia este că ceea ce este caracteristic formațiunilor este combinarea repetată a fiecăruia și a fiecăruia dintre acești factori care ne pot face suspicioși și, mai presus de toate, textele cu „mult text” și care nu numai că nu aduc nimic, dar nu arată o progresie de idei.
Dar ei bine, până la urmă, deocamdată este încă o investigație asupra unui lucru care este evident o problemă. Și, într-o eră în care din când în când sunt lansate tot mai multe modele de frontieră, sunt necesare instrumente pentru a distinge cine a făcut ce text. Ca o curiozitate, am analizat acest text și sunt 70% om. Și în celălalt scrie 80% când este un interviu. Trebuie să continuați reglarea fină a instrumentului.
Că un articol de interviu spus într-un mod mai narativ are acest punctaj nu vorbește prea bine despre instrument
Imagini | Jochen Madler
În investigația noastră tehnică | Cel mai recent raport PISA sugerează un colaps din cauza AI și a ecranelor. Poate este doar o eroare de măsurare