Cât de eficiente sunt instrumentele de detectare a conținutului scris de AI?

Majoritatea instrumentelor de generare a conținutului AI se bazează pe modele de limbaj ChatGPT oferite de OpenAI. Prin urmare, modelele pe care le folosesc în crearea conținutului sunt oarecum similare. Acum putem crea, îmbunătăți sau edita texte nu numai direct în aplicația ChatGPT, ci și în documentele notion.so sau folosind plugin-ul Grammarly.

Astăzi, o cantitate tot mai mare de conținut publicat online este generată cu ajutorul inteligenței artificiale. Drept urmare, apar noi modalități de verificare originalității conținutului: instrumentele de detectare AI. Am decis să investigăm acuratețea lor și gradul de încredere pe care le putem acorda.

Cum funcționează instrumentele de detectare AI?

Instrumentele care detectează conținutul scris de AI se bazează în esență pe noi modele de limbaj care au fost antrenate pentru a face diferența între textele scrise de oameni și cele create de inteligența artificială. Aceste instrumente determină evaluările probabilității lor pe baza perplexității (măsurarea aleatoriei) și burstiness (măsurarea variației de perplexitate) a textului. Oamenii tind să scrie cu mai multă aleatorie – de exemplu, adesea intercalăm propoziții mai lungi cu altele mai scurte și mai puțin complexe. Detectoarele de conținut AI identifică aceste caracteristici prin instruire pe milioane de exemple de texte, clasificate anterior ca fiind scrise de om sau create de AI.

În timp ce modelele AI precum ChatGPT și alte instrumente bazate pe GPT pot genera conținut într-o varietate de limbi, majoritatea instrumentelor de verificare acceptă în principal limba engleză. Deci, cum se verifică conținutul în alte limbi?

O metodă este verificarea textelor care au fost traduse automat de instrumente precum DeepL sau Google Translate. Este foarte important de reținut, însă, că această metodă de traducere impune și anumite tipare textelor, conform cărora acestea sunt traduse automat, influențând

Evaluarea instrumentului care detectează conținutul scris de AI. Cu toate acestea, unii detectori sunt dispuși să verifice conținutul în alte limbi, în ciuda faptului că sprijinul lor oficial este limitat la engleză.

Fiecare instrument are limitările sale în ceea ce privește lungimea conținutului pe care îl poate verifica, care depinde de utilizarea unei versiuni gratuite sau plătite. Mai mult, ei folosesc diferite metode pentru a evalua originea conținutului; unii oferă un procent de certitudine, în opinia lor, că textul a fost generat de o anumită sursă, în timp ce alții folosesc aprecieri verbale sau o scală binară: da sau nu.

Instrumente verificate

Din gama de soluții disponibile pe piață, am pus cele mai populare patru instrumente și le-am testat folosind un set de mostre de 20 de texte. Am selectat 10 texte scrise de oameni și 10 generate de inteligența artificială pentru a evalua modul în care aceste instrumente le-ar clasifica.

În textele scrise în mod tradițional, am inclus articole scrise în întregime de copywriteri (unele dintre acestea au fost scrise înainte de 2021, ceea ce exclude scrierea lor cu AI), fragmente din literatură (inclusiv cărți pentru copii), articole de știri și ghiduri de instruire. Conținutul generat de inteligența artificială includea fragmente de literatură create în acest fel, cum ar fi The Inner Life of an AI: A Memoir de ChatGPT și Bob the Robot, precum și articole produse folosind inteligența artificială (inclusiv atât cele deja publicate online, cât și cele proaspăt creat de GPT-3.5 și GPT-4). De asemenea, am încorporat texte în poloneză împreună cu traducerile lor de către DeepL și Google Translate în eșantionul nostru de conținut analizat. Toate testele au fost efectuate pe aceleași fragmente de text și, având în vedere diferitele metode de clasificare, am examinat rezultatele instrument cu instrument.

Mai jos, vă prezentăm o compilație de texte scrise de oameni:

Și acestea au fost generate de inteligența artificială:

AI Text Clasifier de OpenAI

AI Text Classifier de la OpenAI, creatorii modelelor GPT, acesta este cel mai popular instrument pentru detectarea conținutului creat de inteligența artificială. Evaluează și își exprimă constatările în ceea ce privește probabilitatea ca textul analizat să fi fost creat de inteligența artificială. Acest lucru se realizează folosind o serie de categorii: „foarte puțin probabil”, „putin probabil”, „neclar”, „posibil” și „probabil generat de IA”. După cum puteți vedea, această oferă un grad corect de referință. OpenAI însuși notează în descrierea instrumentului că rezultatele pot să nu fie întotdeauna exacte și că detectorul ar putea clasifica greșit atât conținutul creat de AI, cât și conținutul scris de om. Este important de reținut că modelul folosit pentru a antrena AI Text Classifier nu a inclus lucrările elevilor, așa că nu este recomandat pentru verificarea unui astfel de conținut.

Din 10 texte scrise de oameni, AI Text Classifier a clasificat corect 9 drept „foarte puțin probabil” sau „improbabil” să fi fost creat de inteligența artificială. Cu toate acestea, se luptă mai mult cu clasificarea celor generate de AI. În acest caz, instrumentul clasifică frecvent textul ca „neclar”, „improbabil” sau „posibil” generat de IA.

Originality.AI

Un alt instrument utilizat pe scară largă pentru verificarea conținutului creat cu inteligență artificială se numește Originality. Creatorii săi susțin că are o rată de eficacitate de 95,93%. Este singurul instrument de pe lista noastră care are un cost, taxând 0,01 USD pentru fiecare 100 de cuvinte verificate. Pachetul minim costă 20 USD. Pe lângă verificarea originii conținutului, Originality îl verifică și pentru plagiat.

Originality folosește procente pentru a reflecta certitudinea modului în care a fost creat conținutul. Un scor original de 66% nu înseamnă că textul este scris în proporție de 66% de un om și 34% de AI, ci mai degrabă că Originality este 66% sigură că conținutul a fost creat de un om. Instrumentul evidențiază cu roșu părțile despre care crede că au fost generate de AI și cu verde părțile despre care are încredere că sunt munca umană. Interesant, este adesea cazul ca în textele clasificate în cele din urmă drept scrise de oameni, cea mai mare parte sau cel puțin jumătate din conținut este evidențiată cu roșu.

Originality se luptă uneori să clasifice definitiv conținutul scris de oameni. Dintre toate textele verificate, doar unul a fost evaluat cu o certitudine de 100% ca fiind scris de om. Rezultatele pentru textele rămase au variat de la 52 la 92% certitudine că conținutul este uman.

Instrumentul a făcut o treabă puțin mai bună la verificarea conținutului generat de AI; în 7 din 10 texte, certitudinea că conținutul a fost generat de AI a fost de 100% sau 99%. Îndoielile au apărut când a fost vorba de conținutul generat de AI în poloneză și apoi tradus în engleză. Chiar dacă articolul a fost generat de unul dintre modelele GPT mai vechi (și a fost publicat pe un blog în septembrie 2022) și a avut destul de multe erori stilistice, Originality era 92% sigur că versiunea poloneză a fost scrisă de om. Dar, pe măsură ce traducerile au continuat, balanța s-a înclinat în favoarea AI: originalitatea a fost 57% sigură că conținutul tradus prin DeepL a fost generat de AI și 85% pentru versiunea Google Translate.

Textul care a creat cele mai multe probleme lui Originality a fost un articol de pe popularul website Bankrate.com, unde conținutul este generat de AI și verificat de oameni. Acesta a fost singurul caz în care instrumentul era 88% sigur că articolul a fost scris de om, chiar dacă a fost de fapt creat cu ajutorul AI. Deci, se pare că cheia „păcălirii” lui Originality constă în editarea atentă a textului.

CopyLeaks

Evaluarea generală a conținutului din CopyLeaks este binară; rezultatele posibile sunt „Acesta este text uman” și „Conținut AI detectat”. Verificarea detaliată pentru anumite segmente poate fi vizualizată doar dacă treceți cursorul peste text. Instrumentul va indica apoi probabilitatea ca paragraful selectat să fi fost scris de un om sau de un AI.

Din 10 texte scrise de oameni, CopyLeaks a detectat conținutul generat de inteligența artificială în două dintre ele. Când a fost vorba de conținutul generat de AI, instrumentul l-a evaluat ca fiind creat în egală măsură de oameni și de AI. Prin urmare, rezultatele nu sunt de încredere și ar putea fi chiar considerate inutile. Este surprinzător cât de „sensibil” este CopyLeaks la schimbări. În exemplele verificate, o simplă modificare a introducerii sau adăugarea numărului de capitol și a informațiilor despre titlu a fost suficientă pentru a schimba complet rezultatul evaluării.

Evaluarea conținutului - AI DETECTOR

Evaluarea conținutului servește în primul rând ca instrument pentru generarea automată de conținut, funcția de verificare este ca și o caracteristică suplimentară. Creatorii instrumentului susțin că textele generate de sistemul lor sunt nedetectabile de detectorii AI. Acest lucru ridică întrebarea: instrumentele care detectează conținutul scris de AI a fost proiectat pentru a confirma eficiența generatorului?

Compania oferă un exemplu de text generat de Content at Scale pe website-ul său. Potrivit propriului detector, acest text a fost evaluat ca având o probabilitate de 95% să fie scris de om. Cu toate acestea, AI Text Classifier a considerat că este puțin probabil să fie opera AI. Originality și CopyLeaks, însă, nu au fost păcălite atât de ușor. Originality a evaluat textul ca fiind 100% generat de AI, în timp ce CopyLeaks a detectat conținut AI. După cum se poate observa, aceste instrumente oferă perspective diferite.

Content at Scale s-a descurcat destul de bine în detectarea conținutului scris de un om. Pentru 9 din 10 dintre paragrafe verificate, probabilitatea ca acestea să fie scrise de om a depășit 90%.

Cu toate acestea, s-a luptat mai mult cu conținutul generat de AI; în 6 din 10 cazuri, a evaluat textele ca fiind create atât de oameni, cât și de AI. Restul au fost clasificate incorect drept scrise de oameni.

Inducerea în eroare a instrumentelor de detectare

Conținutul generat de inteligență artificială nu apare din senin. În spatele lui a existat întotdeauna un om. Așadar, se pune întrebarea: putem găsi modalități de a păcăli instrumentele de detectare a conținutului scris de AI și de a genera conținut care depășește capacitățile lor de detectare?

Internetul este plin de programe care pot perturba aceste instrumente. Unul dintre ele este să explice chatbot-ului conceptele de „perplexitate” și „burstiness”. Ideea este de a ghida AI-ul să ia în considerare acești factori atunci când generează un text nou. Pentru a pune acest lucru la încercare, am alocat un chatbot alimentat de modelul GPT-4 să redacteze un articol despre cele mai bune locuri de alpinism din Paris.

Rezultatele au fost interesante. Am comparat rezultatul versiunii textului original și o a doua încercare, în care am clarificat criteriile de evaluare pentru chatbot și l-am îndrumat cu privire la modul de a face conținutul să pară mai uman:

Singurul instrument care nu a fost păcălit a fost Originality. Cu toate acestea, în ambele cazuri, am înșelat cu succes AI Text Classifier, care a concluzionat că șansa ca ambele conținuturi să fie generate de AI a fost scăzută. În mod interesant, Content at Scale și CopyLeaks și-au schimbat opiniile după ce ChatGPT-4 a creat textul, ținând cont de liniile directoare despre nedumerire și explozie.

Ce determina detectoarele să fie nefiabile?

Instrumentele de detectare a conținutului scris de AI sunt proiectate pentru a căuta elemente predictibile de conținut, cunoscute sub numele de perplexitate. Cu cât predictibilitatea este mai mică, cu atât este mai mare șansa ca textul să fie scris într-o manieră tradițională: adică de către un om. Cu toate acestea, la fel cum ușoarele modificări ale solicitărilor introduse într-un chatbot precum ChatGPT pot da un rezultat complet diferit, o modificare minoră a textului verificat (care poate modifica doar puțin sensul acestuia) poate schimba evaluarea dată de aceste instrumente.

Luați, de exemplu, cartea pentru copii Bob the Robot, care a fost generată în proporție de 80% de inteligența artificială. Editorul a atribuit 20% din creație editării umane a textului. Segmentul pe care l-am verificat în ceea ce privește modul în care a fost creată cartea a fost primul său capitol, cuprinzând 276 de cuvinte. În esență, am verificat același text de două ori, cu doar o modificare minoră: am adăugat „Capitolul 1: Star City” înainte de conținutul capitolului. În consecință, Copyleaks.com și-a schimbat complet evaluarea cu privre la originalitatea cărții. În text analizat, acesta a detectat conținut generat de AI, dar același text cu informații despre numărul și titlul capitolului a fost considerat a fi scris de om.

Deci, cum răspund instrumentele de detectare la conținutul tradus? De exemplu, am folosit conținut scris de un copywriter fără ajutorul inteligenței artificiale. Articolul a fost scris în poloneză. Chiar dacă unele instrumente nu acceptă această limbă, ele încearcă totuși să-i verifice conținutul fără a semnala erori. Rezultatele furnizate de originality.ai au arătat o certitudine de 77% că, conținutul a fost scris de oameni la verificarea textului polonez. Același text, atunci când a fost tradus folosind DeepL, a oferit instrumentului doar 67% certitudine că a fost scris de un om. Această certitudine scade la 36% atunci când textul este tradus de Google Translate.

Interesant este faptul că un alt instrument, pe nume Copyleaks, care acceptă oficial conținutul polonez, a clasificat corect toate versiunile. Probabilitatea ca cea mai mare parte a textului să fie scrisă de oameni (ținând cont de faptul că instrumentul evaluează separat părți ale textului) a fost de 99,9% pentru versiunea poloneză, 89,8% pentru traducerea DeepL și 90,2% pentru versiunea Google Translate. Deși diferențele sunt minore, este intrigant faptul că traducerea Google este considerată mai apropiată de un stil de scriere umană decât DeepL, care a fost clasificat în mod opus de Originality.

Cum se diferențiază detectorii AI față de oameni?

Cercetătorii de la Școala de Inginerie și Științe Aplicate de la Universitatea din Pennsylvania au investigat modul în care oamenii discern conținutul generat de AI. Suntem capabili oare să identificăm diferențele și ce factori să luăm în considerare?

Pentru diferite tipuri de conținut, ne concentrăm în primul rând pe relevanță, care de obicei exercită cea mai puternică influență asupra evaluării noastre. În cadrul conținutului generat de AI, detectăm, de asemenea, erori care decurg din lipsa logicii, pe care instrumentele AI nu le pot verifica și prezența segmentelor contradictorii.

Detectoarele AI își bazează în primul rând evaluările pe predictibilitatea și caracterul aleatoriu al textului, fără a lua în considerare mulți alți factori evidențiați de participanții la studiu. Am pus acest lucru la încercare cu un articol creat de inteligența artificială în septembrie 2022, înainte ca ChatGPT să devină un nume cunoscut. Articolul este plin de erori stilistice, propoziții ilogice și fraze incomode, pe de o parte, dar, pe de altă parte, este într-adevăr „original” și în special aleatoriu.

Textul a fost inițial în poloneză, așa că am repetat procesul de traducere automată prin DeepL și Google Translate și, pentru o mai bună acuratețe, am examinat și textul original (rețineți că nu toate instrumentele acceptă limba poloneză, dar ele efectuează evaluarea acesteia).

Mai jos sunt rezultatele: 

După cum se poate observa, Originality.ai a gestionat evaluarea textul tradus, dar rezultatele sale nu sunt fără marjă de eroare. Rețineți că procesul de traducere automată poate introduce un element „nenatural” în conținut, care poate explica parțial o probabilitate crescută ca conținutul să fie perceput ca fiind generat de AI.

Rezumat

Paradoxul instrumentelor de detectare a conținutului scris de AI este că avem un sentiment de îndoială cu privire la calitatea textelor generate de AI, încât avem nevoie de un alt instrument bazat pe AI pentru a le detecta. Întrebările cruciale pe care ar trebui să ni le punem în acest moment sunt: ​​putem determina cu certitudine absolută cum a fost creată fragment dintr-un text? Dacă un articol este bine scris și nu conține erori de fapt, contează cu adevărat modul în care a fost scris?

Există o îndoială cu privire la conținutul creat de AI deoarece se crede că acesta este de calitate scăzută. Unii susțin, de asemenea, că website-urile vor fi „penalizate” pentru conținutul generat în acest mod. Cu toate acestea, Bing și Google se îndreaptă către utilizarea inteligenței artificiale în motoarele lor de căutare, sugerând că văd beneficiile unor astfel de soluții.

Niciunul dintre aceste instrumente nu este în totalitate perfect. În procesul nostru, unii s-au descurcat mai bine în evaluarea textelor scrise de oameni, în timp ce alții au excelat cu cele scrise de AI. Rezultatele pentru anumite texte au variat semnificativ între instrumente. Când verificăm fragmentele selectate, știam cum au fost create, dar dacă am fi efectuat un test rapid, rezultatele ar fi fost pur și simplu nesigure. Cea mai mare problemă cu evaluările acestor instrumente este incertitudinea când sunt corecte și când sunt greșite. Folosindu-le, nu știm niciodată dacă putem avea încredere în ele în totalitate.

Următorul articol este o traducere a articolului polonez  "Detektory treści AI - jak radzą sobie z klasyfikacją tekstu?" scris de Agata Gruszka, International SEO Manager la WhitePress®.