Detektory treści AI - jak radzą sobie z klasyfikacją tekstu?

Większość narzędzi generujących content za pomocą AI opiera się na modelach językowych GPT udostępnianych przez OpenAI, a więc schematy, którymi się posługują przy tworzeniu treści, w niewielkim stopniu różnią się między sobą. Teksty stworzymy, ulepszymy czy przeredagujemy już nie tylko bezpośrednio w aplikacji ChatGPT, ale także w dokumentach notion.so, czy też korzystając z wtyczki Grammarly. 

Już teraz coraz więcej treści publikowanych w Internecie jest generowane przez sztuczną inteligencję lub przy jej pomocy. Wskutek tego powstają zatem nowe sposoby weryfikowania pochodzenia treści - detektory AI. Postanowiliśmy sprawdzić, czy są one wiarygodne i na ile możemy im ufać.

Jak działają narzędzia do wykrywania treści AI?

Detektory wykrywania treści AI to nic innego, jak kolejne modele językowe przeszkolone do tego, aby odróżnić teksty pisane przez człowieka od tych generowanych z pomocą sztucznej inteligencji. Swoje oceny prawdopodobieństwa narzędzia określają na podstawie przewidywalności tekstu (perplexity - dosł. zakłopotanie) oraz jego przypadkowości (burstiness - dosł. wybuchowość). Burstiness mierzy zmienność przewidywalności (perplexity). Ludzie mają tendencję do pisania z większą przypadkowością - na przykład długie zdania przeplatają krótszymi i mniej złożonymi. Detektory treści AI wykrywają te cechy na podstawie treningów na milionach przykładowych treści oznaczonych uprzednio jako napisane przez człowieka i te stworzone przez AI.

O ile ChatGPT oraz narzędzia oparte o poszczególne modele GPT generują treści w różnych językach, to narzędzia do weryfikacji w większości obsługują jedynie język angielski. Jak zatem weryfikować treści w innych językach? 

Można zweryfikować teksty tłumaczone automatycznie przez DeepL czy Google Translate. Pamiętajmy jednak, że taki sposób przekładu również narzuca tekstom pewne wzory, według których są automatycznie tłumaczone, co wpływa na ocenę detektorów. Niemniej jednak niektóre z detektorów podejmują się weryfikacji treści w innych językach, choć oficjalnie ich nie obsługują.

Każdy z detektorów ma także inne ograniczenia co do długości treści, które pozwala zweryfikować (oczywiście w zależności od tego czy wybierzemy wersję darmową, czy płatną) oraz różne sposoby oceniania pochodzenia treści - niektóre określają % pewności, z którym ich zdaniem tekst został wygenerowany przez wybrane źródło, inne stosują oceny słowne lub zero-jedynkową skalę: tak czy nie.

Zweryfikowane przez nas narzędzia

Spośród dostępnych na rynku rozwiązań, pod lupę wzięliśmy 4 najpopularniejsze narzędzia i zweryfikowaliśmy je na próbie 20 tekstów. Wybraliśmy po 10 napisanych przez człowieka i wygenerowanych przez sztuczną inteligencję, aby sprawdzić, jak zostaną ocenione przez detektory. 

Wśród tekstów pisanych tradycyjnie znalazły się artykuły pisane w 100% przez copywriterów (część z nich została napisana przed 2021 rokiem, co wyklucza udział AI w ich napisaniu), fragmenty literatury (także tej dla dzieci), artykuły o charakterze newsowym oraz poradnikowym. Wśród wyboru treści AI znalazły się fragmenty literatury stworzonej w ten sposób - The Inner Life of an AI: A Memoir by ChatGPT oraz Bob the Robot, a także artykuły wygenerowane przy pomocy sztucznej inteligencji (zarówno te już opublikowane w sieci, jak i te „na świeżo” stworzone przez GPT-3.5 i GPT-4). Do puli analizowanych treści, po obu stronach włączyliśmy także teksty w języku polskim z ich tłumaczeniami DeepL i Google Translate. Wszystkie próby przeprowadziliśmy na tych samych fragmentach tekstów, a ze względu na różne sposoby klasyfikacji, wyniki przeanalizowaliśmy na poziomie wybranego narzędzia.

Poniżej przedstawiamy zestawienie tekstów napisanych przez ludzi:

oraz tych wygenerowanych przez sztuczną inteligencję:

AI Text Classifier od OpenAI

Najpopularniejszym detektorem treści tworzonych przez AI jest AI Text Classifier stworzony przez OpenAI, twórcę modeli GPT, który w ostatnim czasie zrobił tyle zamieszania.

Wyniki oceny przez AI Text Classifier są wyrażane za pomocą określenia prawdopodobieństwa czy wybrany tekst został stworzony przez sztuczną inteligencję (very unlikely - wątpliwe, unlikely - mało prawdopodobne, unclear - niejasne, possibly - możliwe, likely AI-generated - prawdopodobnie wygenerowane przez AI). Skala ta, jak widać, jest dość płynna. Samo OpenAI w opisie narzędzia zaznacza, że uzyskany wynik nie zawsze będzie wiarygodny, a sam detektor może nieprawidłowo klasyfikować zarówno treści tworzone przez AI, jak i te napisane przez człowieka. Warto pamiętać, że model, który posłużył do wytrenowania AI Text Classifiera nie zawierał prac uczniów i studentów. Nie jest zatem rekomendowany do weryfikacji tego typu treści.

Spośród 10 tekstów napisanych przez człowieka, AI Text Classifier prawidłowo sklasyfikował 9 - jako wątpliwe oraz mało prawdopodobne, że za treścią stała sztuczna inteligencja. O wiele gorzej jednak radzi sobie z kategoryzacją tych, które zostały wygenerowane przez AI - i tu o wiele częściej z jego strony padają odpowiedzi niejasne / mało prawdopodobne / możliwe, że tekst został wygenerowany przez AI.

Originality.AI

Kolejnym popularnym narzędziem do weryfikacji treści tworzonych przy pomocy sztucznej inteligencji jest Originality. Jak twierdzą sami jego twórcy jego skuteczność to 95.93%. To jedyne płatne narzędzie w naszym podsumowaniu. Jego koszt to $0.01 za 100 weryfikowanych słów, a najniższy pakiet kosztuje $20. Oprócz weryfikacji pochodzenia treści, narzędzie bada ją także pod kątem plagiatu.

Originality swoje oceny wyraża w % pewności, w jaki sposób powstała treść. Wynik 66% Original nie oznacza, że tekst w 66% jest napisany przez człowieka a w 34% przez AI, ale że sztuczna inteligencja Originality jest w 66% pewna, że treść została stworzona przez człowieka. Dodatkowo narzędzie na czerwono podkreśla fragmenty, które według niego zostały wygenerowane przez AI, a na zielono te, co do których nie ma wątpliwości, że są dziełem człowieka. Co ciekawe, często w tekstach, które ostatecznie zostały określone jako napisane przez człowieka, większość lub przynajmniej połowa treści jest podkreślona na czerwono.

Originality nie było w stanie jednoznacznie sklasyfikować treści napisanych przez człowieka. Tylko jeden ze zweryfikowanych fragmentów narzędzie oceniło na 100% pewności, że został napisany przez człowieka. Wyniki dla pozostałych tekstów oscylowały między 52 a 92% pewności, że treść jest ludzka.

Narzędzie nieco lepiej poradziło sobie z weryfikacją treści wygenerowanych przez AI - w 7 na 10 tekstów pewność, że treść została wygenerowana przez AI wyniosła 100% lub 99%. Wątpliwości pojawiły się w przypadku treści wygenerowanej przez sztuczną inteligencję w języku polskim i jej tłumaczeniem na angielski. Choć artykuł został wygenerowany przez jeden ze starszych modeli GPT (a tekst został opublikowany na jednym z blogów we wrześniu 2022) oraz zawierał sporo błędów stylistycznych, Originality w przypadku oceny wersji polskiej miało 92% pewności, że treść została napisana przez człowieka. Wraz z kolejnymi tłumaczeniami, szala przechyliła się na korzyść AI - 57% pewności, że tłumaczona przez DeepL treść została stworzona przy pomocy sztucznej inteligencji oraz 85% pewności w przypadku tłumaczenia Google Translate. 

Tekstem, z którym Originality miało największy problem, jest artykuł z popularnej strony Bankrate.com, w której publikowane treści są generowane przez sztuczną inteligencją i weryfikowane przez ludzi. To jedyny przykład, w którym narzędzie jest w 88% pewne, że artykuł został stworzony przez człowieka, podczas gdy treść powstała z pomocą AI. Kluczem do „oszukania” Originality jest więc odpowiednia redakcja tekstu.

CopyLeaks

Ogólna ocena treści w CopyLeaks jest zero-jedynkowa - możliwe wyniki to „This is human text” (Tekst napisany przez człowieka) oraz „AI Content Detected” (wykryto AI content). Szczegóły weryfikacji dla poszczególnych fragmentów zobaczymy dopiero po najechaniu na treść. Narzędzie wskaże, z jakim prawdopodobieństwem wybrany akapit został napisany przez człowieka lub przez AI. 

Spośród 10 treści napisanych przez człowieka, w dwóch z nich CopyLeaks wykryło content generowany przez AI. W przypadku treści generowanych przez AI, narzędzie mniej więcej po równo oceniło je na ludzkie oraz stworzone przez sztuczną inteligencję. Wyniki nie są więc miarodajne, a wręcz bezużyteczne. Zaskakującym jest fakt jak „czułe” na zmiany jest CopyLeaks. W weryfikowanych przykładach wystarczyła zmiana prompta wpisywanego do czata lub dopisanie informacji o numerze i tytule rozdziału, aby całkowicie zmienić wynik jego oceny.

Content at Scale - AI DETECTOR

Content at Scale - w pierwszej kolejności służy do automatycznego tworzenia treści, weryfikator jest dodatkową funkcją. Jak podkreślają sami twórcy narzędzia, stworzone dzięki nim teksty są niewykrywalne przez detektory. Czy zatem detektor został stworzony, aby potwierdzić skuteczność generatora?

Przykładowy tekst wygenerowany z Content at Scale, który firma udostępnia na swojej stronie, przez ich własny detektor został oceniony na 95% prawdopodobieństwa, że treść została napisana przez człowieka. AI Text Classifier ocenił na mało prawdopodobne, że jest to dzieło AI. Originality oraz CopyLeaks nie dały się jednak nabrać. Pierwsze narzędzie oceniło tekst jako w 100% wygenerowany przez AI, drugie, wykryło treści AI. Jak widać ile detektorów, tyle opinii.

Detektor od Content at Sacale, całkiem nieźle poradził sobie z wykrywaniem treści napisanych przez człowieka. Dla 9 na 10 spośród weryfikowanych fragmentów, prawdopodobieństwo to wyniosło ponad 90%.

O wiele gorzej radzi sobie natomiast z treściami wygenerowanymi przez AI - w 6 na 10 przypadków ocenił teksty jako stworzone zarówno przez człowieka, jak i AI. Pozostałe zostały nieprawidłowo sklasyfikowane jako ludzkie.

Oszukać detektory

Treści generowane przez AI nie powstają przez przypadek. Za promptami, które je tworzą i tak zawsze stoi człowiek. Czy istnieją więc sposoby na oszukanie detektorów treści AI przez stworzenie niewykrywalnych treści? 

W Internecie aż roi się od domowych sposobów na niewykrywalne prompty. Jednym z nich jest wytłumaczenie czatowi wspomnianych pojęć perplexity i burstiness tak, aby był w stanie wziąć je pod uwagę, tworząc nowy tekst. Poprosiliśmy więc czata korzystającego z modelu GPT-4 o napisanie artykułu o najlepszych miejscach do wspinaczki w okolicy Paryża.

Oto wyniki dla pierwotnej wersji tekstu, oraz drugiej próby, w której wyjaśniliśmy czatowi, jakie są kryteria oceny i co powinien zrobić, by treść bardziej przypominała ludzką:

Jedynym narzędziem, które nie dało się wpuścić w maliny jest Originality. Jak widać w obu przypadkach natomiast udało się nam oszukać AI Text Classifiera, który stwierdził, że prawdopodobieństwo wygenerowania obu treści przez AI jest małe. Content at Scale oraz CopyLeaks zmieniły swoje zdanie, po tym jak ChatGPT-4 tworzył tekst w oparciu o wskazówki dotyczące perplexity i burstiness.

Co sprawia, że detektory są niewiarygodne?

Detektory nastawione są na wyszukiwanie przewidywalnych elementów treści, tzw. perplexity. Im niższa przewidywalność, tym większe prawdopodobieństwo, że tekst został napisany tradycyjnie - przez człowieka. Ale tak, jak drobne zmiany w promptach wpisywanych do ChataGPT skutkują zupełnie innym wynikiem, tak samo drobna zmiana w sprawdzanym tekście (nieznacznie wpływająca na jego znaczenie), może zmienić ocenę narzędzi. 

Za przykład posłużyła bajka dla dzieci „Bob the Robot", która w 80% została wygenerowana przez sztuczną inteligencję. Za 20% ludzkiego pierwiastka wydawca uznał redakcję tekstu przez człowieka. Fragmentem, który zweryfikowaliśmy pod kątem sposobu powstania książki, był jej pierwszy rozdział (276 słów). W zasadzie ten sam tekst  zweryfikowaliśmy dwukrotnie. Z drobną jedynie zmianą - dopisaniem „Chapter 1 Star City" przed treścią rozdziału. Przez to Copyleaks.com zupełnie inaczej oceniło pochodzenie bajki. W czystym tekście rozdziału narzędzie wykryło content wygenerowany przez AI, a ten sam tekst z informacją o numerze i tytule rozdziału, określiło jako napisany przez człowieka. Jednak ile detektorów, tyle opinii. Niezmienne zostały jedynie oceny Originality.ai oraz AI Text Classifier. Pierwsze z narzędzi określiło oba warianty jako w 100% wygenerowane przez AI, drugie określiło sposób powstania obu wariantów jako niejasny, a więc nie wiadomo czy tekst został stworzony przez AI. Niewielką różnicę wykazało contentatscale.ai.

A jak detektory reagują na tłumaczenia treści? Jako przykład posłużyła treść pisana przez copywritera bez pomocy sztucznej inteligencji. Artykuł napisany jest po polsku. I chociaż część narzędzi nie obsługuje tego języka, to jednak podejmują się one jego weryfikacji, nie zwracając przy tym błędów.
Wyniki otrzymane od originality.ai to 77% pewności, że treść została napisana przez człowieka przy weryfikacji treści w języku polskim. Ten sam tekst, przetłumaczony za pomocą DeepL, daje narzędziu już tylko 67% pewności, że napisał go człowiek. W przypadku tłumaczenia przez Google Translate pewność ta spada do 36%.

Co ciekawe inne narzędzie - Copyleaks, które oficjalnie obsługuje treści w języku polskim, poprawnie sklasyfikowało wszystkie wersje. Prawdopodobieństwo, że większość tekstu został napisany przez człowieka (pamiętajmy, że narzędzie osobno ocenia poszczególne fragmenty tekstu) wyniosło 99.9% dla wersji polskiej, 89.8% dla DeepL i 90.2% dla Google Translate. Choć różnice są niewielkie, interesujący jest fakt, że tym razem tłumaczenie Google jest uznane za bliższe ludzkiemu stylowi pisania, niż DeepL, które przez Originality było sklasyfikowane odwrotnie. 

Czym detektory treści AI różnią się od ludzi?

Naukowcy z University of Pennsylvania School of Engineering and Applied Science - zbadali, jak ludzie radzą sobie z wykrywaniem treści generowanych przez sztuczną inteligencję. Czy jesteśmy w stanie wykryć różnice i co bierzemy pod uwagę przy swojej ocenie?

Źródło: https://arxiv.org/pdf/2212.12672.pdf 

W różnych typach treści zwracamy uwagę, przede wszystkim, na to czy tekst jest relewantny i to zwykle ten element wpływa najmocniej na naszą ocenę. Wśród treści generowanych przez AI wykrywamy także błędy wypływające z logiki, której narzędzia nie są w stanie zweryfikować - zdrowy rozsądek oraz obecność przeczących sobie fragmentów. 

Detektory AI swoje oceny opierają głównie na przewidywalności i przypadkowości tekstu, nie biorąc pod uwagę wielu innych czynników wskazanych przez badanych.
Postanowiłam to sprawdzić na przykładzie artykułu, który został stworzony przez sztuczną inteligencję we wrześniu 2022 roku, a więc przed zawitaniem ChataGPT pod strzechy na całym świecie. Artykuł jest z jednej strony pełen błędów stylistycznych, nielogicznych zdań i niefortunnych sformułowań, z drugiej faktycznie jest „oryginalny” i zdecydowanie przypadkowy.

Tekst jest w języku polskim, a więc ponownie odtworzyłam proces tłumaczeń automatycznych DeepL i Google Translate, oraz z czystej ciekawości zweryfikowałam także oryginalny tekst (pamiętajmy, że nie wszystkie narzędzia obsługują język polski, mimo to podejmują się jego oceny). 

A oto wyniki:

Jak widać najlepiej z oceną tłumaczeń tekstu poradził sobie Originality.ai, jednak jego wyniki też nie są jednoznaczne. Przypomnijmy, że proces automatycznego tłumaczenia może wpłynąć na „nienaturalność" treści, a więc częściowo może być odpowiedzialny za zwiększenie prawdopodobieństwa wygenerowania treści przez AI.

Podsumowanie

Paradoks narzędzi do wykrywania treści stworzonych przez AI polega na tym, że tak bardzo nie wierzymy w jakość takich tekstów, że potrzebujemy kolejnego narzędzia opartego o sztuczną inteligencję do jej wykrycia. Podstawowymi pytaniami, które powinniśmy sobie zadać na tym etapie, są: Czy sami jesteśmy w stanie ze stuprocentową pewnością określić, w jaki sposób powstała treść? Czy skoro artykuł dobrze się czyta, nie zawiera błędów merytorycznych, to ma znaczenie, jak został napisany?

Panuje przekonanie, że treści stworzone przy pomocy AI są niskiej jakości. Pojawiają się także głosy, że strony będą „karane” za content wygenerowany w ten sposób. Tymczasem Bing i Google zwracają się w kierunku wykorzystania sztucznej inteligencji w swoich wyszukiwarkach, co świadczy o tym, że same widzą korzyści płynące z wykorzystywania takich rozwiązań. 

Żadne z narzędzi nie jest niezawodne. W naszej próbie niektóre poradziły sobie lepiej z oceną tekstów ludzkich, inne z tymi pisanymi przez AI. Otrzymane wyniki dla niektórych treści mocno różniły się między narzędziami. Weryfikując wybrane fragmenty, wiedzieliśmy, jak zostały stworzone, jeśli jednak przeprowadzilibyśmy taką próbę w ciemno, wyniki byłyby po prostu niemiarodajne. Największym problemem z ocenami takich narzędzi jest niepewność kiedy mają rację, a kiedy się mylą. Korzystając z nich, tak naprawdę nigdy nie wiemy, czy w danym przypadku możemy im zaufać.