Czy rozpoznasz opowiadanie napisane przez AI? Badanie pokazuje, że intuicja nas zawodzi

Jeśli ludzie zdają sobie sprawę, że tekst lub obraz są wygenerowane przez AI, to oceniają taki twór gorzej, niż gdyby wyszedł spod ludzkiej ręki. Problemem jest jednak rozpoznanie, za co sztuczna inteligencja odpowiada. Sprawdziły to badaczki na ponad 1 600 uczestnikach eksperymentu. Okazuje się, że człowiek ma problem z odróżnieniem, co naprawdę napisał człowiek, a co maszyna.

Ludzie nie odróżniają ludzkiego tekstu od wygenerowanego przez AI

Na początku sierpnia Sydney Sears oraz Deena Skolnick Weisberg opublikowały pracę naukową „Bot or not: Can people tell the difference between stories written by a human or by an AI system?”. Celem było sprawdzenie, czy ludzie potrafią odróżnić, które fikcyjne opowiadania napisał człowiek, a które wygenerowała sztuczna inteligencja. Badaczki chciały się także przekonać, jak pewne uprzedzenia wpływają na ocenę jakości literatury. Dlatego postanowiły przeprowadzić kilka eksperymentów.

W pierwszym eksperymencie wzięły udział 1682 osoby, których zadaniem było przeczytanie opowiadań napisanych przez ludzi, jak również tych wygenerowanych przez sztuczną inteligencję. Połowie uczestników przekazano, że dany tekst napisał człowiek, a drugiej połowie, iż został on wygenerowany za pomocą modelu ChatGPT. Ogółem wyżej oceniano opowiadania wygenerowane przez AI, ale niezależnie od faktycznego pochodzenia tekstu, treści otrzymywały lepsze noty, jeśli uczestnicy wierzyli, że napisał je człowiek.

Powiązane:Głos Geralta „Pozwałby każdą platformę AI z jego głosem”. Zakaz generatywnej AI to coraz częstszy dodatek do umów w branży gier

Natomiast podczas drugiego i trzeciego eksperymentu (wzięło w nich udział 905 uczestników) prezentowano oba rodzaje opowieści i kazano odgadnąć, kto jest autorem. Okazało się, że badani nie są w stanie poprawnie przypisać tekstu AI do sztucznej inteligencji i ludzkiego do człowieka. Skuteczność ta odpowiadała losowemu strzelaniu.

W poprawnej ocenie nie pomagał poziom oczytania danego uczestnika. Większą skuteczność dawała wiedza na temat AI, choć nie była ona weryfikowana i każdy z uczestników sam określał, jak dobrze jest zaznajomiony ze sztuczną inteligencją. Eksperyment wykazał, że modele AI są już na tyle dobrze wytrenowane, że są w stanie stworzyć przekonującą historię, co było celem ich twórców.

Sztuczna inteligencja ma generować teksty wyglądające naturalnie i przekonująco. Jedynie algorytm będzie w stanie zauważyć różnicę z powodu charakterystycznego układu słów. Człowiek może poznać, że dane opowiadanie wykreowała maszyna, gdy pojawia się w nim latarnik Eliasa Thorne’a, co zostało zweryfikowane przez ekspertów.

Więcej:Amazon trenuje AI na treściach z Twitcha. Streamerzy mogą się wypisać, ale trzeba wiedzieć gdzie szukać

• tech
• AI / sztuczna inteligencja
• chatboty / ChatGPT