Polacy zbadali ChatGPT; ma problemy z sarkazmem i emocjami
Naukowcy z Politechniki Wrocławskiej sprawdzili jak dobrze ChatGPT radzi sobie z wykrywaniem m.in. emocji, żartów w wypowiedziach. Dokonano jego porównania z innymi modelami językowymi.
Zespół CLARIN-PL z PWr postanowił przyjrzeć się temu, jak ChatGPT radzi sobie z rozumieniem języka naturalnego. Generator tekstu od Open-AI wypadł całkiem nieźle w tym badaniu.
Czy ChatGPT radzi sobie z żartami, emocjami i sarkazmem?
ChatGPT musiał zmierzyć się z liczbą ponad 38 tys. zapytań odnośnie do oceny przedstawionych mu treści pod kątem wykrycia określonych znaczeń czy nacechowań. W tym celu podano mu szereg danych z 25 kategorii tematycznych – od sarkastycznych wpisów z Twittera, agresywnych komentarzy z projektu Wikipedia Detox po emocjonalne posty z Reddita. Te z kolei zostały uprzednio ocenione przez ludzi pod kątem odbioru.
Jego skuteczność oszacowano na podstawie porównania go z innymi modelami do automatycznej analizy języka. Wybrano najlepsze z nich, które są powszechnie stosowane przez firmy marketingowe do sprawdzania reakcji konsumentów. ChatGPT poradził sobie gorzej z przedstawionymi mu poleceniami o średnio 25% punktów procentowych.
ChatGPT nie jest do wszystkiego
Generatorowi tekstu od Open-AI poszło słabiej przede wszystkim w rozpoznawaniu emocji oraz w kwestiach wymagających wiedzy o świecie. Za to radzi sobie z problemami, które da się rozwiązać przy pomocy samego tekstu. Do tego jego odpowiedzi były różnorodniejsze i umiał odpowiedzieć, dlaczego w ten sposób postąpił.
Należy zwrócić jednak uwagę, iż wykorzystane w badaniu konkurencyjne programy są używane do konkretnego celu. Przykładowo nim może być sprawdzenie komentarzy pod kątem agresji w stosunku do działania danej marki, więc naturalnie miały przewagę w swojej efektywności. Sam model GPT-3 od Open-AI musiał poradzić sobie z nowymi zadaniami i nadal zdaniem naukowców – „wyniki osiągane przez ChatGPT są imponujące”.
Komentarze czytelników
zanonimizowany1374860 Konsul
Zapomniałem raz sprecyzować pytanie to mnie cwaniak załatwił tym.
wielka_pyta Centurion
Sztuczna inteligencja I emocje?
Przecież po to jest nam potrzebna, żeby pozbyć się emocji rzutującej na ocenę I otrzymać prawdę oparta na logice, matematyce, statystyce i faktach, a nie wydaje mi się, albo sponsor zapłacił za moje poglądy.
AI z emocjami to już nie AI a skrypt.
zanonimizowany1369590 Pretorianin
No coś ty?!
Wiedział to każdy, kto choć trochę rozumie czym jest ChatGPT i podobne programy i rozumie jakie mniej więcej niesie to konsekwencje...
Valthiar Pretorianin
Jak czytam różne fora internetowe to odnoszę wrażenie, że 90% uczestników ma problemy z emocjami i sarkazmem. Może to AI pisze te komentarze ?
GRYOnline.pl:
tvgry.pl:
