Zaloguj się
Utwórz konto
Przełącz tryb wyświetlania strony:
Standardowy / Kompaktowy
GRYOnline.pl:
tvgry.pl:
Przełącz tryb wyświetlania strony:
Standardowy / Kompaktowy
GRYOnline.pl:
tvgry.pl:
Naukowcy z Politechniki Wrocławskiej sprawdzili jak dobrze ChatGPT radzi sobie z wykrywaniem m.in. emocji, żartów w wypowiedziach. Dokonano jego porównania z innymi modelami językowymi.
Zespół CLARIN-PL z PWr postanowił przyjrzeć się temu, jak ChatGPT radzi sobie z rozumieniem języka naturalnego. Generator tekstu od Open-AI wypadł całkiem nieźle w tym badaniu.
ChatGPT musiał zmierzyć się z liczbą ponad 38 tys. zapytań odnośnie do oceny przedstawionych mu treści pod kątem wykrycia określonych znaczeń czy nacechowań. W tym celu podano mu szereg danych z 25 kategorii tematycznych – od sarkastycznych wpisów z Twittera, agresywnych komentarzy z projektu Wikipedia Detox po emocjonalne posty z Reddita. Te z kolei zostały uprzednio ocenione przez ludzi pod kątem odbioru.
Jego skuteczność oszacowano na podstawie porównania go z innymi modelami do automatycznej analizy języka. Wybrano najlepsze z nich, które są powszechnie stosowane przez firmy marketingowe do sprawdzania reakcji konsumentów. ChatGPT poradził sobie gorzej z przedstawionymi mu poleceniami o średnio 25% punktów procentowych.
Generatorowi tekstu od Open-AI poszło słabiej przede wszystkim w rozpoznawaniu emocji oraz w kwestiach wymagających wiedzy o świecie. Za to radzi sobie z problemami, które da się rozwiązać przy pomocy samego tekstu. Do tego jego odpowiedzi były różnorodniejsze i umiał odpowiedzieć, dlaczego w ten sposób postąpił.
Należy zwrócić jednak uwagę, iż wykorzystane w badaniu konkurencyjne programy są używane do konkretnego celu. Przykładowo nim może być sprawdzenie komentarzy pod kątem agresji w stosunku do działania danej marki, więc naturalnie miały przewagę w swojej efektywności. Sam model GPT-3 od Open-AI musiał poradzić sobie z nowymi zadaniami i nadal zdaniem naukowców – „wyniki osiągane przez ChatGPT są imponujące”.
5
Autor: Damian Miśta
Na GRYOnline.pl udziela się od lipca 2022 roku. Najczęściej publikuje artykuły o nowinkach w świecie technologii ze względu na zainteresowanie sprzętem elektronicznym i zmieniającą się rzeczywistością, jednak zdarza mu się również podejmować tematy związane z grami i filmami. Poza tym chętnie wybiera się w podróż do minionych epok. Do gier i pisania ciągnęło go od młodych lat, więc kończył różne tytuły, żeby je później amatorsko recenzować. Zna wszystkie zakamarki Khorinis, a serię przygód Indiany Jonesa powtarzał wiele razy.
GRYOnline.pl:
tvgry.pl:
