Badania wykazały, że współpraca z AI wywołuje złudne poczucie kompetencji. Użytkownicy drastycznie przeceniają swoje osiągnięcia, a sam algorytm często radzi sobie lepiej bez ingerencji człowieka.
Badanie analizujące kwestie kompetencji oraz samopostrzegania zostało opublikowane w czasopiśmie naukowym Computers in Human Behavior. Zespół badawczy zaprojektował dwa odrębne eksperymenty skoncentrowane na zadaniach z zakresu rozumowania logicznego. W pierwszym badaniu zrekrutowano 246 uczestników ze Stanów Zjednoczonych.
Następnie poproszono ich o rozwiązanie 20 zadań z zakresu rozumowania logicznego, pochodzących z testu kwalifikacyjnego na studia prawnicze (LSAT). Aby odpowiednio przeprowadzić badanie, naukowcy udostępnili uczestnikom specjalistyczny interfejs internetowy. Zaprojektowano go w taki sposób, aby wyświetlał pytania po jednej stronie, a okno interakcji z ChatGPT po drugiej.
Warunkiem udziału w badaniu była obligatoryjna konsultacja z systemem AI przy każdym z zadanych pytań. Uczestnicy mieli dowolność w wyborze formy pomocy – mogli żądać od algorytmu gotowego rozwiązania lub jedynie wyjaśnienia mechanizmów problemu. Po zakończeniu testu badani szacowali liczbę poprawnych odpowiedzi (w skali do 20) oraz określali stopień pewności co do swoich decyzji.
Analiza wyników wykazała, że wsparcie technologiczne przełożyło się na wymierny wzrost efektywności. Grupa korzystająca z ChatGPT osiągnęła średni wynik wyższy o około trzy punkty w porównaniu do grupy kontrolnej, która pracowała samodzielnie. Sztuczna inteligencja okazała się kluczowa w rozwiązywaniu zagadnień, które w innym przypadku zostałyby prawdopodobnie pominięte.
Mimo obiektywnie lepszych rezultatów, zaobserwowano wyraźny rozdźwięk między faktycznymi osiągnięciami a samooceną uczestników. Badani byli przekonani, że poprawnie rozwiązali średnio 17 na 20 zadań, podczas gdy rzeczywista średnia wynosiła około 13. Ta czteropunktowa różnica sugeruje, że łatwość uzyskania pomocy od AI wywołała u użytkowników złudne poczucie kompetencji.
Przy ocenie umiejętności naukowcy zauważyli także ciekawą zależność – im gorszy wynik w scenariuszu bez udziału sztucznej inteligencji, tym użytkownik bardziej wierzył we własne kompetencje (efekt Dunninga-Krugera). Z kolei osoby o wysokich wynikach zaniżały swoje możliwości. Paradoksalnie, gdy uczestnicy korzystali z AI, efekt ten zanikał, co określono w badaniu jako „efekt wyrównujący”. Zarówno osoby o niskich, jak i wysokich wynikach zawyżały swoje osiągnięcia w podobnym stopniu.
W badaniu wykorzystano również pomiar zwany „obszarem pod krzywą” (ang. Area Under the Curve – AUC) do oceny wrażliwości metapoznawczej. Wskaźnik ten określa, czy dana osoba jest bardziej pewna siebie, gdy ma rację niż gdy się myli. W idealnym przypadku człowiek powinien czuć się niepewnie, popełniając błąd. Dane wykazały, że uczestnicy używający AI do pomocy mieli niską wrażliwość metapoznawczą. Ich poziom pewności siebie był wysoki niezależnie od tego, czy w danym pytaniu mieli rację, czy się mylili.
Przy badaniach tego typu zawsze bierze się pod uwagę sprawczość uczestników oraz ich chęć do wykonywania poleceń. Dlatego eksperyment przeprowadzono ponownie, tym razem zachęcając uczestników wynagrodzeniem finansowym. Warunek był jednak taki, że ich szacunki dotyczące wyniku muszą być zgodne z rzeczywistością. W replikacji badania wzięło udział 452 ochotników, ale rezultaty pozostały takie same. Nawet odpowiednia zachęta nie spowodowała, że ludzie we współpracy z AI poprawili trafność swojej samooceny.
Naukowcy zauważyli w logach, że jednym z problemów jest bezrefleksyjne kopiowanie odpowiedzi proponowanych przez algorytm. Z reguły uczestnicy przeklejali zarówno pytania, jak i gotowe odpowiedzi, bez własnej weryfikacji lub poprawek. Tylko niewielka grupa badanych potraktowała ChatGPT jako partnera, a nie jako wykonawcę zadania.
Są niestety także i złe wiadomości – sztuczna inteligencja radzi sobie o wiele lepiej bez ingerencji człowieka. Ludzie czasami akceptowali błędne rady sztucznej inteligencji lub ignorowali te prawidłowe, co obniżało ogólną wydajność poniżej maksymalnego potencjału maszyny. Samodzielnie AI rozwiązywało test średnio o wiele lepiej niż uczestnicy badania posiłkujący się jego pomocą.
Sztuczna inteligencja budzi skrajne emocje i to w różnych kręgach. Ostatnio Leonardo DiCaprio powiedział, że twory AI szybko odchodzą w zapomnienie i dlatego nigdy nie zastąpią tych kreowanych za pośrednictwem ludzkich rąk. Nie brakuje także burzliwych dyskusji na temat stosowania sztucznej inteligencji w produkcji gier cyfrowych.
Dziękujemy za przeczytanie artykułu.
Ustaw GRYOnline.pl jako preferowane źródło wiadomości w Google
1
Autor: Mateusz Zelek
Absolwent dziennikarstwa i komunikacji społecznej na Uniwersytecie Papieskim Jana Pawła II w Krakowie. W tematyce gier i elektroniki siedzi, odkąd nauczył się czytać. Ogrywa większość gatunków, ale najbardziej docenia strategie ekonomiczne. Spędził także setki godzin w wielu cRPG-ach od Gothica po Skyrima. Nie przekonał się do japońskich jrpg-ów. W recenzowaniu sprzętów kształci się od studiów, ale jego głównym zainteresowaniem są peryferia komputerowe oraz gogle VR. Swoje szlify dziennikarskie nabywał w Ostatniej Tawernie, gdzie odpowiadał za sekcję technologiczną. Współtworzył także takie portale jak Popbookownik, Gra Pod Pada czy ISBtech, gdzie zajmował się relacjami z wydarzeń technologicznych. W końcu trafił do Webedia Poland, gdzie zasilił szeregi redakcji Futurebeat.pl. Prywatnie wielki fanatyk dinozaurów, o których może debatować godzinami. Poważnie, zagadanie Mateusza o tematy mezozoiczne powoduje, że dyskusja będzie się dłużyć niczym 65 mln lat.
GRYOnline.pl:
tvgry.pl:
