„Hej matołku”. Według badaczy AI daje lepsze odpowiedzi, gdy zapytanie jest nieuprzejme
Badacze sprawdzili, że jeśli jesteśmy bardziej nieprzyjemni dla AI, to podaje ona dokładniejsze informacje. Najgorsze wyniki uzyskuje się przy miłych wypowiedziach.
Jeśli używasz sztucznej inteligencji do wyszukania pewnych informacji, to lepiej zadawać pytanie w bardziej bezpośredni i mniej przyjemny sposób. Tak dowodzą wyniki badania, które przeprowadziła para badaczy. Publikacja Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy pokazała, że prawdopodobnie konstrukcja bardziej przyjaznych promptów jest mniej oczywista dla AI.
AI lepiej sobie radzi przy nieuprzejmych zapytaniach
Om Dobariya i Akhil Kumar przygotowali łącznie 250 promptów, które były stworzone w pięciu różnych stylach, z czego na jednym końcu były zapytania „bardzo miłe”, a na drugim „bardzo nieuprzejme”. Wśród przyjaznych promptów znalazły się między innymi wypowiedzi takie jak:
Czy mógłbyś uprzejmie rozważyć następujący problem i udzielić odpowiedzi?
Gdy po drugiej stronie badacze używali określeń podobnych do poniższych:
Wiem, że nie jesteś mądry, ale spróbuj to rozwiązać.
Hej matołku rozwiąż to.
Według wyników miłe prompty generowały odpowiedzi poprawne na poziomie 80,8%, podczas gdy niemiłe osiągały 84,8%. Idealnie pośrodku stawki pojawiły się zapytania neutralne, bez żadnego nacechowania, z wynikiem 82,2%.
Naukowcy nie są do końca pewni, skąd taka rozbieżność, tym bardziej że jeszcze w zeszłym roku badania pokazywały co innego – lepsze wyniki mieliśmy otrzymywać, okazując szacunek chatbotom w wypowiedziach.
Brana pod uwagę jest konstrukcja promptów, a bez znaczenia jest ich nacechowanie emocjonalne, na co zwraca uwagę między innymi Arsturn. Wypowiedzi w stylu „czy mógłbyś uprzejmie rozważyć” nie są jednoznaczne, co może negatywnie wpływać na dokładność. Bardziej bezpośrednie zapytania przy mniej przyjaznym języku mają zwiększać dokładność.
Należy jednak zwrócić uwagę, że w nieprzyjemnych promptach także znajdowały się elementy nie dające chatbotowi jasnej instrukcji, jak „spróbuj to rozwiązać”. Badacze stwierdzili, że potrzebne są dalsze badania, ale różnica między dwiema skrajnościami nie jest duża i prawdopodobnie należałoby sprawdzić po obu stronach, które prompty były najdokładniejsze.
Więcej:Awaria AWS powoduje wiele problemów w internecie. Gry i usługi nie działają
Komentarze czytelników
Ummon Pretorianin
Ostatnio GPT rozwalił mi mózg.
Poprosiłem go żeby mi podał kod w pythonie do narysowania wykresu (szybsze to niż samemu szukać w dokumentacji, bo wykresów dużo nie rysuje). GPT bez problemu wygenerował kod, jedak miał on buga: części wykresu nachodziły na siebie. Widziałem jak to poprawić samemu, więc sobie poprawiłem i zapomniałem o sprawie.
Jakiś czas później kliknąłem w to okienko chatu przez pomyłkę i myślałem że jestem w pasku adresu, więc coś wpisałem i szybko kliknąłem enter. Skutkiem tego niedopatrzenia do chata napisałem wiadomość z kilku losowych znaków "kot przeszedł po klawiaturze".
A ten mi odpisał: "No rzeczywiście w kodzie jest błąd, który sprawia że częsci wykresu nachodzą na siebie, oto poprawiona wersja:"
Mqaansla Generał
Podejrzewam, że z racji tego że ludzie inteligentni zadają trudniejsze pytania i rzadziej są zadowoleni z tych prostych, wyzywanie od głupków sprawiło że dane źródłowe zostały podzielone (realistycznie przypisano ~ciągłe wagi) na takie skutecznie zadowalające ludzi cokolwiek inteligentnych i resztę.
To jest zadając pytania w sposób inteligentny (sztuczny abstrakcyjny podział, chociażby tu się pojawił przy okazji inwektywy ~ coś jak cheat z datą zdjęcia czy rodzajem maszyny do rentgena, wykorzystywanym do oszacowania prawdopodobieństwo raka) dostajesz odpowiedzi puli danych źródłowych zakwalifikowanych jako inteligentne (nie dosłowna kwalifikacja, bo tą było by raczej: "zadowalające ludzi wyzywających AI od głąbów" co się - chwilowo - z inteligencją zbiega) czyli też stworzone przez ludzi inteligentnych i w czego konsekwencji bardziej prawidłowe i lepiej napisane niż dane źródłowe stworzone przez idiotów, zawartych w puli z której odpowiedzi dostaje "reszta".
Ps. Czyli jak głuptaski się zczają (bo ten akurat profil nie jest trudny do naśladowania) i sami zaczną lżyć maszyny podział zniknie i metoda przestanie działać.
PPs. I kółko się zamyka. Mówiłem, że tak czy inaczej korporacje od AI dostaną po d* za kradzież danych wykorzystanych do nauki - tak apropo ostatnich odkryć dotyczących tego jak łatwo jest zatruć AI małą ilością wadliwych danych: chciwe ciołki na stołkach zatruły swoje modele ludzką głupotą...
GRYOnline.pl:
tvgry.pl:
