ChatGPT udzielił ponad połowy złych odpowiedzi na pytania związane z programowaniem

Generatywne sztuczne inteligencje powoli przyzwyczajają nas do efektownych rezultatów swojej pracy. Nietypowe ilości palców i tzw. „stawy rzekome” postaci na obrazach autorstwa AI powoli odchodzą w zapomnienie. Ale jak wygląda rzetelność modeli językowych? Okazuje się, że w niektórych dziedzinach wygląda to słabo. Przeprowadzono badanie, w którym ChatGPT odpowiadał na pytania związane z programowaniem i niestety poradził sobie zdumiewająco źle.

ChatGPT nie taki dobry w programowaniu

Doświadczenie Uniwersytetu Purdue polegało na zadaniu ChatGPT 517 pytań z forum Stack Overflow. Potem jego odpowiedzi weryfikował zespół wolontariuszy. Okazało się, że 52% odpowiedzi udzielonych przez ChatGPT było błędnych. Uczestnicy badania określili 40% odpowiedzi AI jako preferowane, jednak wśród tych wybranych przez nich aż 77% było błędnych.

Miejmy na uwadze, że AI potrafi się mylić. Źródło: DALL-E

Dzieje się tak, ponieważ dobry styl i językowa poprawność wypowiedzi ChatGPT potrafią utwierdzić w przekonaniu, że jednak ma on rację. W niektórych przypadkach stosunkowo trudno jest udowodnić błąd AI i wymaga to sięgania po dodatkową wiedzę i metody weryfikacji.

To nieco podkopuje mit o umiejętnościach programistycznych ChatGPT. Można z niego korzystać podczas pracy, jednak w tej dziedzinie działania AI muszą być dodatkowo i wnikliwie weryfikowane przez specjalistów. Niepewne efekty twórczości obecnych generatywnych sztucznych inteligencji nie budzą zaufania i dowodzą, że nie powinniśmy się na razie zbytnio obawiać bezrobocia. AI są tylko narzędziem, które może zwiększyć produktywność, ale trzeba je kontrolować.

Więcej:„Moczowy filtr” jest zmorą generatorów AI. Dlaczego tworzone obrazki są takie pożółkłe?

• programowanie
• tech
• AI / sztuczna inteligencja
• chatboty / ChatGPT