ChatGPT nie pomoże nam jeszcze uzyskać tytułu magistra matematyki, a szkoda

Wydawałoby się, że AI będzie matematycznym geniuszem. Prawda jest niestety zgoła inna. Zaawansowana matematyka przerasta czatboty. Sztuczna inteligencja wciąż może być jednak w tej kwestii przydatna, chociażby w edukacji.

Powiązane:Pracownicy błagali Google, by nie wypuszczać chatbota AI Bard

Bill Gates już jakiś czas temu zapowiedział, że czatboty w ciągu kilkunastu miesięcy staną się wartościowym narzędziem do nauki i udzielania korepetycji – tzn. przynajmniej w przypadku czytania i pisania. Co jednak z innymi przedmiotami? Matematyką? Miliarder potwierdził, że w późniejszym czasie możemy spodziewać się także i tego, nie ukrywał jednak, że przed AI jeszcze długa droga. Potwierdzają to również najnowsze badania.

Badacze testują zdolności AI

Bez wątpienia sztuczna inteligencja ma wiele imponujących umiejętności i zastosowań, choć do ideału wciąż jej daleko. Międzynarodowy zespół naukowców na czele z Frieder Simonem, doktorantem University of Oxford, przetestował możliwości oprogramowania, przedstawiając AI skomplikowane problemy matematyczne na poziomie magisterskim i doktoranckim. Niestety z większością sztuczna inteligencja sobie nie poradziła.

Dużo lepsze wyniki osiągnięto, wykorzystując matematykę na poziomie szkoły średniej i licencjackiej. Choć i w tym przypadku wyniki AI są po prostu dobre. ChatGPT otrzymał m.in. ocenę B (w Polsce czwórka) na egzaminie końcowym eksperta technologicznego z komputerów kwantowych. Podczas matematycznych testów SAT (można powiedzieć, że jest to swego rodzaju odpowiednik matury) sztuczna inteligencja znalazła się w 11% najlepszych wyników. Również testy na inteligencję werbalno-językową od Psychology Today poszły jej całkiem nieźle – 147 punktów. Wszystkie powyższe próby oceniły jednak nie tyle co samą inteligencję AI i jej umiejętność rozwiązywania problemów, a zdolność do wyszukiwania i przytaczania faktów.

Możemy chyba uznać, że na obecnym etapie AI to taki całkiem nieźle uzdolniony i wszechstronny licealista. (Źródło: Pixabay/geralt)

Żeby uzyskać odpowiedź na pytanie, czy AI potrafi coś więcej, Simon wraz z jego zespołem badawczym stworzyli zestaw unikalnych problemów matematycznych wyższego poziomu, wdrażając znacznie bardziej szczegółową metodologię. W ten oto sposób powstał dość złożony system testowania o nazwie GHOSTS.

Testy GHOSTS

GHOSTS to skrót stworzony z pierwszych liter angielskich nazw dla sześciu rodzajów problemów matematycznych, na których oparto test. Powstał w celu przetestowania AI całościowo pod kątem rozumowania. Jest to połączenie:

1. pytań z podręczników matematyki na poziomie magisterskim;
2. zadań dowodowych z niewiadomymi oraz błędami;
3. problemów matematycznych na poziomie olimpijskim;
4. całkowania symbolicznego;
5. podstawowej matematyki;
6. umiejętności definiowania pojęć matematycznych.

ChatGPT nie tylko wielokrotnie się mylił, ale także przedstawiał naprawdę zagmatwany i nieoczywisty sposób rozumowania.

Co sztucznej inteligencji wychodzi najlepiej?

Według dr Gerardo Adesso z Uniwersytetu w Nottingham AI „zdarza się popełniać banalne błędy logiczne, które człowiek zauważyłby od razu”. Mimo wszystko, choć do biegłości jej daleko, to w wielu kwestiach powinna sprawdzić się naprawdę dobrze. Z badań wynika, że zdecydowanie najlepiej ChatGPT radzi sobie z definiowaniem pojęć, co, jak się nad tym zastanowić, nie jest niczym zaskakującym.

Naukowcy są zgodni co do tego, że sztuczna inteligencja może być naprawdę przydatnym narzędziem – szczególnie jako wyszukiwarka matematyczna dla różnego rodzaju badaczy, fizyków, inżynierów, nauczycieli oraz programistów. Takie rozwiązanie będzie przydatne przede wszystkim dla grupy ludzi, która ma już jakieś pojęcie na dany temat i jest pewna swoich umiejętności. W przypadku uczniów na bardziej podstawowych poziomach, czy też po prostu osób mniej doświadczonych metody wykorzystujące ChatGPT mogą wywoływać dezorientację i wprowadzać w błąd.

Oczywiście niewykluczone, że lada moment obecny stan rzeczy ulegnie zmianie. Prawdopodobnie z każdą wersją oprogramowania czatboty będą sobie radzić coraz lepiej, również z matematyką. W każdym razie m.in. właśnie nad tym pracuje środowisko naukowe.

Czytaj więcej:Po CPU i GPU przychodzi czas na NPU - czym jest i co potrafi?

Sandra Kicińska

Sandra Kicińska

Współpracę z GRYOnline.pl rozpoczęła w listopadzie 2021 roku jako autorka newsów. Obecnie redaguje teksty w dziale Paid Products, od czasu do czasu pisząc dla newsroomu technologicznego. Wcześniej zajmowała się copywritingiem i tworzeniem tekstów popularnonaukowych. Po raz pierwszy do komputera dorwała się w wieku zaledwie trzech lat. Parę lat później, po zanurzeniu się w magiczny świat książek, pojawiła się u niej również fascynacja słowem pisanym. Do jej ulubionych gatunków gier należą różnego rodzaju strategie, symulatory oraz RPG. Poza tym uwielbia literaturę piękną, filozofię, surrealizm, anime i czarny humor. Po godzinach trenuje kontorsję, redefiniując ograniczenia ludzkiego ciała.