Specjalne spotkanie, na którym matematycy starają się pokonać sztuczną inteligencję

W weekend w połowie maja odbyło się tajne spotkanie świata matematyki. 30 czołowych matematyków świata potajemnie pojechało do Berkeley w Kalifornii w USA, aby wziąć udział w konfrontacji z chatbotem zdolnym do „rozumowania”. Zadaniem chatbota było rozwiązywanie problemów napisanych przez samych matematyków, aby przetestować jego zdolności rozwiązywania problemów.

Po dwóch dniach ciągłego zadawania pytań na poziomie profesorskim matematycy byli zaskoczeni, gdy odkryli, że ten chatbot może rozwiązać niektóre z najtrudniejszych problemów w historii.

„Widziałem, jak koledzy otwarcie mówili, że ten rozbudowany model językowy zbliża się do poziomu matematycznego geniuszu” – powiedział Ken Ono, profesor z University of Virginia, przewodniczący i juror spotkania, w wywiadzie dla Scientific American.

Chatbot, który przykuł naszą uwagę, działa w oparciu o o4-mini , model dużego języka (LLM) zaprojektowany do złożonego rozumowania. Jest produktem OpenAI i został wyszkolony do wykonywania zaawansowanych rozumowań. Podobny możliwości oferuje odpowiedni model od Google, Gemini 2.5 Flash.

Podobnie jak poprzednie modele ChatGPT LLM, o4-mini uczy się przewidywać kolejne słowo w ciągu tekstowym. Jednak o4-mini to lżejsza, bardziej elastyczna wersja, trenowana na głębokich danych i precyzyjnie dostrojona przez ludzi – co pozwala jej zagłębiać się w problemy matematyczne, do których poprzednie modele nie były w stanie dotrzeć.

Aby przetestować możliwości o4-mini, OpenAI zwróciło się do Epoch AI, organizacji non-profit specjalizującej się w testowaniu modeli LLM, z prośbą o stworzenie 300 wcześniej niepublikowanych pytań matematycznych. Chociaż tradycyjne modele LLM potrafią rozwiązać wiele złożonych problemów, to w przypadku zupełnie nowych pytań, większość z nich uzyskała mniej niż 2% poprawnych odpowiedzi, co sugeruje, że nie były one w pełni zdolne do rozumowania.

W ramach nowego projektu ewaluacyjnego Epoch AI zatrudniło młodego matematyka, dr. Elliota Glazera, na stanowisko lidera. Nowy projekt o nazwie FrontierMath zostanie wdrożony we wrześniu 2024 roku.

Projekt gromadzi nowe pytania na czterech poziomach trudności, od licencjackiego, przez magisterski, po zaawansowane badania. Do kwietnia 2025 roku Glazer odkrył, że o4-mini potrafiło rozwiązać około 20% problemów. Przeszedł więc aż do poziomu 4 – wymagając od niego rozwiązania problemów, z którymi mieliby problem nawet zaawansowani matematycy.

Uczestnicy musieli podpisać umowę o zachowaniu poufności i mogli komunikować się wyłącznie za pośrednictwem szyfrowanej aplikacji Signal, ponieważ korzystanie z poczty e-mail mogło pozwolić LLM na skanowanie i „wąchanie” treści, co mogłoby doprowadzić do sfałszowania danych ewaluacyjnych.

Za każde zadanie, którego o4-mini nie będzie w stanie rozwiązać, osoba je zadająca otrzyma nagrodę w wysokości 7500 USD.

Początkowy zespół poczynił powolne, ale stałe postępy w formułowaniu pytań. Glazer postanowił jednak przyspieszyć prace, organizując spotkanie stacjonarne w dniach 17–18 maja. 30 uczestniczących matematyków podzielono na sześcioosobowe grupy, rywalizujące ze sobą – nie o rozwiązanie problemów, ale o znalezienie problemów, których sztuczna inteligencja nie byłaby w stanie rozwiązać.

Wieczorem 17 maja Ken Ono zaczął odczuwać frustrację z powodu chatbota, który wykazywał poziom biegłości matematycznej znacznie przekraczający oczekiwania, co utrudniało zespołowi jego „uwięzienie”. „Wymyśliłem problem, który eksperci w tej dziedzinie uznaliby za otwarty problem z teorii liczb – problem odpowiedni na doktorat” – powiedział.

W rezultacie, kiedy zapytał o4-mini, był oszołomiony, widząc, jak chatbot analizuje, wyciąga wnioski i znajduje prawidłowe rozwiązanie w zaledwie 10 minut. Dokładniej, w ciągu pierwszych dwóch minut nauczył się i zrozumiał wszystkie istotne dokumenty. Następnie zaproponował wypróbowanie prostszej wersji problemu, aby nauczyć się, jak do niego podejść.

Pięć minut później chatbot udzielił poprawnej odpowiedzi, mówiąc pewnym – wręcz aroganckim – tonem. „Zaczęło być bezczelnie” – mówi Ono – „i dodał: »Nie ma potrzeby cytowania, bo odkryłem sekretny numer!«”.

Pokonany przez sztuczną inteligencję, wczesnym rankiem 18 maja Ono natychmiast wysłał zespołowi ostrzeżenie za pośrednictwem Signala. „Byłem kompletnie nieprzygotowany do pracy z takim modelem” – powiedział. „Nigdy nie widziałem takiego rozumowania w modelu komputerowym. Myślał tak, jak myślałby prawdziwy naukowiec . I to było przerażające”.

Chociaż matematykom w końcu udało się znaleźć 10 pytań, które wprawiły o4-mini w osłupienie, to i tak nie potrafili ukryć szoku, jaki wywołał w nich rozwój sztucznej inteligencji w ciągu zaledwie roku.

Ono porównuje doświadczenie pracy z o4-mini do współpracy z bardzo utalentowanym kolegą. Yang Hui He, matematyk z London Institute of Mathematical Sciences i pionier w stosowaniu sztucznej inteligencji w matematyce, komentuje: „To jest to, co potrafi bardzo, bardzo utalentowany doktorant – a nawet więcej”.

Warto zauważyć, że sztuczna inteligencja robi to znacznie szybciej niż ludzie. Podczas gdy ludziom zajmuje to tygodnie lub miesiące, o4-mini zajmuje tylko kilka minut.

Emocje wokół o4-mini nie są pozbawione obaw. Zarówno Ono, jak i He ostrzegają, że możliwości o4-mini mogą wzbudzać w ludziach nadmierną pewność siebie. „Mamy dowód przez indukcję, dowód przez zaprzeczenie, a teraz dowód przez… przytłaczanie” – mówi He. „Jeśli powiesz coś z wystarczającą pewnością, ludzie poczują się onieśmieleni. Myślę, że o4-mini opanowało ten rodzaj dowodu: mówi wszystko z wielką pewnością siebie”.

Pod koniec spotkania matematycy zaczęli rozważać przyszłość matematyki. Dyskutowali o możliwości „piątego poziomu” – pytań, których nie potrafią rozwiązać nawet najlepsi matematycy świata. Jeśli sztuczna inteligencja osiągnie ten próg, rola matematyków diametralnie się zmieni: być może staną się osobami zadającymi pytania, wchodzącymi w interakcje z SI i kierującymi jej rozumowaniem w celu odkrywania nowych prawd matematycznych – podobnie jak profesor pracuje ze studentem studiów podyplomowych.

„Od dawna powtarzam moim kolegom, że myślenie, że sztuczna inteligencja nigdy nie powstanie, że to tylko komputer, byłoby ogromnym błędem” – powiedział Ono. „Nie chcę panikować, ale pod pewnymi względami te duże modele językowe już zaczynają przewyższać większość najlepszych doktorantów na świecie”.

(Wietnam+)

Source: https://www.vietnamplus.vn/cuoc-gap-go-dac-biet-noi-cac-nha-toan-hoc-tim-cach-danh-bai-tri-tue-nhan-tao-post1043183.vnp