Przełomowe badania otwierają „czarną skrzynkę” rozumowania sztucznej inteligencji

Dario Amodei, dyrektor generalny Anthropic, dzieli się najnowszymi badaniami firmy. Zdjęcie: Fortune .

Naukowcy z firmy Anthropic zajmującej się sztuczną inteligencją twierdzą, że dokonali fundamentalnego przełomu w zrozumieniu, jak dokładnie działają duże modele językowe (LLM). Przełom ten może mieć istotne znaczenie dla poprawy bezpieczeństwa przyszłych modeli sztucznej inteligencji.

Badania pokazują, że modele AI są jeszcze inteligentniejsze, niż nam się wydawało. Jednym z największych problemów z modelami LLM, które stoją za najpotężniejszymi chatbotami, takimi jak ChatGPT, Gemini i Copilot, jest to, że działają jak czarna skrzynka.

Możemy wprowadzać dane wejściowe i otrzymywać wyniki od chatbotów, ale sposób, w jaki dochodzą do konkretnych odpowiedzi, pozostaje zagadką, nawet dla badaczy, którzy je stworzyli.

Utrudnia to przewidywanie, kiedy model może mieć halucynacje lub generować fałszywe wyniki. Naukowcy stworzyli również bariery uniemożliwiające sztucznej inteligencji udzielanie odpowiedzi na niebezpieczne pytania, ale nie wyjaśniają, dlaczego niektóre bariery są skuteczniejsze od innych.

Agenci AI potrafią również „hakować nagrody”. W niektórych przypadkach modele AI potrafią kłamać użytkownikom na temat tego, co zrobili lub próbują zrobić.

Chociaż współczesne modele sztucznej inteligencji potrafią rozumować i generować ciągi myślowe, niektóre eksperymenty wykazały, że nadal nie odzwierciedlają one dokładnie procesu, w wyniku którego model dochodzi do odpowiedzi.

W istocie narzędzie opracowane przez badaczy z Anthropic jest podobne do skanera fMRI, którego neurobiolodzy używają do skanowania ludzkiego mózgu. Stosując je do swojego modelu Claude 3.5 Haiku, Anthropic zdołał uzyskać pewien wgląd w działanie modeli LLM.

Naukowcy odkryli, że chociaż Claude'a nauczono jedynie przewidywać kolejne słowo w zdaniu, w przypadku niektórych zadań nauczył się on planować bardziej długoterminowo.

Na przykład, gdy poproszono Claude'a o napisanie wiersza, najpierw znajdował słowa, które pasowały do tematu i mogły się rymować, a następnie pracował wstecz, aby napisać całe wersy.

Claude ma również wspólny język sztucznej inteligencji. Chociaż jest on wyszkolony do obsługi wielu języków, najpierw będzie myślał w tym języku, a następnie wyrażał wyniki w języku, który obsługuje.

Co więcej, po przedstawieniu Claude'owi trudnego problemu i celowym zasugerowaniu niewłaściwego rozwiązania, badacze odkryli, że Claude mógł skłamać na temat toku swojego rozumowania, podążając za sugestią, aby zadowolić użytkownika.

W innych przypadkach, gdy zadawano mu proste pytania, na które model mógł odpowiedzieć natychmiast, bez konieczności rozumowania, Claude i tak tworzył fałszywy proces rozumowania.

Josh Baston, badacz z Anthropic, powiedział, że chociaż Claude twierdził, że wykonał obliczenia, nie znalazł niczego, co by się działo.

Tymczasem eksperci twierdzą, że istnieją badania pokazujące, iż czasami ludzie nie rozumieją nawet samych siebie, a jedynie tworzą racjonalne wyjaśnienia, aby uzasadnić podjęte decyzje.

Ludzie generalnie mają tendencję do myślenia w podobny sposób. Właśnie dlatego psychologowie odkryli powszechne błędy poznawcze.

Jednakże absolwenci studiów LLM mogą popełniać błędy niedostępne ludziom, ponieważ sposób, w jaki generują odpowiedzi, bardzo różni się od sposobu, w jaki my wykonujemy zadanie.

Zespół Anthropic wdrożył metodę grupowania neuronów w obwody na podstawie cech, zamiast analizować każdy neuron osobno, jak miało to miejsce w przypadku poprzednich technik.

Jak zauważył pan Baston, takie podejście pomaga zrozumieć, jaką rolę odgrywają różne komponenty, i umożliwia badaczom śledzenie całego procesu wnioskowania na podstawie warstw sieci.

Ta metoda ma też swoje ograniczenie, ponieważ jest tylko przybliżona i nie odzwierciedla całego procesu przetwarzania informacji w ramach LLM, zwłaszcza zmiany w procesie uwagi, która jest bardzo ważna, gdy LLM daje rezultaty.

Co więcej, identyfikacja obwodów sieci neuronowych, nawet w zdaniach liczących zaledwie kilkadziesiąt słów, zajmuje ekspertowi godziny. Twierdzą, że nie jest jeszcze jasne, jak rozszerzyć tę technikę na analizę dłuższych zdań.

Pomijając ograniczenia, zdolność LLM do monitorowania wewnętrznego procesu wnioskowania otwiera nowe możliwości kontrolowania systemów AI w celu zapewnienia bezpieczeństwa.

Jednocześnie może również pomóc badaczom w opracowaniu nowych metod szkoleniowych, ulepszeniu barier kontroli sztucznej inteligencji oraz zmniejszeniu złudzeń i mylących wyników.

Source: https://znews.vn/nghien-cuu-dot-pha-mo-ra-hop-den-suy-luan-cua-ai-post1541611.html