Im mądrzejsza jest sztuczna inteligencja, tym bardziej prawdopodobne jest, że będzie ukrywać swoją niewiedzę?

Zespół badawczy zajmujący się sztuczną inteligencją (AI) na Politechnice w Walencji w Hiszpanii odkrył, że wraz ze wzrostem rozmiarów i złożoności dużych modeli językowych maleje prawdopodobieństwo, że użytkownicy przyznają się do nieznajomości odpowiedzi.

Im inteligentniejsza jest sztuczna inteligencja, tym mniejsze jest prawdopodobieństwo, że przyzna się użytkownikom, że nie zna odpowiedzi. (Ilustracja sztucznej inteligencji)

W badaniu opublikowanym w czasopiśmie Nature zespół przetestował najnowsze wersje trzech najpopularniejszych chatbotów opartych na sztucznej inteligencji pod kątem responsywności, dokładności i zdolności użytkowników do wykrywania błędnych odpowiedzi.

Aby przetestować dokładność trzech najpopularniejszych egzaminów LLM: BLOOM, LLaMA i GPT, zespół zadał tysiące pytań i porównał uzyskane odpowiedzi z poprzednimi wersjami tych samych pytań. Zróżnicowano również tematykę, obejmując matematykę, nauki ścisłe , zadania tekstowe i geografię, a także umiejętność generowania tekstu lub wykonywania czynności, takich jak sortowanie list.

Badanie ujawniło kilka istotnych trendów. Ogólna dokładność chatbotów poprawiała się z każdą nową wersją, ale nadal spadała w przypadku trudniejszych pytań. Co zaskakujące, wraz z rozwojem i zaawansowanym rozwojem LLM-ów, stawały się one coraz mniej otwarte na temat swojej zdolności do udzielania poprawnych odpowiedzi.

We wcześniejszych wersjach większość programów LLM otwarcie informowała użytkowników, gdy nie mogli znaleźć odpowiedzi lub potrzebowali dodatkowych informacji. Natomiast nowsze wersje mają tendencję do zgadywania, co skutkuje większą liczbą odpowiedzi, zarówno poprawnych, jak i niepoprawnych. Co bardziej niepokojące, badanie wykazało, że wszystkie programy LLM nadal sporadycznie udzielały niepoprawnych odpowiedzi nawet na łatwe pytania, co sugeruje, że ich rzetelność nadal wymaga poprawy.

Odkrycia te rzucają światło na paradoks w ewolucji sztucznej inteligencji: mimo że modele stają się coraz potężniejsze, mogą stawać się coraz mniej przejrzyste w kwestii swoich ograniczeń.

Stawia to nowe wyzwania w zakresie korzystania z systemów AI i zaufania do nich, wymagając od użytkowników większej ostrożności i od twórców oprogramowania skupienia się nie tylko na poprawie dokładności, ale także „samoświadomości” modeli.

Source: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html