Ju smartare den artificiella intelligensen är, desto mer sannolikt är det att den döljer sin okunskap?

Ett forskarteam inom artificiell intelligens (AI) vid Polytekniska universitetet i Valencia, Spanien, har upptäckt att i takt med att stora språkmodeller blir större och mer sofistikerade, tenderar de att vara mindre benägna att erkänna för användarna att de inte vet svaret.

Ju smartare AI:n är, desto mindre sannolikt är det att den erkänner för användarna att den inte vet svaret. (AI-illustration)

I forskning som publicerades i tidskriften Nature testade teamet de senaste versionerna av tre av de mest populära AI-chattrobotarna utifrån responsivitet, noggrannhet och användarnas förmåga att upptäcka fel svar.

För att testa noggrannheten hos de tre populäraste LLM-programmen, BLOOM, LLaMA och GPT, ställde teamet tusentals frågor och jämförde svaren med tidigare versioner av samma frågor. De varierade också ämnena, inklusive matematik, naturvetenskap , textproblem och geografi, samt möjligheten att generera text eller utföra åtgärder som att sortera listor.

Studien avslöjade några anmärkningsvärda trender. Chatbotarnas övergripande noggrannhet förbättrades med varje ny version, men minskade fortfarande när de ställdes inför svårare frågor. Överraskande nog tenderade de att vara mindre öppna om sin förmåga att svara korrekt i takt med att de blev större och mer sofistikerade.

I tidigare versioner informerade de flesta LLM:er öppet användarna när de inte kunde hitta ett svar eller behövde mer information. Däremot tenderar nyare versioner att gissa mer, vilket resulterar i fler svar totalt sett, både korrekta och felaktiga. Ännu oroande är att studien fann att alla LLM:er fortfarande ibland gav felaktiga svar även på enkla frågor, vilket tyder på att deras tillförlitlighet fortfarande är ett problem som behöver förbättras.

Dessa resultat belyser en paradox i AI:s utveckling: medan modeller blir kraftfullare kan de också bli mindre transparenta kring sina begränsningar.

Detta medför nya utmaningar i användningen av och förtroendet för AI-system, vilket kräver att användare är mer försiktiga och att utvecklare fokuserar på att förbättra inte bara modellernas noggrannhet utan även deras "självkännedom".

Källa: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html