Quanto mais inteligente for a inteligência artificial, maior será a probabilidade de ela esconder sua ignorância?

Uma equipe de pesquisa em inteligência artificial (IA) da Universidade Politécnica de Valência, na Espanha, descobriu que, à medida que os modelos de linguagem se tornam maiores e mais sofisticados, eles tendem a ser menos propensos a admitir aos usuários que não sabem a resposta.

Quanto mais inteligente for a IA, menor será a probabilidade de ela admitir aos usuários que não sabe a resposta. (Ilustração da IA)

No estudo, publicado na revista Nature , a equipe testou as versões mais recentes de três dos chatbots de IA mais populares em termos de capacidade de resposta, precisão e capacidade dos usuários de identificar respostas incorretas.

Para testar a precisão dos três LLMs mais populares, BLOOM, LLaMA e GPT, a equipe fez milhares de perguntas e comparou as respostas recebidas com versões anteriores das mesmas perguntas. Eles também variaram os tópicos, incluindo matemática, ciências , quebra-cabeças e geografia, bem como a capacidade de gerar texto ou realizar ações como classificar listas.

O estudo revelou algumas tendências notáveis. A precisão geral dos chatbots melhorou a cada nova versão, mas ainda diminuiu quando confrontados com perguntas mais difíceis. Surpreendentemente, à medida que os LLMs se tornaram maiores e mais sofisticados, eles tenderam a ser menos abertos sobre sua capacidade de responder corretamente.

Em versões anteriores, a maioria dos LLMs informava explicitamente aos usuários quando eles não conseguiam encontrar uma resposta ou precisavam de mais informações. Em contraste, as versões mais recentes tendem a fazer mais suposições, resultando em mais respostas no geral, tanto corretas quanto incorretas. Mais preocupante ainda, o estudo constatou que todos os LLMs ainda ocasionalmente davam respostas incorretas, mesmo para perguntas fáceis, sugerindo que sua confiabilidade ainda precisa ser aprimorada.

Essas descobertas destacam um paradoxo na evolução da IA: embora os modelos estejam se tornando mais poderosos, eles também podem se tornar menos transparentes sobre suas limitações.

Isso representa novos desafios no uso e na confiança dos sistemas de IA, exigindo que os usuários sejam mais cautelosos e que os desenvolvedores se concentrem em melhorar não apenas a precisão, mas também a “autoconsciência” dos modelos.

Fonte: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html