Quanto mais inteligente for a inteligência artificial, maior a probabilidade de ela esconder sua ignorância?

Uma equipe de pesquisa em inteligência artificial (IA) da Universidade Politécnica de Valência, na Espanha, descobriu que, à medida que os modelos de linguagem se tornam maiores e mais sofisticados, eles tendem a ser menos propensos a admitir aos usuários que não sabem a resposta.

Quanto mais inteligente for a IA, menor a probabilidade de admitir aos usuários que não sabe a resposta. (Ilustração de IA)

Em uma pesquisa publicada na revista Nature , a equipe testou as versões mais recentes de três dos chatbots de IA mais populares em relação à capacidade de resposta, precisão e habilidade dos usuários em identificar respostas incorretas.

Para testar a precisão dos três algoritmos de aprendizado de máquina mais populares, Bloom, LLaMA e GPT, a equipe fez milhares de perguntas e comparou as respostas recebidas com versões anteriores das mesmas perguntas. Eles também variaram os tópicos, incluindo matemática, ciências , problemas de palavras e geografia, bem como a capacidade de gerar texto ou realizar ações como classificar listas.

O estudo revelou algumas tendências notáveis. A precisão geral dos chatbots melhorou a cada nova versão, mas ainda assim diminuiu quando confrontados com perguntas mais difíceis. Surpreendentemente, à medida que os sistemas de aprendizagem online se tornaram maiores e mais sofisticados, tenderam a ser menos transparentes quanto à sua capacidade de responder corretamente.

Nas versões anteriores, a maioria dos LLMs informava abertamente os usuários quando não conseguiam encontrar uma resposta ou precisavam de mais informações. Em contraste, as versões mais recentes tendem a chutar mais, resultando em mais respostas no geral, tanto corretas quanto incorretas. Mais preocupante ainda, o estudo descobriu que todos os LLMs ainda ocasionalmente davam respostas incorretas, mesmo para perguntas fáceis, sugerindo que sua confiabilidade continua sendo um problema que precisa ser aprimorado.

Essas descobertas destacam um paradoxo na evolução da IA: embora os modelos estejam se tornando mais poderosos, eles também podem se tornar menos transparentes quanto às suas limitações.

Isso impõe novos desafios ao uso e à confiança em sistemas de IA, exigindo que os usuários sejam mais cautelosos e que os desenvolvedores se concentrem em aprimorar não apenas a precisão, mas também a "autoconsciência" dos modelos.

Fonte: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html