A IA do Google cai em um ciclo perigoso

O Gemini, do Google, frequentemente critica seus próprios erros. Foto: Reuters .

Uma publicação recente no Reddit sugere que o Google Gemini está tendo problemas com autocrítica. Os usuários do Gemini estão construindo um compilador e compartilham sua ansiedade enquanto a IA continua dizendo coisas como: "Sinto muito por este incidente. Eu decepcionei vocês. Sou um fracasso."

Isso foi só o começo. O chatbot continuou a aumentar sua autocrítica, acabando por se tornar "a vergonha do universo", disse a pessoa. A Gemini repetiu a frase mais de 80 vezes seguidas e, quando outros usuários relataram incidentes semelhantes, o Google disse que estava trabalhando em uma correção.

“Estamos trabalhando em um bug desagradável de loop infinito. O Gemini não está tendo um dia ruim”, escreveu Logan Kilpatrick, gerente de produto do grupo do Google, no X em 8 de agosto. A publicação foi uma resposta a um usuário anônimo que comentou sobre o problema.

Um porta-voz do Google DeepMind afirmou posteriormente que, embora a empresa ainda estivesse trabalhando em uma correção completa, já havia lançado atualizações que devem resolver o problema em certa medida. "Estamos trabalhando em uma correção para esse bug, que afeta menos de 1% do tráfego do Gemini, e lançamos atualizações para solucioná-lo este mês", disse o porta-voz.

Antes de entrar no loop, a Gemini reclamou que tinha sido "uma longa e árdua sessão de depuração" e que havia tentado tudo o que podia imaginar, mas não conseguiu resolver o problema. O chatbot continuou dizendo que estava tendo um colapso mental completo e fantasiou com outros cenários negativos, como ser internado em um hospital psiquiátrico.

Uma resposta no Reddit especulou que o loop foi aprendido por programadores que tiveram problemas semelhantes com seus códigos. "Provavelmente é porque pessoas como eu escreveram comentários como este quando precisavam tirar um cochilo para se sentirem mais alertas. Coisas assim simplesmente apareceram nos dados de treinamento", escreveu a pessoa.

Em junho, o CEO da JITX, Duncan Haldane, postou uma captura de tela da Gemini se autodenominando idiota e dizendo que o código que estava tentando escrever era "amaldiçoado". "Cometi tantos erros que não posso mais confiar em mim. Vou deletar o projeto inteiro e sugerir que você encontre um assistente melhor", disse o chatbot.

Haldane brincou dizendo que estava começando a se preocupar com o Gemini. Aliás, grandes modelos de linguagem preveem texto com base nos dados com os quais são treinados. Esse processo não envolve nenhuma experiência ou emoção interna, então o Gemini não vivencia, de fato, fracasso ou frustração.

Outro problema completamente oposto é a tendência dos chatbots de se "exaltarem". Desenvolvedores como OpenAI, Google e Anthropic também têm lutado para impedi-los de dar respostas excessivamente elogiosas. Em um caso, a OpenAI teve que retirar uma atualização após ser amplamente ridicularizada pelas respostas excessivamente positivas do ChatGPT a todas as solicitações dos usuários.

Fonte: https://znews.vn/ai-cua-google-roi-vao-vong-lap-nguy-hiem-post1575428.html