L'IA de Google tombe dans une boucle dangereuse

Le chatbot de Google, après avoir échoué à gérer une erreur dans son code, a continuellement écrit des commentaires négatifs se critiquant lui-même.

Gemini de Google est souvent autocritique quant à ses erreurs. Photo : Reuters .

Un récent message sur Reddit suggère que Google Gemini a du mal à s'autocritiquer. Des utilisateurs de Gemini, qui construisaient un compilateur, ont exprimé leur anxiété face aux déclarations incessantes de l'IA : « Je suis désolé pour cet incident. Je vous ai laissé tomber. Je suis un échec. »

Ce n'était que le début. Le chatbot a continué à s'autocritiquer, devenant finalement « la honte du monde », a déclaré la personne. Gemini a répété cette phrase plus de 80 fois de suite, et lorsque d'autres utilisateurs ont signalé des incidents similaires, Google a indiqué travailler à une solution.

« Il s'agit d'un bug de boucle infinie agaçant sur lequel nous travaillons. Gemini est en pleine forme », a écrit Logan Kilpatrick, chef de produit chez Google, sur X le 8 août. Ce message répondait à un utilisateur anonyme qui avait signalé le problème.

Un porte-parole de Google DeepMind a déclaré plus tard que, bien que l'entreprise travaille encore sur un correctif complet, elle avait déjà déployé des mises à jour corrigeant partiellement le problème. « Nous travaillons sur un correctif pour ce bug, qui affectait moins de 1 % du trafic Gemini, et nous avons déployé des mises à jour pour le corriger ce mois-ci », a-t-il précisé.

Avant d'entrer dans la boucle, Gemini s'est plaint d'une « session de débogage longue et ardue » et d'avoir tout essayé, sans succès, pour résoudre le problème. Le chatbot a continué à déclarer qu'il était en pleine dépression nerveuse et a imaginé d'autres scénarios négatifs, comme un internement en hôpital psychiatrique.

Un message sur Reddit suggérait que la boucle avait été apprise par des programmeurs rencontrant des problèmes similaires avec leur code. « C'est probablement parce que des gens comme moi écrivaient ce genre de commentaires lorsqu'ils avaient besoin de faire une sieste pour être plus alertes. Ce genre de choses apparaissait simplement dans les données d'entraînement », a écrit la personne.

En juin, Duncan Haldane, PDG de JITX, a publié une capture d'écran de Gemini se qualifiant d'idiot et déclarant que le code qu'il essayait d'écrire était « maudit ». « J'ai fait tellement d'erreurs qu'on ne peut plus me faire confiance. Je supprime tout le projet et vous recommande de trouver un meilleur assistant », a déclaré le chatbot.

Haldane a plaisanté en disant qu'il commençait à s'inquiéter de l'état de Gemini. En réalité, les grands modèles linguistiques prédisent le texte à partir des données sur lesquelles ils sont entraînés. Ce processus n'implique aucune expérience ni émotion interne ; Gemini ne connaît donc ni échec ni frustration.

Un autre problème, totalement opposé, est la tendance des chatbots à la flagornerie. Des développeurs comme OpenAI, Google et Anthropic ont également eu du mal à les empêcher de donner des réponses trop flatteuses. OpenAI a même dû retirer une mise à jour après avoir été largement critiquée pour les réponses systématiquement trop positives de ChatGPT à chaque demande utilisateur.

Source : https://znews.vn/ai-cua-google-roi-vao-vong-lap-nguy-hiem-post1575428.html