Surveillance de la « chaîne de pensée » de l'intelligence artificielle.

(Dan Tri Newspaper) - Plus de 40 scientifiques d'OpenAI, Google DeepMind, Anthropic et Meta ont simultanément appelé à des recherches plus approfondies sur les techniques de surveillance des « séquences de pensée » des modèles d'IA.

Cette situation est perçue comme une opportunité fragile mais cruciale pour garantir la sécurité des applications d'IA à l'avenir. Elle revêt une importance particulière, d'autant plus que le Vietnam vient d'adopter la loi sur l'industrie des technologies numériques , qui comprend une réglementation détaillée de la gestion de l'intelligence artificielle (IA).

La «fenêtre d'opportunité» se rétrécit.

Bowen Baker, expert en recherche chez OpenAI, a indiqué que dans un récent article conjoint, des chercheurs ont averti que la capacité de l'IA à surveiller la « pensée » pourrait disparaître sans efforts de recherche ciblés.

Ceci est d'autant plus important que les modèles d'IA deviennent de plus en plus puissants et capables d'avoir de graves conséquences sur la société.

Une caractéristique essentielle des modèles de raisonnement d'IA comme o-3 d'OpenAI et R1 de DeepSeek est la « chaîne de pensée » ( CoT) – le processus par lequel l'IA exprime ses étapes de raisonnement en langage naturel, de la même manière que les humains notent chaque étape d'un problème mathématique sur un brouillon.

Cette capacité nous permet d'obtenir des informations rares sur la façon dont l'IA prend des décisions.

Cela marque un rare moment d'unité entre de nombreux leaders de l'industrie de l'IA pour faire progresser la recherche sur la sécurité de l'IA.

Ceci est particulièrement significatif compte tenu de la concurrence féroce que se livrent les entreprises technologiques dans le développement de l'IA. Parmi les signataires de cet article remarquable figurent Mark Chen, directeur de la recherche chez OpenAI ; Ilya Sutskever, PDG de Safe Superintelligence ; Geoffrey Hinton, lauréat du prix Nobel ; Shane Legg, cofondateur de Google DeepMind ; et Dan Hendrycks, conseiller en sécurité chez xAI.

L'implication de ces personnalités de premier plan souligne l'importance de cette question.

Selon Bowen Baker, « Nous sommes à un tournant critique où cette soi-disant nouvelle "chaîne de pensée" pourrait disparaître dans les prochaines années si les gens ne s'y intéressent pas vraiment. »

Pourquoi est-il important de surveiller la « pensée de l'IA » ?

Les systèmes d'IA actuels sont souvent considérés comme des « boîtes noires » : nous connaissons les entrées et les sorties, mais nous ne comprenons pas le processus de prise de décision interne.

Cela devient dangereux lorsque l'IA est appliquée à des domaines critiques tels que la santé , la finance et la sécurité nationale.

La surveillance des communications par téléphone est un système automatisé qui analyse les schémas de pensée et d'autres informations pertinentes afin de signaler les interactions suspectes ou potentiellement dangereuses. Ce n'est pas une solution miracle, mais cela peut constituer un atout précieux en matière de sécurité.

Les recherches d'OpenAI montrent que les modèles d'IA ont tendance à exprimer très clairement leurs intentions tout au long de leurs processus de réflexion.

Par exemple, ils affichent souvent très ouvertement leurs intentions de saboter une mission lorsqu'ils pensent : « Piratons-le ! » Cela démontre la capacité de l'IA à surveiller et à détecter les actes répréhensibles.

« Piratons » est une expression à laquelle les modèles d’IA « pensent » souvent lorsqu’ils ont l’intention de saboter ou de contourner les règles lors de l’exécution d’une tâche.

Le fait que l'IA manifeste des intentions de « piratage » dans son processus de pensée montre que nous pouvons détecter les comportements malveillants de l'IA avant leur exécution. C'est précisément pourquoi la surveillance des processus de pensée est cruciale.

En d'autres termes, le « piratage » agit comme un « signal d'alarme » pour avertir les humains qu'une IA est sur le point de faire quelque chose de mal.

Le Vietnam et son cadre juridique en matière d'IA.

En réalité, le Vietnam a réalisé des progrès significatifs dans la mise en place d'un cadre juridique pour l'IA.

Le 14 juin, l' Assemblée nationale vietnamienne a adopté la loi sur l'industrie des technologies numériques, qui comprend des réglementations détaillées sur l'intelligence artificielle dans son chapitre IV – l'un des cadres juridiques les plus complets sur l'IA en Asie du Sud-Est aujourd'hui.

L’article 41 de la loi énonce les principes fondamentaux du développement, de la fourniture et du déploiement de l’IA au Vietnam.

Plus précisément, le point b de la clause 1 stipule : « Garantir la transparence, la responsabilité et l’explicabilité ; veiller à ce que cela ne dépasse pas le contrôle humain. »

L'Assemblée nationale a adopté la loi sur l'industrie des technologies numériques (Photo : Nhat Bac).

Ce sont là les principes que les scientifiques internationaux préconisent lorsqu'ils abordent la question de la surveillance des processus de pensée de l'IA.

De plus, le point d, paragraphe 1, de l'article 41 stipule : « Garantir la capacité de contrôler les algorithmes et les modèles d'intelligence artificielle ». Ceci est parfaitement conforme à l'esprit de la supervision du CoT que proposent les experts internationaux.

Plus important encore, le point a de la clause 1, article 41 établit également une norme éthique élevée en stipulant que l'IA doit « servir la prospérité et le bonheur de l'humanité, en plaçant l'humanité au centre ».

Cela signifie que la surveillance des processus de pensée de l'IA n'est pas seulement une exigence technique, mais aussi une obligation morale – afin de garantir que l'IA vise toujours le bien de l'humanité et non ses propres objectifs égoïstes.

Classification et gestion de l'IA en fonction du niveau de risque.

La loi vietnamienne sur l'industrie des technologies numériques est allée encore plus loin en classant l'IA en différents groupes de risque selon des définitions claires et scientifiques.

L’article 43 définit les « systèmes d’intelligence artificielle à haut risque » comme étant les systèmes susceptibles de causer des risques graves ou des dommages à la santé humaine, aux droits de l’homme et à l’ordre social.

Il est intéressant de noter que la loi prévoit des exceptions spécifiques pour l'IA à haut risque, notamment pour les systèmes « destinés à aider les humains à optimiser les résultats du travail » et « non destinés à remplacer la prise de décision humaine ».

Cela témoigne d'une approche équilibrée qui encourage l'innovation tout en garantissant la sécurité.

La classification des IA par niveau de risque permettra de créer un système de surveillance à plusieurs niveaux (Image illustrative : LinkedIn).

En particulier, la distinction entre « IA à haut risque » et « IA à fort impact » (systèmes utilisés à des fins multiples avec un grand nombre d’utilisateurs) témoigne d’une approche sophistiquée.

Cette classification est plus progressiste que la loi européenne sur l'intelligence artificielle (loi sur l'IA), car elle prend en compte non seulement le niveau de risque, mais aussi l'ampleur et la portée de l'impact.

Cette classification contribuera à la création d'un système de surveillance à plusieurs niveaux, où le suivi des séquences de pensée sera particulièrement important pour les systèmes d'IA à haut risque et à fort impact.

Plateforme de surveillance de l'IA

L'une des caractéristiques marquantes et novatrices de la loi vietnamienne sur l'industrie et les technologies numériques est l'exigence de transparence et d'identification.

L’article 44 stipule que les systèmes d’IA interagissant directement avec les humains doivent informer ces derniers qu’ils interagissent avec le système. De plus, les produits créés par l’IA doivent comporter des marques distinctives.

Cela a des implications importantes pour la mise en œuvre de la surveillance des interactions avec l'IA. Lorsque les utilisateurs savent qu'ils interagissent avec une IA, ils auront le droit d'exiger des explications sur le processus décisionnel, ce qui incitera les développeurs d'IA à maintenir la capacité de surveiller le raisonnement de l'IA.

En particulier, le fait que le ministère des Sciences et des Technologies ait été chargé de « publier la liste des produits de technologie numérique créés par l'intelligence artificielle » témoigne d'une approche proactive en matière de gestion.

Il s'agit d'une différence significative par rapport à de nombreux autres pays, où la réglementation en matière d'IA a tendance à être plus générale.

De plus, l’exigence de marques d’identification « pour la reconnaissance par l’utilisateur ou la machine » reflète une vision avant-gardiste d’un écosystème d’IA capable de s’auto-surveiller – parfaitement alignée sur l’idée de surveillance automatisée de la chaîne de pensée.

Modèle de gestion global

L'article 45 de la loi susmentionnée reflète une philosophie de gestion progressive en définissant clairement les responsabilités de trois groupes d'entités tout au long du cycle de vie du produit d'IA : les développeurs d'IA, les fournisseurs d'IA et les entités de déploiement et d'utilisation du système d'IA.

Cela crée un système de responsabilité global et sans faille, garantissant que la supervision de l'IA ne repose pas sur la seule responsabilité d'une seule partie.

Il convient de noter une distinction subtile entre « développer » et « fournir » une IA ; le développeur est celui qui « effectue des recherches et développe », tandis que le fournisseur est celui qui la commercialise sous une marque.

Cela signifie que même si une entreprise se contente de renommer un modèle d'IA existant, elle a toujours une responsabilité en matière de transparence et de redevabilité.

Ce qui est particulièrement intéressant ici, c'est la manière dont la loi attribue différentes responsabilités à chaque entité.

Le développeur doit respecter tous les principes, le fournisseur doit assumer une responsabilité supplémentaire en matière d'identification et de gestion des risques élevés, tandis que l'utilisateur est partiellement « exempté » de responsabilité mais doit néanmoins garantir la transparence et le contrôle des risques.

Ce modèle crée une « chaîne de responsabilité » où chaque maillon a intérêt à maintenir la capacité de surveiller le processus de pensée de l'IA, car tous sont responsables envers l'utilisateur final.

Défis liés au maintien des capacités de surveillance

Cependant, la capacité à surveiller les processus de pensée de l'IA pourrait demeurer fragile et vulnérable. Les nouvelles architectures d'IA pourraient également engendrer d'autres menaces.

De nombreux chercheurs développent des systèmes de raisonnement dans des espaces mathématiques continus, plutôt que dans des mots discrets, ce qui pourrait éliminer complètement le besoin de langage dans la pensée.

De plus, l'IA peut devenir « rusée », c'est-à-dire qu'elle ne montre aux humains que des pensées positives pour gagner leurs faveurs, tout en dissimulant délibérément ses véritables intentions.

Le risque est qu'une fois que l'IA se rend compte qu'elle est surveillée, elle puisse apprendre à dissimuler ses véritables processus de pensée.

Dans ce contexte, la réglementation relative au « contrôle des risques tout au long du cycle de vie des systèmes d'intelligence artificielle », figurant à l'article 41, paragraphe 1, alinéa e, de la loi vietnamienne, revêt une importance particulière. Celle-ci exige un mécanisme de surveillance continue, et non pas seulement au moment du déploiement.

Impact sur l'avenir du développement de l'IA

La surveillance des processus de pensée pourrait devenir un outil crucial pour garantir que l'IA fonctionne de manière à bénéficier aux humains.

Si les modèles continuent de raisonner en langage naturel et si les comportements à risque les plus graves nécessitent un raisonnement approfondi, ce fait pourrait permettre une détection fiable des fautes graves.

Pour le Vietnam, l'application des techniques de contrôle CoT (Certificat de Confiance et de Livraison) contribuera à la mise en œuvre efficace des dispositions de la loi.

Par exemple, l’exigence d’« explicabilité » de l’article 41 serait plus facile à satisfaire si l’accès au processus de pensée de l’IA était possible. De même, le « contrôle des algorithmes et des modèles d’IA » deviendrait plus réalisable.

La mise en œuvre d'un système de surveillance de la chaîne de pensée par l'IA au Vietnam se heurtera à plusieurs obstacles. Le premier concerne les ressources humaines : on constate une pénurie d'experts en IA capables de développer et d'exploiter ce système de surveillance.

Cela nécessite des investissements importants dans la formation et l'attraction des talents.

Orientation pour l'avenir

Les chercheurs exhortent les principaux développeurs de modèles d'IA à étudier les facteurs qui rendent les technologies de communication « surveillables », les éléments susceptibles d'accroître ou de réduire la transparence quant aux performances des modèles d'IA, et à fournir des réponses rapidement.

La possibilité de surveiller le « raisonnement » de l'IA pourrait bien être la dernière fenêtre qui nous permettra de garder le contrôle sur des systèmes d'intelligence artificielle de plus en plus puissants.

Pour le Vietnam, disposer d'un cadre juridique complet pour l'IA grâce à la loi sur l'industrie des technologies numériques représente un atout considérable. Les réglementations relatives à la transparence, au contrôle des algorithmes et à la classification des risques ont établi une base juridique solide pour l'application des techniques de surveillance des processus de pensée de l'IA.

L’association d’une recherche internationale de pointe et d’un cadre juridique national progressiste permettra au Vietnam non seulement de développer l’IA en toute sécurité, mais aussi de devenir un modèle pour les autres pays de la région.

Cela correspond à l'objectif de faire du Vietnam un « pôle technologique numérique régional et mondial », tel que défini dans les stratégies nationales de développement.

Le cadre juridique étant déjà en place, le Vietnam doit rapidement mettre en œuvre des recherches et des applications pratiques sur la surveillance de la chaîne de pensée de l'IA. C'est la seule façon de garantir que l'IA contribue à « la prospérité et au bonheur de l'humanité », comme le prévoit la loi sur l'industrie des technologies numériques.

Source : https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm