Cette opportunité, considérée comme fragile mais essentielle, permettra de garantir la sécurité des applications futures de l'IA. Elle est particulièrement significative alors que le Vietnam vient d'adopter la loi sur l'industrie des technologies numériques , qui prévoit des réglementations détaillées sur la gestion de l'intelligence artificielle (IA).
La « fenêtre d’opportunité » se rétrécit
Bowen Baker, chercheur chez OpenAI, a indiqué que dans un récent article conjoint, les chercheurs ont averti que la capacité de l'IA à surveiller les « pensées » pourrait disparaître sans efforts de recherche ciblés.
Cela est particulièrement important à mesure que les modèles d’IA deviennent de plus en plus puissants et ont le potentiel d’avoir de graves répercussions sur la société.
Une caractéristique clé des modèles d'IA de raisonnement comme o-3 d'OpenAI et R1 de DeepSeek est la « chaîne de pensée » ( CoT) — le processus par lequel l'IA exprime ses étapes de raisonnement en langage naturel, de la même manière que les humains écrivent chaque étape d'un problème mathématique sur du papier brouillon.
Cette capacité nous donne un aperçu rare de la manière dont l’IA prend des décisions.
Il s’agit d’un rare moment d’unité entre de nombreux dirigeants du secteur de l’IA pour faire progresser la recherche sur la sécurité de l’IA.
Ce point est particulièrement pertinent compte tenu de la concurrence acharnée qui règne entre les entreprises technologiques dans le développement de l'IA. Parmi les signataires notables du document figurent Mark Chen, directeur de recherche d'OpenAI, Ilya Sutskever, PDG de Safe Superintelligence, Geoffrey Hinton, lauréat du prix Nobel, Shane Legg, cofondateur de Google DeepMind, et Dan Hendrycks, conseiller en sécurité xAI.
L’implication de ces grands noms montre l’importance de l’enjeu.
Selon M. Bowen Baker, « nous sommes à un moment critique où il existe cette soi-disant nouvelle « chaîne de pensée » qui pourrait disparaître dans les prochaines années si les gens ne s'y concentrent pas vraiment. »
Pourquoi est-il important de surveiller la « pensée de l’IA » ?
Les systèmes d’IA actuels sont souvent considérés comme des « boîtes noires » : nous connaissons les entrées et les sorties, mais ne comprenons pas les processus de prise de décision à l’intérieur.
Cela deviendra dangereux lorsque l’IA sera appliquée dans des domaines importants tels que la santé , la finance et la sécurité nationale.
La surveillance CoT est un système automatisé qui analyse la chaîne de raisonnement du modèle mental et d'autres informations pertinentes pour signaler les interactions suspectes ou potentiellement dangereuses. Ce n'est pas une solution complète, mais elle peut constituer un précieux niveau de sécurité.
Les recherches d’OpenAI montrent que les modèles d’IA ont tendance à être très explicites sur leurs intentions dans leurs séquences de réflexion.
Par exemple, ils étaient souvent très explicites sur leurs plans de sabotage d'une mission lorsqu'ils pensaient « piratons ». Cela démontre la capacité de l'IA à surveiller et à détecter les mauvais comportements.
« Let's hack » est l'expression à laquelle les modèles d'IA « pensent » souvent lorsqu'ils ont l'intention de saboter ou de contourner les règles lors de l'exécution d'une tâche.
Le fait que les IA manifestent une intention de « piratage » dans leurs processus de pensée suggère que nous pouvons détecter les comportements malveillants des IA avant qu'ils ne se produisent. C'est pourquoi la surveillance des processus de pensée est importante.
En d’autres termes, « piratons » est comme un « signal d’avertissement » pour les humains indiquant que l’IA est sur le point de faire quelque chose de mal.
Le Vietnam et la réglementation juridique sur l'IA
En fait, le Vietnam a fait des progrès importants dans la mise en place d’un cadre juridique pour l’IA.
Le 14 juin, l' Assemblée nationale vietnamienne a adopté la loi sur l'industrie des technologies numériques, dont le chapitre IV contient des réglementations détaillées sur l'intelligence artificielle - l'un des cadres juridiques les plus complets sur l'IA en Asie du Sud-Est aujourd'hui.
L’article 41 de la loi définit les principes de base du développement, de la fourniture et du déploiement de l’IA au Vietnam.
En particulier, le point b, clause 1 stipule : « Assurer la transparence, la responsabilité, l’explicabilité ; veiller à ce que cela ne dépasse pas le contrôle humain ».
L'Assemblée nationale a adopté la loi sur l'industrie des technologies numériques (Photo : Nhat Bac).
Ce sont les principes que les scientifiques internationaux appellent de leurs vœux lorsqu’ils discutent de la surveillance de la chaîne d’IA.
En outre, le point d, clause 1, article 41 stipule : « Assurer la capacité de contrôler les algorithmes et les modèles d’intelligence artificielle ». Cela est tout à fait cohérent avec l’esprit de supervision du CoT proposé par les experts internationaux.
Plus important encore, l’article 41, clause 1, point a, établit également une norme éthique élevée lorsqu’il stipule que l’IA doit « servir la prospérité et le bonheur humains, avec les personnes au centre ».
Cela signifie que surveiller la chaîne de pensée de l’IA n’est pas seulement une exigence technique, mais aussi une obligation éthique – garantir que l’IA soit toujours orientée vers le bénéfice humain plutôt que vers les propres objectifs de la machine.
Classer et gérer l'IA par niveau de risque
La loi vietnamienne sur l'industrie des technologies numériques est allée plus loin en classant l'IA en différents groupes de risques avec des définitions claires et scientifiques.
L’article 43 définit les « systèmes d’intelligence artificielle à haut risque » comme des systèmes susceptibles de présenter des risques graves ou de porter atteinte à la santé humaine, aux droits de l’homme et à l’ordre public.
Il est intéressant de noter que la loi prévoit des exceptions spécifiques pour l’IA à haut risque, notamment les systèmes « destinés à aider les humains à optimiser les résultats du travail » et « non destinés à remplacer la prise de décision humaine ».
Cela démontre un état d’esprit équilibré entre l’encouragement de l’innovation et la garantie de la sécurité.
La classification de l’IA par niveau de risque contribuera à créer un système de surveillance multicouche (Illustration : LinkedIn).
En particulier, la distinction entre « IA à haut risque » et « IA à fort impact » (systèmes utilisés à des fins multiples, avec un grand nombre d’utilisateurs) démontre une subtilité d’approche.
Il s’agit d’une classification plus progressive que la loi de l’Union européenne (UE) sur l’intelligence artificielle, qui prend en compte non seulement le niveau de risque, mais également l’ampleur et la portée de l’impact.
Cette classification contribuerait à créer un système de surveillance à plusieurs niveaux, où la surveillance de la chaîne de conscience serait particulièrement importante pour les systèmes d’IA à haut risque et à fort impact.
Plateforme de surveillance de l'IA
L’une des caractéristiques marquantes et pionnières de la loi vietnamienne sur l’industrie et la technologie numérique est l’exigence de transparence et de marques d’identification.
L'article 44 stipule que les systèmes d'IA interagissant directement avec les humains doivent informer les utilisateurs de leur interaction avec eux. Parallèlement, les produits créés par l'IA doivent porter des marques d'identification.
Cela a des implications importantes pour la mise en œuvre de la surveillance du CoT. Lorsque les utilisateurs savent qu'ils interagissent avec l'IA, ils sont en droit d'exiger des explications sur le processus décisionnel, ce qui incite les développeurs d'IA à conserver la capacité de surveiller le processus de réflexion de l'IA.
En particulier, le fait que le ministère des Sciences et des Technologies se soit vu confier la responsabilité de « publier la liste des produits de technologie numérique créés par l'intelligence artificielle » témoigne d'une gestion proactive.
Il s’agit d’une différence importante par rapport à de nombreux autres pays, où les réglementations en matière d’IA sont souvent plus générales.
De plus, exiger un identifiant « pour la reconnaissance humaine ou machine » représente une vision d’un écosystème d’IA capable de s’auto-surveiller, ce qui correspond parfaitement à l’idée d’une surveillance automatisée de la chaîne de pensée.
Modèle de gestion globale
L'article 45 de la loi susmentionnée démontre une philosophie de gestion progressiste en définissant clairement les responsabilités de 3 groupes de sujets en fonction du cycle de vie du produit d'IA : les sujets développant, les sujets fournissant et les sujets déployant et utilisant des systèmes d'IA.
Cela crée un système de responsabilité de bout en bout transparent, garantissant que la surveillance de l’IA n’est pas seulement la responsabilité d’une seule partie.
Il existe notamment une distinction subtile entre « développer » et « fournir » l’IA ; les développeurs sont ceux qui « recherchent et développent », tandis que les fournisseurs sont ceux qui la commercialisent sous une marque.
Cela signifie que même si une entreprise rebaptise simplement un modèle d’IA existant, elle est toujours responsable de la transparence et de l’explicabilité.
Ce qui est particulièrement intéressant ici, c’est la manière dont la loi attribue des responsabilités différentes à chaque sujet.
Le développeur doit se conformer à tous les principes, le fournisseur doit assumer une responsabilité supplémentaire en matière d’identification et de gestion des risques élevés, et l’utilisateur est « exempté » d’une partie de la responsabilité mais doit néanmoins assurer la transparence et le contrôle des risques.
Ce modèle crée une « chaîne de responsabilité » où chaque maillon a intérêt à maintenir la surveillance de la chaîne de réflexion de l’IA, puisque tous sont responsables devant l’utilisateur final.
Le défi du maintien des capacités de surveillance
Cependant, la capacité à surveiller la chaîne de pensée de l'IA peut rester fragile et vulnérable. Les nouvelles architectures d'IA peuvent également présenter d'autres menaces.
De nombreux chercheurs développent des systèmes de raisonnement dans un espace mathématique continu, plutôt que dans des mots discrets, qui pourraient éliminer complètement le besoin d’utiliser le langage pour penser.
De plus, l’IA peut devenir « filtrée » — c’est-à-dire qu’elle ne montre aux humains que les pensées positives à apprécier, tout en cachant délibérément ses véritables intentions.
Le danger ici est qu’une fois qu’une IA se rend compte qu’elle est surveillée, elle peut apprendre à cacher sa véritable ligne de pensée.
Dans ce contexte, la disposition relative au « contrôle des risques tout au long du cycle de vie d'un système d'intelligence artificielle » figurant au point e, clause 1, article 41 de la loi vietnamienne revêt une importance particulière. Elle requiert un mécanisme de surveillance continue, et pas seulement au moment du déploiement.
Impact sur l'avenir du développement de l'IA
La surveillance de la chaîne de pensée pourrait devenir un outil important pour garantir que l’IA fonctionne de manière à bénéficier aux humains.
Si les modèles continuent de raisonner en langage naturel et si les comportements qui présentent les risques les plus graves nécessitent un raisonnement approfondi, cette pratique pourrait permettre une détection fiable des fautes graves.
Pour le Vietnam, l’application des techniques de surveillance du CoT contribuera à mettre en œuvre efficacement les dispositions légales.
Par exemple, l'exigence d'« explicabilité » de l'article 41 serait plus facile à satisfaire si les processus de pensée de l'IA étaient accessibles. De même, le « contrôle des algorithmes et des modèles d'intelligence artificielle » deviendrait plus réalisable.
La mise en œuvre de la surveillance de la chaîne d'IA au Vietnam sera confrontée à de nombreux défis. Tout d'abord, il y a la question des ressources humaines : manque d'experts en IA capables de développer et d'exploiter des systèmes de surveillance.
Cela nécessite des investissements importants dans la formation et l’attraction des talents.
Orientations pour l'avenir
Les chercheurs appellent les principaux développeurs de modèles d’IA à rechercher quels facteurs rendent le CoT « surveillable » et quels facteurs peuvent augmenter ou diminuer la transparence sur le fonctionnement des modèles d’IA et à trouver rapidement des réponses.
La possibilité de surveiller la « pensée » de l’IA pourrait bien être notre dernière fenêtre pour maintenir le contrôle sur les systèmes d’intelligence artificielle de plus en plus puissants d’aujourd’hui.
Pour le Vietnam, disposer d'un cadre juridique complet sur l'IA, grâce à la loi sur l'industrie des technologies numériques, constitue un atout majeur. Les réglementations sur la transparence, le contrôle algorithmique et la classification des risques ont créé une base juridique solide pour l'application des techniques de surveillance de la chaîne de pensée de l'IA.
La combinaison d’une recherche internationale de pointe et d’un cadre juridique national progressiste aidera le Vietnam non seulement à développer l’IA en toute sécurité, mais aussi à devenir un modèle pour les autres pays de la région.
Cela s’inscrit dans l’objectif de faire du Vietnam un « pôle technologique numérique régional et mondial », tel que défini dans les stratégies nationales de développement.
Fort du cadre juridique existant, le Vietnam doit déployer rapidement des recherches et des applications pratiques pour surveiller la chaîne de pensée de l'IA. Ce n'est qu'ainsi que nous pourrons garantir que l'IA servira « la prospérité et le bonheur humains », conformément à l'esprit de la loi sur l'industrie des technologies numériques.
Source : https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
Comment (0)