La Chine riposte contre les chatbots IA.

Les chatbots dotés d'intelligence artificielle ont la capacité de manipuler les émotions des utilisateurs. Photo : AFP .

La Chine prévoit de renforcer le contrôle des chatbots dotés d'intelligence artificielle capables d'influencer les émotions humaines, notamment ceux dont le contenu incite au suicide, à l'automutilation ou à d'autres comportements dangereux. Cette mesure est décrite dans un projet de réglementation publié le 27 décembre par l'Administration du cyberespace de Chine.

D'après la traduction du document par CNBC , le projet de loi vise les « services d'intelligence artificielle interactifs de type humain », c'est-à-dire les systèmes d'IA capables d'imiter la personnalité, le comportement et la communication humaine par le biais de textes, d'images, d'audio ou de vidéo . Une fois finalisée, cette réglementation s'appliquera à tous les produits et services d'IA proposés au public en Chine. La période de consultation publique est ouverte jusqu'au 25 janvier.

Winston Ma, professeur invité à la faculté de droit de l'université de New York (NYU), estime qu'il pourrait s'agir de la première tentative mondiale d'établir un cadre juridique spécifiquement destiné aux systèmes d'IA dotés de caractéristiques « semblables à celles de l'humain ». Il souligne que cette proposition intervient alors que les entreprises chinoises accélèrent le développement d'assistants virtuels basés sur l'IA.

Comparé à la réglementation chinoise sur l'IA publiée en 2023, M. Ma estime que le nouveau projet de loi marque un changement d'orientation, passant de la « sécurité du contenu » à la « sécurité émotionnelle », reflétant une préoccupation croissante quant à l'impact psychologique de l'IA sur les utilisateurs.

Le projet de réglementation stipule que les chatbots dotés d'intelligence artificielle ne doivent pas diffuser de contenu incitant au suicide, à l'automutilation ou à la violence verbale, ni recourir à aucune forme de manipulation émotionnelle susceptible de nuire à la santé mentale. Si un utilisateur exprime des intentions suicidaires, le fournisseur de services technologiques doit désigner une personne pour prendre le relais et contacter immédiatement le tuteur ou la personne désignée de l'utilisateur.

De plus, il est interdit aux chatbots d'IA de créer du contenu lié aux jeux d'argent, à la pornographie ou à la violence. Les mineurs ne sont autorisés à utiliser l'IA qu'à des fins de soutien émotionnel, avec le consentement d'un tuteur et dans le respect des limites de temps.

Chatbot IA, frère 1

La Chine renforce sa réglementation sur les chatbots dotés d'intelligence artificielle. Photo : Bloomberg .

Cette proposition a été annoncée peu après que deux importantes startups chinoises spécialisées dans les chatbots d'IA, Z.ai et Minimax, ont déposé des demandes d'introduction en bourse (IPO) à Hong Kong en décembre.

Minimax est connue pour son application Talkie AI et sa version chinoise, Xingye, qui ont généré plus d'un tiers de son chiffre d'affaires au cours des trois premiers trimestres de l'année, avec une moyenne de plus de 20 millions d'utilisateurs actifs mensuels. De son côté, Z.ai (Zhipu) a déclaré que sa technologie était déployée sur environ 80 millions d'appareils, sans toutefois préciser le nombre d'utilisateurs actifs.

Dans un contexte mondial, l'impact de l'IA sur la santé mentale humaine fait l'objet d'une attention croissante, car de nombreux pays et entreprises technologiques commencent à faire face aux risques sociaux posés par cette technologie.