Le chatbot chinois Doubao est critiqué pour la création de deepfakes pornographiques.

(CLO) L'organisation Free Nora vient d'annoncer une enquête montrant que des utilisateurs ont exploité le chatbot chinois Doubao pour créer des images explicites à partir de vraies photos de femmes.

Doubao appartient à ByteDance et est actuellement le chatbot comptant le plus grand nombre d'utilisateurs en Chine, avec 155 millions d'utilisateurs actifs hebdomadaires à la fin du mois de décembre.

Selon l'équipe d'enquête, Doubao est devenu un outil populaire pour la création de vidéos et d'images truquées (deepfakes) car ses mesures de sécurité étaient facilement contournables. Des bénévoles de Free Nora ont infiltré des groupes Telegram anonymes et documenté comment les utilisateurs partageaient leurs expériences pour contourner la censure.

Le chatbot Doubao est accusé de créer des vidéos pornographiques truquées (deepfakes). (Image : Visual China)

Ils utilisent un système de chiffrement appelé « fenjue », un ensemble de commandes conçu pour contourner la sécurité de l'IA. Au lieu de demander directement des informations sensibles, les utilisateurs donnent des instructions telles que changer de vêtements, ajuster leur posture ou utiliser de l'argot et des mots-clés étrangers pour contourner le filtre.

En manipulant plusieurs comptes et en utilisant le mode navigation privée, ils ont perfectionné les commandes jusqu'à ce que le système génère des images compromettantes. Selon l'enquête, la plateforme n'exigeait ni vérification d'identité ni consentement éclairé lors du traitement des images faciales.

Free Nora a découvert un réseau organisé de partage de connaissances fonctionnant au sein de groupes de discussion. Les membres s'entraident pour optimiser le code, recrutent de nouveaux membres pour tester le problème et vendent même du code ou des tutoriels sur des plateformes de commerce électronique.

De nombreuses personnes utilisent des photos de connaissances, d'amis ou de proches pour effectuer des tests. Celles dont les photos sont accessibles au public en ligne, comme les streamers ou les influenceurs, sont souvent ciblées.

Le phénomène des deepfakes pornographiques n'est pas propre à la Chine. ONU Femmes a alerté sur le fait qu'il s'agit d'une nouvelle forme de cyberharcèlement à l'encontre des femmes, 90 à 95 % des deepfakes en ligne étant des contenus pornographiques non consensuels, et la majorité des victimes étant des femmes.

Free Nora a également évoqué la controverse entourant Grok, l'outil d'intelligence artificielle présenté par Elon Musk. Après le lancement de sa fonctionnalité de retouche photo, l'application a essuyé un tollé mondial et a été contrainte de restreindre la création de photos pour la plupart des utilisateurs.

Selon ce groupe, dans la course à la croissance et à la compétitivité technologique, certaines plateformes ont compromis la sécurité des femmes. Ils appellent les entreprises chinoises à renforcer leurs mécanismes de gestion des risques.

Free Nora met en garde contre le fait que la création de deepfakes « gratuitement et sans limites » donne aux acteurs malveillants un contrôle virtuel sur le corps d'autrui, violant ainsi l'autonomie et la dignité des victimes à leur insu.

Source : https://congluan.vn/chatbot-doubao-cua-trung-quoc-bi-chi-trich-vi-tao-deepfake-khieu-dam-10331594.html