La journaliste du WSJ Joanna Stern a essayé d'utiliser l'IA pour créer une fausse version d'elle-même qui a trompé à la fois sa famille et le système bancaire.
L'utilisation de l'intelligence artificielle pour insérer des visages ou de fausses voix dans des vidéos , communément appelées deepfakes, devient de plus en plus courante et dangereuse. C'est un réel danger sur Internet.
Outre les vidéos sensibles, les deepfakes peuvent également causer de graves dommages s'ils sont utilisés à des fins politiques . La vidéo du visage morphing de l'ancien président américain Barack Obama, devenue virale en 2018, a montré que des personnalités politiques de premier plan peuvent également en être victimes.
 |
Le deepfake porno devient un problème mondial. Photo : Wired. |
Pour tester l'efficacité de l'IA, la journaliste du WSJ Joanna Stern a utilisé Synthesia, un outil de deepfake, pour créer une version simulée d'elle-même. Résultat : le clone a trompé sa famille et le système bancaire.
Copie parfaite
Racontant son parcours pour se cloner, Stern a déclaré qu'elle avait passé des mois à expérimenter avec Synthesia et à former l'IA à partir de ses vidéos et fichiers audio originaux.
L'utilisation de cet outil est également très simple lorsque les utilisateurs ont simplement besoin de saisir du texte et recevront une nouvelle vidéo avec leur voix parlant de ce contenu.
« En raison de la nature de mon travail, qui nécessite beaucoup de travail avec les dialogues et à l'écran, j'ai pensé que l'IA pourrait m'aider à être plus efficace et à alléger une partie du travail », a déclaré Stern.
 |
Joanna Stern enregistre sa voix pour entraîner l'IA de Synthesia. Photo : WSJ. |
Pour entraîner l'outil, une journaliste du WSJ s'est rendue dans un studio d'enregistrement et a passé environ 30 minutes à se filmer et deux heures à enregistrer sa voix. En quelques semaines, la version virtuelle de Stern, qu'elle a baptisée Joanna AI, était prête à fonctionner.
Stern a profité de son jour de congé pour mettre Joanna AI au travail. Pour sa première mission, le journaliste du WSJ a utilisé ChatGPT pour écrire le script d'une vidéo TikTok présentant des astuces iOS.
Stern a ensuite collé le texte dans Synthesia. Après l'initialisation, sa voix a résonné dans la vidéo. « C'était comme se regarder dans un miroir, même si les gestes et les expressions du visage étaient légèrement différents. C'était très convaincant », a commenté la journaliste.
Stern a déclaré que Joanna AI avait des capacités de mimétisme impressionnantes pour les phrases courtes, mais ses faiblesses deviennent apparentes à mesure que les phrases s'allongent.
C'est aussi pourquoi les plateformes de vidéos courtes constituent les environnements les plus adaptés à l'IA, a déclaré Stern. Selon elle, les utilisateurs accordent souvent moins d'attention aux détails des vidéos TikTok, ce qui fait qu'il est facile de passer à côté de fonctionnalités similaires à celles d'un ordinateur.
Pour les appels téléphoniques, Stern utilise une autre application d'IA, ElevenLabs, au lieu de Synthesia. Ce logiciel vocal d'IA offre l'avantage de permettre aux utilisateurs de télécharger simplement leurs fichiers audio sur l'outil sans avoir à se déplacer en studio d'enregistrement.
 |
Stern a déclaré que Joanna AI avait des capacités d'imitation impressionnantes pour les phrases courtes. Photo : WSJ. |
La journaliste du WSJ a été surprise de constater qu'ElevenLabs avait réussi à cloner sa voix en seulement deux minutes. L'application coûte environ 5 $ par mois.
Comparé à Synthesia, Stern a commenté que sa voix clonée sur ElevenLabs semblait plus humaine, avec une bonne intonation et une bonne prononciation.
Pour tester sa crédibilité, le journaliste a essayé d'utiliser la voix pour parler à un proche. La sœur de Stern a déclaré que la voix de l'IA lui ressemblait beaucoup, sauf qu'elle ne s'arrêtait pas pour reprendre son souffle.
Pendant ce temps, lorsque Stern a utilisé la voix de l'IA pour appeler son père pour lui demander son numéro de sécurité sociale, il a immédiatement réalisé que quelque chose n'allait pas car cela ressemblait à un fichier audio enregistré.
Tromper la banque
Plus particulièrement, l’IA était si efficace qu’elle a trompé le système biométrique vocal de la carte de crédit Chase de Stern.
Le journaliste du WSJ a d'abord posé à Joanna AI quelques questions que Chase allait lui poser. Elle a ensuite appelé le service client et a laissé l'IA répondre.
 |
L'IA était si efficace qu'elle a trompé le système biométrique vocal de la carte de crédit Chase de Stern. Photo : WSJ. |
À l'étape biométrique, lorsque le système automatisé lui a demandé son nom et son adresse, Joanna AI a répondu officiellement. Dès qu'elle a entendu la voix de l'IA, le système de Chase l'a immédiatement reconnue comme étant celle de Stern et l'a mise en relation avec un conseiller bancaire.
Après le test réussi, Stern a contacté Chase directement pour dire qu'il n'avait aucun lien avec la banque.
Un porte-parole de Chase a déclaré plus tard que la banque utilise la biométrie vocale, ainsi que d'autres outils, pour vérifier les appelants.
Chase a ajouté que cette fonctionnalité est destinée à aider les clients à s'identifier rapidement et en toute sécurité, mais que les clients devront fournir des informations supplémentaires pour effectuer des transactions et d'autres demandes financières.
Le plus inquiétant, cependant, c'est que des applications comme ElevenLabs ont réussi à reproduire de très bonnes copies sans trop de difficultés. Les utilisateurs acceptent simplement une politique de responsabilité et peuvent télécharger des fichiers audio et en faire leurs propres copies.
Suite aux tests du WSJ , ElevenLabs a annoncé qu'elle bloquerait les comptes qui semblent créer du contenu frauduleux ou illégal. La startup travaille également sur un outil d'étiquetage par l'IA pour les vidéos créées sur sa plateforme.
Synthesia, quant à elle, exige que les utilisateurs consentent verbalement aux fichiers audio et vidéo, c'est pourquoi Stern a dû se rendre en studio pour filmer et enregistrer en direct avec la société.
 |
L'utilisation de Synthesia est simple : lorsqu'un utilisateur saisit du texte, il reçoit une nouvelle vidéo avec sa voix exprimant ce contenu. Photo : WSJ. |
Selon Siobhan Johnson, porte-parole du Federal Bureau of Investigation (FBI), en moyenne, les familles aux États-Unis ont perdu environ 11 000 dollars pour chaque appel frauduleux.
En 2022, les données de la Federal Trade Commission (FTC) des États-Unis ont montré que les Américains ont perdu un total de 2,6 milliards de dollars à cause d'appels frauduleux.
Le développement de programmes d’IA bon marché et accessibles a permis aux escrocs de cloner librement des voix et de créer des conversations qui ressemblent exactement à l’original.
« Cette menace n'est pas seulement hypothétique. Nous voyons des fraudeurs utiliser ces outils comme des armes. Ils peuvent créer un clone vocal relativement fiable avec moins d'une minute d'audio. Pour certains, même quelques secondes suffisent », a déclaré Hany Farid, professeur d' informatique à l'Université de Californie à Berkeley.
Lien source
Comment (0)