Les entreprises doivent évaluer les risques de sécurité lors de l'intégration d'outils de chatbot IA

L'Agence britannique de cybersécurité a mis en garde les organisations qui intègrent des chatbots d'intelligence artificielle (IA) dans leurs produits et services, affirmant que les recherches montrent que les outils d'IA peuvent facilement être manipulés pour effectuer des tâches malveillantes.

Dans un article de blog publié le 30 août, le Centre de cybersécurité du Royaume-Uni (NCSC) a déclaré que les experts n'avaient pas encore saisi les problèmes potentiels de cybersécurité associés aux algorithmes qui peuvent interagir « comme des humains », à savoir les grands modèles de langage (LLM).

Cela comporte des risques, a déclaré le NCSC, lorsque de tels modèles sont introduits dans les processus commerciaux d'une entreprise. Les universitaires et les chercheurs ont récemment trouvé des moyens de « tromper » l’IA, en demandant aux chatbots de commettre des fraudes ou de franchir les barrières de protection intégrées.

Les outils d’IA générative sont utilisés comme chatbots, qui devraient remplacer non seulement les recherches sur Internet, mais également le service client et les appels de vente.

Par exemple, un chatbot IA utilisé dans une banque pourrait être amené à effectuer une transaction non autorisée si le pirate informatique donne les bonnes « instructions ».

« Les organisations qui créent des services autour des LLM doivent être prudentes dans le sens où elles utilisent un nouveau produit en version bêta », a déclaré le NCSC, faisant référence aux récentes versions de l'IA.

Un récent sondage Reuters/Ipsos a révélé que de nombreux employés d’entreprise utilisent des outils comme ChatGPT pour effectuer des tâches de base comme la rédaction d’e-mails, la synthèse de documents et la collecte de données de recherche initiales.

Parmi eux, seulement 10 % des employés ont déclaré que leurs supérieurs interdisaient explicitement l’utilisation d’outils d’IA externes, et 25 % ne savaient pas si leur entreprise autorisait l’utilisation de cette technologie.

La course à l’intégration de l’IA dans les modèles commerciaux aura des « conséquences catastrophiques » si les dirigeants d’entreprise ne parviennent pas à effectuer les contrôles nécessaires, a déclaré Oseloka Obiora, directeur technique de la société de sécurité RiverSafe. « Au lieu de se lancer dans l’IA, les cadres supérieurs devraient réfléchir attentivement et procéder à une évaluation des avantages et des risques, ainsi qu’aux mesures de sécurité nécessaires pour protéger l’entreprise. »

Fausses nouvelles et pirates informatiques

Partout dans le monde , les gouvernements cherchent également à réguler l’essor des LLM comme ChatGPT d’OpenAI. Les préoccupations concernant la sécurité des nouvelles technologies sont également au centre des préoccupations politiques, les États-Unis et le Canada ayant récemment déclaré avoir détecté une augmentation des abus de l’IA générative par les pirates informatiques.

Un pirate informatique a même déclaré avoir trouvé un LLM qui avait été « formé » avec des documents malveillants et avoir essayé de lui demander de créer une arnaque au transfert d’argent. En réponse, l’IA a généré un e-mail de trois paragraphes demandant au destinataire de payer une facture urgente.

En juillet 2023, le Centre canadien de cybersécurité a constaté une augmentation de l’utilisation de l’IA dans « la fraude par courrier électronique, les logiciels malveillants, la mésinformation et la désinformation ». Sami Khoury, directeur du centre, n'a pas fourni de preuves détaillées, mais a affirmé que les cybercriminels exploitent activement cette technologie émergente.

Le dirigeant a également déclaré que même si l’utilisation de l’IA pour élaborer des logiciels malveillants en est encore à ses débuts, les modèles d’IA se développent si rapidement qu’il est facile de perdre le contrôle de leurs risques malveillants.

Auparavant, en mars 2023, l'organisation européenne de police Europol avait publié un rapport indiquant que ChatGPT pouvait « se faire passer pour des organisations et des individus de manière très réaliste, même en utilisant uniquement un anglais basique ». Le même mois, le Centre national de cybersécurité du Royaume-Uni a déclaré que « LLM pourrait être utilisé pour soutenir les cyberattaques ».

(Selon Reuters)

Source