Les entreprises doivent évaluer les risques de sécurité lors de l'intégration d'outils de chatbot IA

L'Agence britannique de cybersécurité a mis en garde les organisations qui intègrent des chatbots d'intelligence artificielle (IA) dans leurs produits et services, affirmant que les recherches montrent que les outils d'IA peuvent facilement être manipulés pour effectuer des tâches malveillantes.

Dans un article de blog publié le 30 août, le Centre de cybersécurité du Royaume-Uni (NCSC) a déclaré que les experts n’ont pas encore saisi les problèmes potentiels de cybersécurité associés aux algorithmes qui peuvent interagir « comme des humains », à savoir les grands modèles de langage (LLM).

Cela présente des risques lorsque de tels modèles sont intégrés dans les processus commerciaux, a déclaré le NCSC, les universitaires et les chercheurs trouvant constamment des moyens de « tromper » l’IA, en demandant aux chatbots de commettre des fraudes ou de contourner les mesures de protection intégrées.

Les outils d’IA générative sont utilisés comme chatbots, qui devraient remplacer non seulement les recherches sur Internet, mais également le service client et les appels de vente.

Par exemple, un chatbot IA utilisé dans une banque pourrait être amené à effectuer une transaction non autorisée si le pirate informatique donne les bonnes « instructions ».

« Les organisations qui créent des services autour des LLM doivent être prudentes dans le sens où elles utilisent un nouveau produit en version bêta », a déclaré le NCSC, faisant référence aux récentes versions de l'IA.

Un récent sondage Reuters/Ipsos a révélé que de nombreux employés d’entreprise utilisent des outils comme ChatGPT pour effectuer des tâches de base comme la rédaction d’e-mails, la synthèse de documents et la collecte de données de recherche initiales.

Parmi eux, seulement 10 % des employés ont déclaré que leurs supérieurs interdisaient explicitement l’utilisation d’outils d’IA externes, et 25 % ne savaient pas si leur entreprise autorisait l’utilisation de cette technologie.

L'intégration précipitée de l'IA dans les modèles économiques aura des « conséquences catastrophiques » si les dirigeants n'effectuent pas les vérifications nécessaires, a déclaré Oseloka Obiora, directeur technique de l'entreprise de sécurité RiverSafe. « Au lieu de se lancer dans l'IA, les cadres dirigeants devraient réfléchir attentivement et procéder à une évaluation des risques et des avantages, ainsi qu'à la définition des mesures de sécurité nécessaires à la protection de l'entreprise. »

Fausses nouvelles et pirates informatiques

Partout dans le monde , les gouvernements cherchent également à gérer l'essor des LLM comme ChatGPT d'OpenAI. Les préoccupations en matière de sécurité liées à cette nouvelle technologie constituent également une priorité politique, les États-Unis et le Canada ayant récemment déclaré avoir constaté une exploitation croissante de l'IA générative par des pirates informatiques.

Un pirate informatique a même déclaré avoir trouvé un LLM « formé » avec du matériel malveillant et lui avoir demandé de créer une arnaque au virement bancaire. En réponse, l'IA a généré un e-mail de trois paragraphes demandant au destinataire de régler une facture urgente.

En juillet 2023, le Centre canadien pour la cybersécurité a constaté une utilisation accrue de l’IA dans la fraude par courriel, les logiciels malveillants, la mésinformation et la désinformation. Sami Khoury, directeur du centre, n’a pas fourni de preuves précises, mais a affirmé que les cybercriminels exploitent activement cette technologie émergente.

Le dirigeant a également déclaré que même si l’utilisation de l’IA pour élaborer des logiciels malveillants en est encore à ses débuts, les modèles d’IA se développent si rapidement qu’il est facile de perdre le contrôle de leurs risques malveillants.

En mars 2023, l'organisation policière européenne Europol avait publié un rapport indiquant que ChatGPT pouvait « usurper l'identité d'organisations et d'individus de manière très réaliste, même en utilisant un anglais basique ». Le même mois, le Centre national de cybersécurité du Royaume-Uni affirmait que « LLM pourrait être utilisé pour soutenir des cyberattaques ».

(Selon Reuters)

Source