Avertissement sur les risques de sécurité liés à l'intégration de chatbots IA que les entreprises doivent connaître

Les entreprises doivent être prudentes lorsqu’elles intègrent des outils d’IA dans leurs opérations, car les pirates peuvent facilement contourner les chatbots d’IA et effectuer des tâches malveillantes.

L'Agence nationale de cybersécurité du Royaume-Uni a mis en garde les organisations qui intègrent des chatbots IA dans leurs opérations commerciales, des recherches croissantes montrant que les outils d'IA peuvent être facilement manipulés pour effectuer des tâches malveillantes.

Dans un article de blog publié le 30 août, le Centre de cybersécurité du Royaume-Uni (NCSC) a déclaré que les experts ne comprennent toujours pas pleinement les problèmes potentiels de cybersécurité associés aux algorithmes qui peuvent interagir « comme des humains », appelés grands modèles de langage (LLM).

Le NCSC prévient que cela peut présenter des risques, notamment lorsque de tels modèles sont intégrés aux processus métier. Des universitaires et des chercheurs ont également récemment trouvé des moyens de « tromper » l'IA, en lui donnant des commandes malveillantes ou en contournant les protections intégrées.

Công cụ tích hợp AI tạo sinh đang được sử dụng như chatbot, được cho sẽ thay thế không chỉ các hoạt động tìm kiếm trên Internet mà còn công việc liên quan dịch vụ khách hàng hay cuộc gọi bán hàng.

Les outils d’IA générative sont utilisés comme chatbots, qui devraient remplacer non seulement les recherches sur Internet, mais également le service client et les appels de vente.

Par exemple, un chatbot IA déployé dans une banque pourrait être amené à effectuer des transactions non autorisées si des pirates informatiques établissaient les bonnes « instructions ».

Ainsi, en faisant référence aux récentes versions bêta de l’IA, le NCSC avertit que « les organisations qui créent des services autour des LLM doivent être aussi prudentes que si elles utilisaient un nouveau produit en version bêta ».

Une récente enquête Reuters/Ipsos a révélé que de nombreux employés d’entreprise utilisent des outils comme ChatGPT pour effectuer des tâches de base comme la rédaction d’e-mails, la synthèse de documents ou la collecte de données de recherche initiales.

Parmi eux, seulement 10 % environ des employés ont déclaré que leurs supérieurs interdisaient explicitement l’utilisation d’outils d’IA externes, et 25 % ne savaient pas si l’entreprise autorisait l’utilisation de cette technologie.

La course à l'intégration de l'IA dans les opérations commerciales aura des « conséquences catastrophiques » si les dirigeants n'effectuent pas les vérifications nécessaires, a déclaré Oseloka Obiora, directeur technique de l'entreprise de sécurité RiverSafe. « Au lieu de suivre la tendance de l'IA, les dirigeants devraient réfléchir attentivement et évaluer les avantages et les risques, ainsi que les mesures de sécurité nécessaires pour protéger l'entreprise. »

Fausses nouvelles et pirates informatiques

Les autorités du monde entier cherchent également à réguler la prolifération des LLM, comme ChatGPT d'OpenAI. Les préoccupations concernant la sécurité des nouvelles technologies sont considérées comme une priorité politique, les États-Unis et le Canada ayant récemment découvert de nouveaux cas de pirates informatiques utilisant de plus en plus l'IA générative pour commettre des actes illégaux.

Un pirate informatique a même déclaré avoir trouvé un LLM « formé » avec du matériel malveillant et lui avoir demandé de créer une arnaque au transfert d'argent. L'IA a réagi en générant un e-mail demandant au destinataire de régler une facture urgente.

En juillet 2023, le Centre canadien de cybersécurité a observé une augmentation de l'utilisation de l'IA dans les domaines de la fraude par courriel, des logiciels malveillants, de la désinformation et des fausses déclarations. Le directeur du centre, Sami Khoury, a affirmé que les cybercriminels exploitent activement cette nouvelle technologie.

Ce dirigeant a également ajouté que même si l’utilisation de l’IA pour composer des logiciels malveillants n’en est qu’à ses débuts, les modèles d’IA se développent si rapidement qu’ils conduiront facilement au point où il sera impossible de contrôler leurs risques malveillants.

En mars 2023, l'organisation policière européenne Europol avait également publié un rapport indiquant que ChatGPT pouvait « usurper l'identité d'organisations et d'individus de manière très réaliste, même en utilisant un anglais basique ». Le même mois, le Centre national de cybersécurité du Royaume-Uni affirmait que « LLM pouvait être utilisé pour soutenir des cyberattaques ».

Source