Las empresas necesitan evaluar los riesgos de seguridad al integrar herramientas de chatbot de IA

[anuncio_1]

La Agencia de Seguridad Cibernética del Reino Unido advirtió a las organizaciones que están integrando chatbots de inteligencia artificial (IA) en sus productos y servicios, diciendo que la investigación muestra que las herramientas de IA pueden manipularse fácilmente para realizar tareas maliciosas.

En una publicación de blog del 30 de agosto, el Centro de Seguridad Cibernética del Reino Unido (NCSC) dijo que los expertos aún tienen que comprender los posibles problemas de ciberseguridad asociados con los algoritmos que pueden interactuar "como los humanos", es decir, los modelos de lenguaje grande (LLM).

Esto conlleva riesgos, dijo el NCSC, cuando dichos modelos se introducen en los procesos de negocios de una empresa. Recientemente, académicos e investigadores han encontrado formas de “engañar” a la IA, ordenándoles a los chatbots que cometan fraude o rompan las barreras de protección integradas.

Las herramientas de IA generativa se están utilizando como chatbots, que se espera que reemplacen no solo las búsquedas en Internet, sino también el servicio de atención al cliente y las llamadas de ventas.

Por ejemplo, un chatbot de IA utilizado en un banco podría ser engañado para realizar una transacción no autorizada si el pirata informático da las “instrucciones” correctas.

“Las organizaciones que crean servicios en torno a LLM deben ser cautelosas en el sentido de que están utilizando un nuevo producto en versión beta”, dijo el NCSC, refiriéndose a los recientes lanzamientos de IA.

Una encuesta reciente de Reuters/Ipsos descubrió que muchos empleados corporativos utilizan herramientas como ChatGPT para realizar tareas básicas como redactar correos electrónicos, resumir documentos y recopilar datos de investigación iniciales.

De estos, solo el 10% de los empleados dijo que sus superiores prohibían explícitamente el uso de herramientas de IA externas y el 25% no sabía si su empresa permitía el uso de esta tecnología.

La carrera para integrar la IA en los modelos de negocios tendrá “consecuencias catastróficas” si los líderes empresariales no realizan los controles necesarios, afirmó Oseloka Obiora, director de tecnología de la empresa de seguridad RiverSafe. “En lugar de subirse al carro de la IA, los altos ejecutivos deberían reflexionar detenidamente y realizar una evaluación de beneficios y riesgos, así como de las medidas de seguridad necesarias para proteger el negocio”.

Noticias falsas y hackers

En todo el mundo , los gobiernos también están buscando regular el auge de los LLM como ChatGPT de OpenAI. Las preocupaciones sobre la seguridad de las nuevas tecnologías también son un foco de atención de las políticas; Estados Unidos y Canadá afirmaron recientemente que han detectado un mayor abuso de la IA generativa por parte de piratas informáticos.

Un hacker incluso dijo que encontró un LLM que había sido “entrenado” con documentos maliciosos e intentó pedirle que construyera una estafa de transferencia de dinero. En respuesta, la IA generó un correo electrónico de tres párrafos solicitando al destinatario que pagara una factura urgente.

En julio de 2023, el Centro Canadiense de Seguridad Cibernética observó un aumento en el uso de IA en “fraude por correo electrónico, malware, información errónea y desinformación”. Sami Khoury, director del centro, no proporcionó pruebas detalladas, pero afirmó que los ciberdelincuentes están explotando activamente esta tecnología emergente.

El líder también dijo que si bien el uso de IA para crear malware aún se encuentra en sus primeras etapas, los modelos de IA se están desarrollando tan rápido que es fácil perder el control de sus riesgos maliciosos.

Anteriormente, en marzo de 2023, la Organización Europea de Policía Europol publicó un informe en el que decía que ChatGPT podía "hacerse pasar por organizaciones e individuos de una manera muy realista incluso utilizando solo un inglés básico". Ese mismo mes, el Centro Nacional de Seguridad Cibernética del Reino Unido dijo que “LLM podría usarse para apoyar ciberataques”.

(Según Reuters)

[anuncio_2]
Fuente