Компаниям необходимо оценивать риски безопасности при интеграции инструментов ИИ-чатботов.

Агентство по кибербезопасности Великобритании предупредило организации, интегрирующие чат-боты на основе искусственного интеллекта (ИИ) в свои продукты и услуги, заявив, что исследования показывают, что инструменты ИИ можно легко манипулировать для выполнения вредоносных задач.

В сообщении в блоге от 30 августа Центр кибербезопасности Великобритании (NCSC) заявил, что экспертам еще предстоит осознать потенциальные проблемы кибербезопасности, связанные с алгоритмами, которые могут взаимодействовать «как люди», а именно с большими языковыми моделями (LLM).

По словам NCSC, это создает риски при внедрении таких моделей в бизнес-процессы, поскольку ученые и исследователи постоянно ищут способы «обмануть» ИИ, заставляя чат-ботов совершать мошенничество или обходить встроенные защитные механизмы.

Инструменты генеративного искусственного интеллекта используются в качестве чат-ботов, которые, как ожидается, заменят не только интернет-поиск, но и звонки в службу поддержки клиентов и отдел продаж.

Например, чат-бот на основе искусственного интеллекта, используемый в банке, может быть обманут и заставить совершить несанкционированную транзакцию, если хакер даст правильные «инструкции».

«Организациям, разрабатывающим сервисы на основе программ магистратуры права, следует проявлять осторожность, поскольку они используют новый продукт в стадии бета-тестирования», — заявили в NCSC, имея в виду недавние выпуски ИИ.

Недавний опрос Reuters/Ipsos показал, что многие сотрудники компаний используют такие инструменты, как ChatGPT, для выполнения основных задач, таких как составление электронных писем, обобщение документов и сбор первичных исследовательских данных.

Из них только 10% сотрудников заявили, что их начальство прямо запретило использование внешних инструментов ИИ, а 25% не знали, разрешает ли их компания использование этой технологии.

По словам Оселоки Обиоры, технологического директора охранной компании RiverSafe, спешка с интеграцией ИИ в бизнес-модели приведёт к «катастрофическим последствиям», если руководители компаний не проведут необходимую проверку. «Вместо того, чтобы бросаться в объятия ИИ, руководителям высшего звена следует тщательно продумать и провести оценку рисков и выгод, а также определить меры безопасности, необходимые для защиты бизнеса».

Фейковые новости и хакеры

Правительства по всему миру также стремятся контролировать рост числа программ магистратуры (LLM), таких как ChatGPT от OpenAI. Проблемы безопасности, связанные с новой технологией, также находятся в центре внимания политиков: США и Канада недавно заявили, что хакеры всё чаще используют генеративный ИИ.

Один хакер даже заявил, что нашёл магистра права, «обученного» вредоносным материалом, и поручил ему организовать мошенничество с денежными переводами. В ответ ИИ сгенерировал электронное письмо из трёх абзацев с просьбой к получателю срочно оплатить счёт.

В июле 2023 года Канадский центр кибербезопасности отметил рост использования ИИ для «электронного мошенничества, распространения вредоносных программ, дезинформации и дезинформации». Директор центра Сами Хури не предоставил конкретных доказательств, но заявил, что киберпреступники активно используют эту новую технологию.

Лидер также заявил, что, хотя использование ИИ для разработки вредоносных программ все еще находится на ранней стадии, модели ИИ развиваются так быстро, что легко потерять контроль над их вредоносными рисками.

Ранее, в марте 2023 года, европейская полицейская организация Европол опубликовала отчёт, в котором говорилось, что ChatGPT может «очень реалистично выдавать себя за организации и отдельных лиц, даже используя лишь базовый английский». В том же месяце Национальный центр кибербезопасности Великобритании заявил, что «степень магистра права может использоваться для поддержки кибератак».

(По данным Reuters)

Источник