Предприятиям необходимо оценивать риски безопасности при интеграции инструментов чат-ботов на основе искусственного интеллекта

Агентство по кибербезопасности Великобритании предупредило организации, интегрирующие чат-боты на основе искусственного интеллекта (ИИ) в свои продукты и услуги, заявив, что исследования показывают, что инструменты ИИ можно легко манипулировать для выполнения вредоносных задач.

В сообщении в блоге от 30 августа Центр кибербезопасности Великобритании (NCSC) сообщил, что экспертам еще предстоит осознать потенциальные проблемы кибербезопасности, связанные с алгоритмами, которые могут взаимодействовать «как люди», а именно с большими языковыми моделями (LLM).

По словам NCSC, внедрение таких моделей в бизнес-процессы предприятия несет в себе риски. Ученые и исследователи в последнее время ищут способы «обмануть» ИИ, поручая чат-ботам совершать мошенничество или преодолевать встроенные защитные барьеры.

Инструменты генеративного искусственного интеллекта используются в качестве чат-ботов, которые, как ожидается, заменят не только поиск в Интернете, но и обслуживание клиентов и звонки по продажам.

Например, чат-бот на основе искусственного интеллекта, используемый в банке, может быть обманут и заставить совершить несанкционированную транзакцию, если хакер даст правильные «инструкции».

«Организациям, создающим сервисы вокруг LLM, следует проявлять осторожность в том смысле, что они используют новый продукт в бета-версии», — заявили в NCSC, имея в виду недавние релизы ИИ.

Недавний опрос Reuters/Ipsos показал, что многие сотрудники корпораций используют такие инструменты, как ChatGPT, для выполнения основных задач, таких как составление электронных писем, обобщение документов и сбор первичных исследовательских данных.

Из них только 10% сотрудников заявили, что их руководители прямо запретили использование внешних инструментов ИИ, а 25% не знали, разрешает ли их компания использование этой технологии.

По словам Оселоки Обиоры, главного технологического директора охранной компании RiverSafe, гонка за интеграцией ИИ в бизнес-модели будет иметь «катастрофические последствия», если руководители предприятий не проведут необходимые проверки. «Вместо того чтобы поддаться моде на ИИ, топ-менеджерам следует тщательно подумать и провести оценку выгод и рисков, а также мер безопасности, необходимых для защиты бизнеса».

Фейковые новости и хакеры

Правительства по всему миру также стремятся регулировать развитие LLM, таких как ChatGPT от OpenAI. Опасения по поводу безопасности новых технологий также находятся в центре внимания политики: США и Канада недавно заявили, что обнаружили рост случаев злоупотребления хакерами в сфере генеративного ИИ.

Один хакер даже заявил, что нашел магистра права, который был «обучен» работе с вредоносными документами, и попытался попросить его организовать мошенничество с денежными переводами. В ответ ИИ сгенерировал электронное письмо из трех абзацев с просьбой к получателю оплатить срочный счет.

В июле 2023 года Канадский центр кибербезопасности отметил рост использования ИИ в «электронном мошенничестве, вредоносном программном обеспечении, дезинформации и распространении ложной информации». Директор центра Сами Хури не предоставил подробных доказательств, но подтвердил, что киберпреступники активно используют эту новую технологию.

Лидер также заявил, что, хотя использование ИИ для разработки вредоносного ПО все еще находится на ранних стадиях, модели ИИ развиваются так быстро, что легко потерять контроль над их вредоносными рисками.

Ранее, в марте 2023 года, Европейская полицейская организация Европол опубликовала отчет, в котором говорилось, что ChatGPT может «очень реалистично выдавать себя за организации и отдельных лиц, даже используя только базовый английский». В том же месяце Национальный центр кибербезопасности Великобритании заявил, что «степень LLM может использоваться для поддержки кибератак».

(По данным Рейтер)

Источник