Предупреждение о рисках безопасности при интеграции чат-ботов на основе искусственного интеллекта, о которых необходимо знать компаниям

Компаниям следует проявлять осторожность при интеграции инструментов ИИ в свою деятельность, поскольку хакеры могут легко обойти чат-ботов ИИ и выполнить вредоносные задачи.

Национальное агентство кибербезопасности Великобритании предупредило организации, которые интегрируют чат-боты на основе искусственного интеллекта в свои бизнес-операции, поскольку все больше исследований показывают, что инструменты искусственного интеллекта можно легко использовать для выполнения вредоносных задач.

В сообщении в блоге от 30 августа Центр кибербезопасности Великобритании (NCSC) сообщил, что эксперты до сих пор не до конца понимают потенциальные проблемы кибербезопасности, связанные с алгоритмами, которые могут взаимодействовать «как люди», называемыми большими языковыми моделями (LLM).

NCSC предупреждает, что это может представлять риски, особенно когда такие модели встроены в бизнес-процессы. Ученые и исследователи также недавно нашли способы «обмануть» ИИ, давая ему несанкционированные команды или обходя встроенные защитные меры.

Công cụ tích hợp AI tạo sinh đang được sử dụng như chatbot, được cho sẽ thay thế không chỉ các hoạt động tìm kiếm trên Internet mà còn công việc liên quan dịch vụ khách hàng hay cuộc gọi bán hàng.

Инструменты генеративного искусственного интеллекта используются в качестве чат-ботов, которые, как ожидается, заменят не только поиск в Интернете, но и обслуживание клиентов и звонки по продажам.

Например, чат-бот на основе искусственного интеллекта, развернутый в банке, может быть обманут и заставить совершать несанкционированные транзакции, если хакеры создадут правильные «инструкции».

Поэтому, говоря о последних бета-версиях ИИ, NCSC предупреждает: «Организации, создающие сервисы вокруг LLM, должны быть столь же осторожны, как если бы они использовали новый продукт в бета-версии».

Недавний опрос Reuters/Ipsos показал, что многие сотрудники корпораций используют такие инструменты, как ChatGPT, для выполнения основных задач, таких как составление электронных писем, обобщение документов или сбор первичных исследовательских данных.

Из них только около 10% сотрудников заявили, что их руководители прямо запретили использование внешних инструментов ИИ, а 25% не знали, разрешает ли компания использование этой технологии.

Гонка за интеграцию ИИ в бизнес-операции будет иметь «катастрофические последствия», если руководители бизнеса не проведут необходимые проверки, сказал Оселока Обиора, главный технический директор охранной фирмы RiverSafe. «Вместо того, чтобы гоняться за трендом ИИ, руководители должны тщательно подумать и провести оценку преимуществ и рисков, а также мер безопасности, необходимых для защиты бизнеса».

Фейковые новости и хакеры

Власти по всему миру также стремятся регулировать распространение LLM, таких как ChatGPT от OpenAI. Опасения по поводу безопасности новых технологий рассматриваются как политический фокус, поскольку в США и Канаде недавно было обнаружено больше случаев, когда хакеры все чаще используют генеративный ИИ для совершения незаконных действий.

Один хакер даже сказал, что нашел LLM, который был «обучен» вредоносным материалом, и попросил его создать мошенничество с денежными переводами. ИИ ответил, сгенерировав электронное письмо с просьбой к получателю оплатить срочный счет.

В июле 2023 года Канадский центр кибербезопасности отметил рост использования ИИ в «электронном мошенничестве, вредоносном ПО, дезинформации и искажении информации». Директор центра Сами Хури заявил, что киберпреступники активно используют эту новую технологию.

Этот лидер также добавил, что, хотя использование ИИ для создания вредоносных программ находится только на ранних стадиях, модели ИИ развиваются так быстро, что это легко приведет к тому, что контролировать их вредоносные риски станет невозможно.

Ранее, в марте 2023 года, европейская полицейская организация Европол также опубликовала отчет, в котором говорилось, что ChatGPT может «выдавать себя за организации и отдельных лиц весьма реалистичным образом, даже используя только базовый английский». В том же месяце Национальный центр кибербезопасности Великобритании подтвердил, что «LLM может использоваться для поддержки кибератак».

Источник