Хакеры используют ИИ для атаки на Google Gemini

По данным BGR , в новом исследовательском отчете была опубликована тревожная технология под названием «Fun-Tuning», при которой сам ИИ (искусственный интеллект) используется для автоматического создания крайне эффективных атак с мгновенными инъекциями, нацеленных на другие продвинутые модели ИИ, включая Gemini от Google.

Этот метод делает «взлом» ИИ быстрее, дешевле и проще, чем когда-либо, что знаменует собой новый виток обострения в битве за кибербезопасность с участием ИИ.

Опасность, когда злодеи используют ИИ, чтобы взломать ИИ

Метод «быстрого внедрения» (Prompt Injection) — это метод, при котором злоумышленник внедряет вредоносные инструкции во входные данные модели искусственного интеллекта (например, через комментарии в исходном коде, скрытый текст в интернете). Цель — «обмануть» ИИ, заставив его обойти заранее запрограммированные правила безопасности, что может привести к серьёзным последствиям, таким как утечка конфиденциальных данных, предоставление ложной информации или выполнение других вредоносных действий.

Хакеры используют ИИ для атак на ИИ

ФОТО: СКРИНШОТ LINKEDIN

Раньше для успешного проведения таких атак, особенно на «закрытых» моделях, таких как Gemini или GPT-4, часто требовалось много сложного и трудоемкого ручного тестирования.

Но Fun-Tuning полностью изменил правила игры. Разработанный группой исследователей из нескольких университетов, этот метод умело использует тот самый интерфейс программирования приложений (API) для настройки, который Google предоставляет бесплатно пользователям Gemini.

Анализируя тонкие реакции модели Gemini во время настройки (например, её реакцию на ошибки в данных), Fun-Tuning может автоматически определять наиболее эффективные «префиксы» и «суффиксы» для сокрытия вредоносной команды. Это значительно повышает вероятность того, что ИИ выполнит злонамеренные намерения злоумышленника.

Результаты испытаний показывают, что на некоторых версиях Gemini метод Fun-Tuning обеспечивает успешность до 82%, что превышает показатель традиционных методов атаки, составляющий менее 30%.

Опасность «фан-тюнинга» усугубляется его низкой стоимостью. Поскольку API настройки Google находится в свободном доступе, вычислительные затраты на создание эффективной атаки могут составлять всего 10 долларов. Более того, исследователи обнаружили, что атака, разработанная для одной версии Gemini, может быть легко успешно применена и к другим версиям, что открывает возможность для широкомасштабных атак.

Компания Google подтвердила, что осознаёт угрозу, исходящую от Fun-Tuning, но пока не прокомментировала, изменит ли она работу API настройки. Исследователи также указывают на дилемму, связанную с обороной: удаление информации, которую использует Fun-Tuning, из процесса настройки сделает API менее полезным для добросовестных разработчиков. И наоборот, если оставить всё как есть, это по-прежнему будет плацдармом для злоумышленников.

Появление Fun-Tuning — явный сигнал о том, что противостояние в киберпространстве перешло в новую, более сложную фазу. ИИ теперь не только цель, но и инструмент, и оружие в руках злоумышленников.

Источник: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm