Хакеры используют ИИ для атаки на Google Gemini

По данным BGR , в новом исследовательском отчете была опубликована тревожная технология под названием «Fun-Tuning», которая использует сам ИИ (искусственный интеллект) для автоматического создания крайне эффективных атак с мгновенными инъекциями, нацеленных на другие продвинутые модели ИИ, включая Gemini от Google.

Этот метод делает «взлом» ИИ быстрее, дешевле и проще, чем когда-либо, что знаменует собой новую эскалацию войны за кибербезопасность, связанной с ИИ.

Опасность, когда злодеи используют ИИ, чтобы взломать ИИ

Метод «быстрого внедрения» (Prompt Injection) — это метод, при котором злоумышленник внедряет вредоносные инструкции во входные данные модели искусственного интеллекта (например, через комментарии в исходном коде, скрытый текст в интернете). Цель — «обмануть» искусственный интеллект, заставив его обойти заранее запрограммированные правила безопасности, что приводит к серьёзным последствиям, таким как утечка конфиденциальных данных, предоставление ложной информации или выполнение других опасных действий.

Хакеры используют ИИ для атак на ИИ

ФОТО: СКРИНШОТ LINKEDIN

Раньше для успешного проведения таких атак, особенно на «закрытых» моделях, таких как Gemini или GPT-4, часто требовалось много сложного и трудоемкого ручного тестирования.

Но Fun-Tuning полностью изменил правила игры. Метод, разработанный группой исследователей из нескольких университетов, умело использует возможности API для тонкой настройки, который Google предоставляет бесплатно пользователям Gemini.

Анализируя тонкие реакции модели Gemini во время настройки (например, её реакцию на ошибки в данных), Fun-Tuning может автоматически определять наиболее эффективные «префиксы» и «суффиксы» для маскировки вредоносной команды. Это значительно повышает вероятность того, что ИИ выполнит злонамеренные намерения злоумышленника.

Результаты испытаний показывают, что на некоторых версиях Gemini метод Fun-Tuning обеспечивает успешность до 82%, что превышает показатель традиционных методов атаки, составляющий менее 30%.

Что делает Fun-Tuning ещё более опасным, так это его низкая стоимость. Поскольку API настройки Google находится в свободном доступе, вычислительная стоимость создания эффективной атаки может составлять всего 10 долларов. Более того, исследователи обнаружили, что атака, разработанная для одной версии Gemini, может быть легко успешно применена и к другим версиям, что открывает возможность для широкомасштабных атак.

Компания Google подтвердила, что осознаёт угрозу, исходящую от Fun-Tuning, но пока не прокомментировала, изменит ли она работу API настройки. Команда также указывает на дилемму, связанную с обороной: удаление информации, которую использует Fun-Tuning, из процесса настройки сделает API менее полезным для добросовестных разработчиков. И наоборот, если оставить всё как есть, это по-прежнему будет плацдармом для злоумышленников.

Появление Fun-Tuning — явный сигнал о том, что противостояние в киберпространстве перешло в новую, более сложную фазу. ИИ теперь не только цель, но и инструмент, и оружие в руках злоумышленников.

Источник: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm