Хакеры использовали искусственный интеллект для атаки на платформу Google Gemini.

Согласно BGR , в новом исследовательском отчете была раскрыта тревожная методика под названием «Fun-Tuning», которая использует ИИ (искусственный интеллект) для автоматической генерации высокоэффективных атак с внедрением импульсов, нацеленных на другие продвинутые модели ИИ, включая Gemini от Google.

Этот метод делает «взлом» ИИ быстрее, дешевле и проще, чем когда-либо прежде, что знаменует собой новый виток в борьбе за кибербезопасность с использованием ИИ.

Опасность того, что злоумышленники могут использовать ИИ для взлома ИИ.

Внедрение вредоносных инструкций — это метод, при котором злоумышленники незаметно вводят вредоносные инструкции во входные данные модели ИИ (например, через комментарии в исходном коде, скрытый текст в интернете). Цель состоит в том, чтобы «обмануть» ИИ, заставив его игнорировать заранее запрограммированные правила безопасности, что приводит к серьезным последствиям, таким как утечка конфиденциальных данных, предоставление дезинформации или совершение других опасных действий.

Хакеры используют ИИ для атак на ИИ.

ФОТО: СКРИНШОТ ИЗ LINKEDIN

Ранее для успешного проведения подобных атак, особенно на «закрытых» моделях, таких как Gemini или GPT-4, часто требовалось большое количество сложного и трудоемкого ручного тестирования.

Но Fun-Tuning полностью изменил ситуацию. Этот метод, разработанный командой исследователей из нескольких университетов, умело использует усовершенствованный интерфейс прикладного программирования (API), который Google предоставляет бесплатно пользователям Gemini.

Анализируя тонкие реакции модели Gemini в процессе настройки (например, как она реагирует на ошибки в данных), Fun-Tuning может автоматически определять наиболее эффективные «префиксы» и «суффиксы» для маскировки вредоносного сообщения. Это значительно повышает вероятность того, что ИИ будет следовать злонамеренным намерениям злоумышленника.

Результаты испытаний показывают, что Fun-Tuning достигла показателя успешности до 82% на некоторых версиях Gemini, что значительно превосходит менее чем 30%, достигаемые традиционными методами атаки.

Опасность Fun-Tuning усугубляется его чрезвычайно низкой стоимостью выполнения. Поскольку API для настройки предоставляется бесплатно, вычислительные затраты на создание эффективной атаки могут составлять всего 10 долларов. Кроме того, исследователи обнаружили, что атака, разработанная для одной версии Gemini, может быть легко успешно применена к другим версиям, что создает риск широкомасштабных атак.

Google подтвердил, что ему известно об угрозе, исходящей от техники Fun-Tuning, но пока не прокомментировал, изменит ли компания принцип работы API для настройки. Исследовательская группа также указала на сложность защиты от этого: если информация, используемая в Fun-Tuning, будет удалена из процесса настройки, API станет менее полезным для добросовестных разработчиков. И наоборот, если он останется неизменным, он продолжит служить трамплином для злоумышленников.

Появление Fun-Tuning — это явное предупреждение, указывающее на то, что противостояние в киберпространстве вступило в новую, более сложную фазу. Искусственный интеллект теперь является не только мишенью, но и инструментом и оружием в руках злоумышленников.

Источник: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm