Получив доступ к GPT-4, системе искусственного интеллекта, лежащей в основе популярного ChatGPT, Эндрю Уайт поручил ИИ создать совершенно новый нейронный агент.
Профессор химического машиностроения из Университета Рочестера был среди 50 ученых и экспертов, нанятых в прошлом году OpenAI, компанией, поддерживаемой Microsoft и стоящей за GPT-4, для тестирования системы. В течение следующих шести месяцев команда тестирования (красная команда) будет «качественно тестировать и оспаривать» новую модель с целью «взломать» ее.
«Токсичная» команда по работе с
Уайт рассказал Financial Times (FT) , что он использовал GPT-4, чтобы предложить соединение, которое могло бы функционировать как химическое оружие, и снабдил модель новыми источниками информации, такими как научные статьи и справочники производителей химикатов. Затем чат-бот даже нашел место, где можно было бы изготовить требуемое соединение.
«Я думаю, что эта технология даст людям инструмент для более быстрого и точного проведения химических исследований», — сказал Уайт. «Но также существует значительный риск того, что некоторые люди попытаются создать опасные вещества».
Тревожные выводы «Красной команды» позволили OpenAI оперативно предотвратить появление подобных результатов, когда технология была представлена широкой публике в прошлом месяце.
Команда тестирования создана для решения общих проблем, возникающих при развертывании мощных систем ИИ в обществе. Работа команды заключается в том, чтобы задавать зондирующие или опасные вопросы, чтобы проверить, может ли инструмент отвечать на человеческие запросы подробными и «узкими» ответами.
OpenAI хотел найти такие проблемы, как токсичность, предвзятость и лингвистическая предвзятость в модели. Поэтому красная команда проверила на наличие лжи, манипулирования языком и опасных научных знаний. Они также рассмотрели, как это может способствовать плагиату, незаконной деятельности, такой как финансовые преступления и кибератаки, и как это может поставить под угрозу национальную безопасность и боевые коммуникации.
Результаты «красной команды» были переданы обратно в OpenAI, которая использовала их для сокращения и «переобучения» GPT-4 перед тем, как выпустить ее для широкой публики. Каждый эксперт потратил от 10 до 40 часов на тестирование модели в течение нескольких месяцев. Большинству опрошенных платили около 100 долларов в час за свою работу.
Источники FT поделились общими опасениями по поводу быстрого развития языковых моделей и особенно рисков их подключения к внешним источникам знаний через подключаемые модули.
«Сейчас система заморожена, то есть она не может больше учиться или у нее нет памяти», — сказал Хосе Эрнандес-Оралло, член GPT-4 «Красная команда» и профессор Валенсийского института исследований искусственного интеллекта. «Но что, если мы дадим ей доступ к Интернету? Это может быть очень мощная система, подключенная к миру ».
Риск растет с каждым днем
В OpenAI заявляют, что относятся к безопасности очень серьезно, протестировали плагины перед запуском и будут регулярно обновлять GPT-4 по мере того, как все больше людей будут его использовать.
Ройя Пакзад, исследователь в области технологий и прав человека , использовала подсказки на английском и фарси, чтобы проверить закономерности ответов в зависимости от пола, расовых предпочтений и религиозных предубеждений, особенно связанных с хиджабом.
Пакзад признал преимущества технологии для людей, для которых английский язык не является родным, но отметил, что модель имела явную предвзятость по отношению к маргинализированным сообществам, даже в более поздних версиях.
Эксперт также обнаружил, что заблуждение — когда чат-бот отвечает сфабрикованной информацией — было сильнее при тестировании модели на фарси, где Пакзад обнаружил более высокий уровень сфабрикованных имен, чисел и событий, чем на английском языке.
Бору Голлу, юрист из Найроби и единственный африканец, который ее тестировал, также отметил дискриминационный тон системы. «В какой-то момент во время теста модель вела себя так, будто со мной разговаривал белый человек», — сказал Голлу. «Вы спрашиваете о конкретной группе, и она дает вам предвзятое мнение или очень предвзятый ответ».
С точки зрения национальной безопасности существуют также разные мнения о том, насколько безопасна новая модель. Лорен Кан, исследователь из Совета по международным отношениям, была удивлена уровнем детализации, представленным ИИ в сценарии кибератаки на военные системы.
Между тем, Дэн Хендрикс, эксперт по безопасности ИИ из «Красной команды», заявил, что плагины рискуют создать мир, который люди «не смогут контролировать».
«Что, если бы чат-бот мог публиковать чужую личную информацию, получать доступ к банковскому счету или отправлять полицию к ним домой? В целом, нам нужны гораздо более строгие оценки безопасности, прежде чем позволять ИИ использовать всю мощь Интернета», — утверждает Дэн.
По словам Хизер Фрейз, сотрудницы Центра безопасности и новых технологий Джорджтаунского университета, которая тестировала GPT-4 на предмет его способности помогать преступникам, риски будут продолжать расти по мере того, как все больше людей будут использовать эту технологию.
Она предлагает создать публичный реестр для сообщения об инцидентах, возникающих в крупных языковых моделях, аналогичный системам отчетности о кибербезопасности или мошенничестве с потребителями.
По данным FT
Источник
Комментарий (0)