Искусственный интеллект все чаще применяется для оптимизации решений в критически важных ситуациях. Например, автономная система может предложить наиболее экономически эффективный план распределения электроэнергии, сохраняя при этом стабильность напряжения.
Однако, действительно ли «технически оптимальное» решение справедливо? Что произойдет, если стратегия с низкими затратами сделает районы с низким уровнем дохода более уязвимыми к отключениям электроэнергии, чем более богатые районы?
Чтобы помочь заинтересованным сторонам выявлять этические риски на ранних стадиях, до начала внедрения, исследовательская группа MIT разработала автоматизированный метод оценки, который уравновешивает количественные показатели (такие как стоимость и надежность) с качественными ценностями (такими как справедливость).
Эта система отделяет объективную оценку от определяемых пользователем человеческих ценностей и использует большую языковую модель (LLM) в качестве человеческого «представителя» для регистрации и интеграции приоритетов заинтересованных сторон.
Адаптивная система оценки выберет наиболее важные сценарии для дальнейшего анализа, упростив процесс, который был бы дорогостоящим и трудоемким при ручном выполнении. Эти сценарии могут указывать на то, соответствует ли система ИИ человеческим ценностям, а также на то, когда она не соответствует этическим критериям.
По мнению Чучу Фана (MIT), простое установление правил или «барьеров безопасности» для ИИ недостаточно, поскольку они предотвращают только те риски, которые человек может предвидеть. Поэтому необходим систематический подход для выявления «неизвестных рисков» до того, как они приведут к последствиям.
Этическая оценка в сложных системах
В крупных системах, таких как электросети, оценка этической целесообразности предложений, сгенерированных искусственным интеллектом, представляет собой сложную задачу, особенно когда необходимо одновременно учитывать множество целей.
Современные методы часто опираются на легкодоступные данные, но данные, размеченные в соответствии с этическими критериями, встречаются редко. В то же время этические ценности и системы искусственного интеллекта постоянно меняются, быстро делая статические методы оценки устаревшими.
Исследовательская группа разработала экспериментальную модель под названием SEED-SET, которая состоит из двух частей:
- Объективная модель: оценивает эффективность на основе измеримых показателей (таких как затраты).
- Субъективная модель: отражает человеческое суждение (например, чувство справедливости).
Такой подход позволяет выявлять сценарии, которые соответствуют как техническим критериям, так и человеческим ценностям, или наоборот.
В частности, SEED-SET не требует наличия предварительно подготовленных данных для оценки и может адаптироваться к широкому спектру задач. Например, в электроэнергетической системе различные группы пользователей (такие как сельские общины и центры обработки данных) могут иметь разные этические приоритеты, несмотря на то, что обе группы стремятся к доступному и стабильному электроснабжению.
Моделирование субъективных факторов
Для оценки субъективных факторов система использует LLM в качестве представителя оценщика. Предпочтения каждой группы кодируются в утверждения на естественном языке.
LLM будет сравнивать сценарии и выбирать наиболее подходящий вариант на основе этических критериев. Такой подход помогает избежать усталости и непоследовательности при оценке сотен или тысяч сценариев.
Затем SEED-SET использует выбранные сценарии для моделирования системы (например, стратегии распределения электроэнергии) и продолжает поиск новых сценариев с более высоким оценочным значением.
В результате получается набор типичных сценариев, позволяющих пользователям анализировать производительность системы искусственного интеллекта и корректировать свою стратегию по мере необходимости.
Например, система могла бы выявлять случаи, когда распределение электроэнергии в часы пик отдает приоритет районам с высоким уровнем дохода, что делает неблагополучные районы более уязвимыми к отключениям электроэнергии.
Эффективность и перспективы развития
При тестировании на реальных системах, таких как интеллектуальные энергосети или системы управления городским движением, SEED-SET генерирует вдвое больше оптимальных сценариев, чем традиционные методы, а также выявляет больше ситуаций, которые другие методы упускают из виду.
Примечательно, что при изменении предпочтений пользователя сценарии, генерируемые системой, также значительно меняются, демонстрируя высокую степень адаптации к человеческим ценностям.
В будущем исследовательская группа планирует провести исследования с участием реальных пользователей, чтобы оценить полезность системы в процессе принятия решений. Одновременно они стремятся расширить методологию на более сложные задачи, такие как оценка решений, принимаемых более крупными языковыми моделями.
Данное исследование частично финансировалось Агентством перспективных оборонных исследований США (DARPA).
(По данным MIT News)
Источник: https://vietnamnet.vn/danh-gia-dao-duc-cua-cac-he-thong-tu-hanh-2508477.html
Комментарий (0)