Человек, который хочет создать новый «этический стандарт» для ИИ

Покинув OpenAI, Дарио Амодеи основал Anthropic и создал модель ИИ, которую он назвал наиболее этичной версией искусственного интеллекта, под названием Claude.

Поскольку гонка за развитие искусственного интеллекта (ИИ) становится все более ожесточенной, Anthropic становится компанией с четкой миссией: создание искусственного интеллекта общего назначения (ИИО), который будет не только мощным, но также безопасным и этичным.

Компания Anthropic, основанная бывшими руководителями OpenAI Дарио и Даниэлой Амодеи, — это не только производительность. Этот стартап в области искусственного интеллекта стремится к тому, чтобы искусственный интеллект приносил человечеству реальную пользу, а не создавал непредсказуемые риски.

Уникальный подход

Рождение Anthropic было вызвано глубокими опасениями относительно направления развития индустрии ИИ, особенно OpenAI. Дарио Амодеи, тогдашний вице-президент по исследованиям в компании-разработчике ChatGPT, видел, что безопасности не уделяется достаточного внимания в гонке за быстрым развитием ИИ.

Дарио Амодеи, соучредитель и руководитель миссии Anthropic. Фото: Wired.

Покинув OpenAI, Амодеи основал Anthropic, одним из столпов философии разработки которой стал «конституционный ИИ».

В частности, вместо того, чтобы полагаться на жесткие заранее запрограммированные правила, Anthropic снабжает свои модели ИИ, как правило, Клода, способностью самостоятельно оценивать и корректировать свое поведение на основе набора тщательно отобранных этических принципов из множества различных источников.

Другими словами, система позволяет Клоду принимать решения, соответствующие человеческим ценностям, даже в сложных и беспрецедентных ситуациях.

Кроме того, компания Anthropic разработала «Политику ответственного масштабирования» — многоуровневую систему оценки рисков для систем ИИ. Эта политика помогает компании тщательно контролировать разработку и внедрение ИИ, гарантируя, что потенциально более опасные системы будут активированы только после внедрения надежных и эффективных мер безопасности.

Логан Грэм, руководитель отдела безопасности и конфиденциальности Anthropic , рассказал изданию Wired , что его команда постоянно тестирует новые модели для выявления потенциальных уязвимостей. Затем инженеры дорабатывают модель ИИ, пока она не будет соответствовать критериям Грэма.

Большая языковая модель Клода играет центральную роль во всех проектах Anthropic. Она не только является мощным исследовательским инструментом, помогающим учёным исследовать тайны искусственного интеллекта, но и широко используется внутри компании для таких задач, как написание кода, анализ данных и даже составление внутренних информационных бюллетеней.

Мечта об этичном ИИ

Дарио Амодеи не только сосредоточен на предотвращении потенциальных рисков ИИ, но и мечтает о светлом будущем, в котором ИИ будет действовать как позитивная сила, решая самые сложные проблемы человечества.

Результаты тестов Claude 3.5 Sonnet в сравнении с некоторыми другими моделями. Фото: Anthropic.

Итало-американский исследователь даже полагает, что ИИ обладает потенциалом для осуществления огромных прорывов в медицине, науке и многих других областях, особенно в плане возможности увеличения продолжительности жизни человека до 1200 лет.

Вот почему Anthropic представила Artifacts в Claude 3.5 Sonnet — функцию, которая позволяет пользователям редактировать и добавлять контент непосредственно в ответы чат-бота вместо того, чтобы копировать его в другое приложение.

Ранее заявлявшая о своей ориентации на бизнес, компания Anthropic заявила, что с помощью своей новой модели и инструментов она хочет превратить Claude в приложение, которое позволит компаниям «безопасно переносить знания, документы и работу в общие пространства».

Однако Anthropic также прекрасно осознаёт сложности и потенциальные риски на пути к реализации этой мечты. Одна из главных проблем — возможность «ложного соответствия» со стороны моделей ИИ, подобных Клоду.

В частности, исследователи обнаружили, что в определенных ситуациях Клод все еще мог вести себя «поддельно», чтобы достичь своих целей, даже если это противоречило заранее заданным моральным принципам.

Артефакты представлены в чат-боте Клода. Фото: Anthropic.

«В ситуациях, когда ИИ полагает, что существует конфликт интересов с компанией, на примере которой он его обучает, он совершает действительно плохие поступки», — описал ситуацию один из исследователей.

Это показывает, что обеспечение того, чтобы ИИ всегда действовал в наилучших интересах человека, является сложной задачей и требует постоянного мониторинга.

Сам Амодеи сравнил актуальность безопасности ИИ с «Перл-Харбором», предположив, что может потребоваться крупное событие, чтобы люди по-настоящему осознали серьезность потенциальных рисков.

«Мы нашли базовую формулу, позволяющую сделать модели умнее, но пока не придумали, как заставить их делать то, что нам нужно», — заявил Ян Лейке, эксперт по безопасности в Anthropic.

Источник: https://znews.vn/nguoi-muon-tao-ra-tieu-chuan-dao-duc-moi-cho-ai-post1541798.html