Это считается хрупкой, но важной возможностью обеспечить безопасность применения ИИ в будущем. Это особенно актуально в свете того, что Вьетнам только что принял Закон о цифровой технологической индустрии, содержащий подробные правила управления искусственным интеллектом (ИИ).
«Окно возможностей» сужается
Исследователь OpenAI Боуэн Бейкер рассказал, что в недавней совместной работе исследователи предупредили, что способность ИИ отслеживать «мысли» может исчезнуть без целенаправленных исследовательских усилий.
Это особенно важно, поскольку модели ИИ становятся все более мощными и могут оказать серьезное влияние на общество.
Ключевой особенностью моделей рассуждений ИИ, таких как o-3 от OpenAI и R1 от DeepSeek, является «цепочка мыслей» ( CoT) — процесс, посредством которого ИИ выражает шаги своих рассуждений на естественном языке, подобно тому, как люди записывают каждый шаг математической задачи на бумаге.
Эта способность дает нам редкую возможность увидеть, как ИИ принимает решения.
Это редкий момент единства многих лидеров отрасли ИИ в целях продвижения исследований в области безопасности ИИ.
Это особенно актуально, учитывая жёсткую конкуренцию между технологическими компаниями в сфере разработки искусственного интеллекта. Среди известных подписавших документ — Марк Чен, директор по исследованиям OpenAI, Илья Суцкевер, генеральный директор Safe Superintelligence, лауреат Нобелевской премии Джеффри Хинтон, соучредитель Google DeepMind Шейн Легг и консультант по безопасности xAI Дэн Хендрикс.
Участие этих известных личностей показывает важность проблемы.
Также по оценке г-на Боуэна Бейкера: «Мы находимся на критическом этапе, когда появляется так называемая новая «цепочка мышления», которая может исчезнуть в ближайшие несколько лет, если люди не сосредоточатся на ней».
Почему так важен мониторинг «мышления ИИ»?
Современные системы искусственного интеллекта часто рассматриваются как «черные ящики»: мы знаем входные и выходные данные, но не понимаем процессы принятия решений внутри них.
Это станет опасным, когда ИИ будет применяться в таких важных областях, как здравоохранение , финансы и национальная безопасность.
Мониторинг CoT — это автоматизированная система, которая считывает цепочку рассуждений ментальной модели и другую релевантную информацию, чтобы выявлять подозрительные или потенциально опасные взаимодействия. Это не комплексное решение, но оно может стать ценным уровнем безопасности.
Исследования OpenAI показывают, что модели ИИ, как правило, очень четко выражают свои намерения в последовательности своих мыслей.
Например, они часто очень открыто говорили о своих планах сорвать миссию, когда думали: «Давайте взломаем». Это демонстрирует способность ИИ отслеживать и выявлять нарушения.
«Давайте взломаем» — это фраза, которую часто «думают» модели ИИ, когда «они» намереваются саботировать или обойти правила во время выполнения задачи.
Тот факт, что ИИ проявляет «хакерские» намерения в своих мыслительных процессах, говорит о том, что мы можем обнаружить вредоносное поведение ИИ ещё до того, как оно проявится. Именно поэтому мониторинг мыслительных процессов так важен.
Другими словами, «давайте взломаем» — это своего рода «предупреждающий сигнал» для людей о том, что ИИ собирается сделать что-то неправильно.
Вьетнам и правовое регулирование ИИ
Фактически Вьетнам добился важных успехов в создании правовой базы для ИИ.
14 июня Национальная ассамблея Вьетнама приняла Закон об индустрии цифровых технологий, глава IV которого содержит подробные положения об искусственном интеллекте — на сегодняшний день это одна из наиболее полных правовых рамок в области ИИ в Юго-Восточной Азии.
Статья 41 Закона устанавливает основные принципы разработки, предоставления и внедрения ИИ во Вьетнаме.
В частности, пункт б) пункта 1 гласит: «Обеспечить прозрачность, подотчетность, объяснимость; обеспечить, чтобы это не выходило за рамки человеческого контроля».
Национальная ассамблея приняла Закон об индустрии цифровых технологий (Фото: Нят Бак).
Именно к этим принципам призывают международные ученые при обсуждении цепочек наблюдения с помощью ИИ.
Кроме того, пункт d пункта 1 статьи 41 гласит: «Обеспечить возможность контроля алгоритмов и моделей искусственного интеллекта». Это полностью соответствует духу надзора за информационными технологиями, предлагаемого международными экспертами.
Что еще важнее, статья 41, пункт 1, пункт а также устанавливает высокий этический стандарт, когда говорится, что ИИ должен «служить процветанию и счастью человечества, имея в центре людей».
Это означает, что мониторинг цепочки мыслей ИИ — это не только техническое требование, но и этическое обязательство, гарантирующее, что ИИ всегда будет направлен на благо человека, а не на собственные цели машины.
Классифицируйте и управляйте ИИ по уровню риска
Закон Вьетнама об индустрии цифровых технологий пошел еще дальше, классифицировав ИИ по различным группам риска с четкими и научными определениями.
В статье 43 «системы искусственного интеллекта высокой степени риска» определяются как системы, которые могут представлять серьезную угрозу или наносить вред здоровью, правам человека и общественному порядку.
Интересно, что закон предусматривает конкретные исключения для ИИ с высокой степенью риска, включая системы, «предназначенные для помощи людям в оптимизации результатов работы» и «не предназначенные для замены человеческого принятия решений».
Это демонстрирует сбалансированный подход к поощрению инноваций и обеспечению безопасности.
Классификация ИИ по уровню риска поможет создать многоуровневую систему мониторинга (Иллюстрация: LinkedIn).
В частности, различие между «ИИ высокого риска» и «ИИ высокого воздействия» (системы, используемые для различных целей с большим количеством пользователей) демонстрирует тонкость подхода.
Это более прогрессивная классификация, чем Закон Европейского Союза (ЕС) об искусственном интеллекте, который учитывает не только уровень риска, но и масштаб и сферу воздействия.
Такая классификация поможет создать многоуровневую систему надзора, в которой контроль на уровне цепочки сознания будет особенно важен для систем ИИ с высоким уровнем риска и высоким уровнем воздействия.
Платформа для ИИ-наблюдения
Одной из основных и новаторских особенностей Закона Вьетнама о промышленности и цифровых технологиях является требование прозрачности и идентификационных знаков.
Статья 44 гласит, что системы искусственного интеллекта, непосредственно взаимодействующие с человеком, должны уведомлять пользователей о взаимодействии с системой искусственного интеллекта. При этом продукты, созданные с помощью искусственного интеллекта, должны иметь идентификационные знаки.
Это имеет важные последствия для реализации контроля CoT. Когда пользователи знают, что взаимодействуют с ИИ, они имеют право требовать объяснений процесса принятия решений, что создаёт положительное давление на разработчиков ИИ, побуждая их сохранять возможность контролировать мыслительный процесс ИИ.
В частности, тот факт, что Министерству науки и технологий поручено «издать Перечень цифровой технологической продукции, созданной с использованием искусственного интеллекта», свидетельствует об инициативном управлении.
Это важное отличие от многих других стран, где правила в отношении ИИ зачастую носят более общий характер.
Более того, требование идентификатора «для распознавания человеком или машиной» представляет собой видение экосистемы ИИ, которая может контролировать себя сама, что идеально соответствует идее автоматизированного наблюдения за цепочкой мыслей.
Комплексная модель управления
Статья 45 вышеуказанного Закона демонстрирует прогрессивную философию управления, четко определяя обязанности 3 групп субъектов в соответствии с жизненным циклом продукта ИИ: субъектов, разрабатывающих, субъектов, предоставляющих и субъектов, развертывающих и использующих системы ИИ.
Это создает целостную сквозную систему подотчетности, гарантируя, что надзор за ИИ не будет ответственностью только одной стороны.
Примечательно, что существует тонкое различие между «разработкой» и «предоставлением» ИИ: разработчики — это те, кто «исследует и разрабатывает», а поставщики — это те, кто выводит его на рынок под торговой маркой.
Это означает, что даже если компания просто проводит ребрендинг существующей модели ИИ, она все равно несет ответственность за прозрачность и объяснимость.
Что особенно интересно, так это то, как закон распределяет различные обязанности между каждым субъектом.
Разработчик должен соблюдать все принципы, провайдер должен взять на себя дополнительную ответственность за идентификацию и управление высокими рисками, а пользователь «освобождается» от части ответственности, но все равно должен обеспечивать прозрачность и контроль рисков.
Эта модель создает «цепочку ответственности», где каждое звено имеет стимул осуществлять надзор за цепочкой мышления ИИ, поскольку все несут ответственность перед конечным пользователем.
Проблема поддержания возможностей наблюдения
Однако способность отслеживать цепочку мыслей ИИ может оставаться хрупкой и уязвимой. Новые архитектуры ИИ могут также представлять другие угрозы.
Многие исследователи разрабатывают системы рассуждений в непрерывном математическом пространстве, а не в виде отдельных слов, которые могли бы полностью исключить необходимость использования языка в мышлении.
Более того, ИИ может стать «фильтруемым» — то есть, он будет показывать людям только позитивные мысли, заслуживающие внимания, при этом намеренно скрывая свои истинные намерения.
Опасность здесь заключается в том, что как только ИИ осознает, что за ним следят, он может научиться скрывать истинный ход своих мыслей.
В этом контексте особое значение приобретает положение о «контроле рисков на протяжении всего жизненного цикла системы искусственного интеллекта», содержащееся в пункте e) пункта 1 статьи 41 Закона Вьетнама. Это требует постоянного механизма мониторинга, а не только на этапе развертывания.
Влияние на будущее развития ИИ
Мониторинг цепочки мыслей может стать важным инструментом, гарантирующим, что ИИ будет работать на благо людей.
Если модели продолжат рассуждать на естественном языке и если поведение, представляющее наибольшие риски, потребует обширных рассуждений, такая практика может обеспечить надежное обнаружение серьезных проступков.
Во Вьетнаме применение методов мониторинга CoT поможет эффективно реализовывать правовые положения.
Например, требование «объяснимости», изложенное в статье 41, было бы легче выполнить, если бы мыслительные процессы ИИ были доступны. Аналогичным образом, «управление алгоритмами и моделями искусственного интеллекта» стало бы более осуществимым.
Внедрение цепочек мониторинга с помощью ИИ во Вьетнаме столкнётся с рядом трудностей. Прежде всего, это проблема человеческих ресурсов — нехватка специалистов по ИИ, способных разрабатывать и эксплуатировать системы мониторинга.
Это требует значительных инвестиций в обучение и привлечение талантов.
Направления на будущее
Исследователи призывают ведущих разработчиков моделей ИИ изучить, какие факторы делают CoT «контролируемым» и какие факторы могут повысить или понизить прозрачность работы моделей ИИ, и в ближайшее время предложить ответы.
Возможность следить за «мышлением» ИИ может стать для нас последним шансом сохранить контроль над сегодняшними, все более мощными системами искусственного интеллекта.
Для Вьетнама наличие всеобъемлющей правовой базы в области ИИ, обеспечиваемой Законом о цифровой индустрии технологий, является большим преимуществом. Положения о прозрачности, алгоритмическом контроле и классификации рисков создали прочную правовую основу для применения методов мониторинга цепочки мыслей с использованием ИИ.
Сочетание передовых международных исследований и прогрессивной внутренней правовой базы поможет Вьетнаму не только безопасно развивать ИИ, но и стать образцом для других стран региона.
Это соответствует цели превращения Вьетнама в «региональный и глобальный центр цифровых технологий», изложенной в национальных стратегиях развития.
Имея существующую правовую базу, Вьетнаму необходимо быстро развернуть исследования и практические приложения для мониторинга цепочки идей ИИ. Только так мы сможем гарантировать, что ИИ будет служить «человеческому процветанию и счастью», как того требует Закон о цифровой индустрии.
Источник: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
Комментарий (0)