Когда ИИ знает, как проверять информацию: новый прогресс от Viettel AI на NAACL 2025

Бурный рост Интернета и социальных сетей сделал пользовательский контент все более популярным и одновременно привел к широкому распространению фейковых и неофициальных новостей.

Эта ложная информация не только вводит в заблуждение людей в таких деликатных областях, как здравоохранение, стихийные бедствия, государственная политика и т. д., но и приводит к серьезным последствиям, таким как экономические потери, потеря репутации организации и угрозы национальной безопасности.

VeGraph — это метод проверки информации, исследованный и разработанный группой инженеров Центра услуг данных и искусственного интеллекта Viettel (Viettel AI) (Фото: Viettel AI).

Если раньше эта информация имела влияние только в определенное время и масштабе, то теперь она становится все более опасной, поскольку становится частью входных данных для систем искусственного интеллекта (ИИ). В процессе поиска и сбора информации для реагирования на запросы пользователей такие системы, как чат-боты и виртуальные помощники, вполне способны использовать, создавать или распространять ложную информацию, если у них нет возможности самопроверки.

Проверка фактов — это процесс подтверждения истинности или ложности информации. Например, цель проверки фактов утверждения «НАСА обнаружило жизнь на Марсе» — проверить, основана ли информация на опубликованных фактах, полученных из надежных источников, таких как газеты, научные данные или базы знаний.

Для самостоятельной проверки информации системы ИИ должны уметь понимать предложения, находить релевантную информацию и делать логические выводы на основе объективных данных.

VeGraph (Verify-in-the-Graph) — метод проверки информации, исследованный, разработанный и представленный группой инженеров Центра услуг данных и искусственного интеллекта Viettel (Viettel AI) на NAACL 2025 — одной из трех ведущих международных конференций по обработке естественного языка.

Экспериментальные результаты на двух популярных наборах проверочных данных, HoVer и FEVEROUS, показывают, что VeGraph повышает точность на 2–5 % по сравнению с существующими методами.

Большинство современных методов проверки фактов по-прежнему испытывают трудности с обработкой двусмысленных, метафорических или многослойных утверждений, которые часто используются для «маскировки» ложной информации, и не могут четко объяснить, почему часть контента считается ложной, что затрудняет доверие пользователей к результатам.

Многие методы также в значительной степени опираются на большие языковые модели (LLM), которые не имеют возможности перекрестной проверки с авторитетными источниками знаний, что приводит к риску формирования ложных выводов, также известных как «галлюцинации».

В отличие от инструментов, которые делают только внутренние выводы в рамках модели, VeGraph заранее разделяет запрос на проверку информации на небольшие предложения, а затем сравнивает его с надежными источниками, такими как юридические документы, правительственные базы данных, специализированные документы и т. д. Весь процесс проверки систематизирован в четкие шаги, что позволяет пользователям легко отслеживать и проверять его, повышая точность — все более важный фактор в приложениях ИИ. Эта функция также позволяет организациям быстро настраивать и улучшать систему при необходимости.

VeGraph, нацеленный на прозрачную и безопасную цифровую среду, высоко ценится за его практическое применение. Помимо возможности интеграции в системы ИИ для повышения точности, эта технология может быть развита в систему проверки информации во многих областях, таких как медицина, журналистика, юриспруденция или государственное управление... Благодаря этому люди могут самостоятельно проверять важную информацию, требующую высокой достоверности, например, текущие новости, информацию о лекарствах, вакцинах, фармацевтических препаратах или правовых нормах...

Такие системы, как чат-боты и виртуальные помощники, вполне способны использовать, создавать или распространять ложную информацию, если они не способны к самопроверке (Фото: Viettel AI).

В будущем VeGraph будет расширен для обработки различных форматов данных, таких как изображения, видео, аудио и т. д., распознавания сложных языковых форм, таких как метафоры, импликации, а также включения графов знаний для улучшения возможностей рассуждения.

NAACL 2025 (Ежегодная конференция отделения стран Америки Ассоциации компьютерной лингвистики) — ведущий мировой научный форум в области обработки естественного языка и компьютерной лингвистики.

В этом году на конференцию было подано более 3000 докладов, при этом процент принятых статей по основным направлениям был весьма конкурентоспособным (около 22%), что позволило объединить самые новаторские исследования. NAACL 2025 фокусируется на прорывных достижениях в разработке больших языковых моделей, многоязычной, кросс-культурной обработке естественного языка, новых возможностях вывода и ответственном ИИ.

Viettel AI — подразделение Military Industry - Telecommunications Group (Viettel) — пионера в освоении и разработке продуктов и услуг в области искусственного интеллекта, больших данных, робототехники и цифровых двойников.

В настоящее время экосистема искусственного интеллекта Viettel включает в себя множество линеек продукции ведущего качества во Вьетнаме, которым доверяют и которые используют многие крупные отечественные и международные организации и предприятия.

Источник: https://dantri.com.vn/cong-nghe/khi-ai-biet-kiem-chung-thong-tin-buoc-tien-moi-tu-viettel-ai-tai-naacl-2025-20250519084620026.htm