Молодой инженер использует ИИ, чтобы изменить способ печати на вьетнамском языке

Интерфейс v7, встроенная клавиатура с искусственным интеллектом. Фото: NVCC .

В беседе с Tri Thuc - Znews Три Дук (родился в 2003 году) рассказал об идее применения искусственного интеллекта для изменения способа ввода вьетнамского языка. Студенческий проект v7 теперь превратился в исследовательскую работу и был принят на IJCAI 2025, престижной конференции по искусственному интеллекту.

Несмотря на свою популярность на протяжении десятилетий, набор текста с помощью телекса или VNI по-прежнему имеет множество ограничений для пользователя. Так родилась версия v7, призванная стать легким инструментом прогнозирования, помогающим сократить время набора текста на вьетнамском языке благодаря интеграции искусственного интеллекта.

Страсть к языкам и технологиям

Его любовь к языкам и технологиям привела его к получению специальности «Прикладной искусственный интеллект» в Технологическом университете Хошимина.

Во время учебы вы будете работать над такими проектами, как большая языковая модель (LLM) для вьетнамского языка, программное обеспечение для перевода языков этнических меньшинств или чат-бот для поддержки приема. «Этот опыт помог мне накопить прочную базу знаний, развить страсть и желание применять ИИ для создания полезных продуктов для общества», — поделился он.

Три Дук хочет привнести ценность в жизнь благодаря применению ИИ. Фото: NVCC.

Кроме того, имея опыт работы с мандаринским и кантонским диалектами, Дык распознал связь пиньинь/ютпин с вьетнамским правописанием. Этот фактор также позволяет увидеть, что в отличие от сложных иероглифов, китайская система набора пиньинь требует ввода только «yn», чтобы получить название нашей страны китайскими иероглифами. В то время как для набора слова «Вьетнам» на Telex или VNI требуется 10 клавиш.

Благодаря своим наблюдениям Дюк понял, что при быстром общении люди часто сокращают слова, оставляя первую согласную, например, «hs» в слове «student». «Если люди могут легко понять этот тип письма, то и ИИ тоже сможет его понять, если его обучить с использованием правильных данных», — рассказал он об обстоятельствах, при которых возникла эта идея.

Вместо того чтобы писать полные символы, а затем добавлять ударения при использовании традиционных инструментов набора текста, таких как Telex или VNI, которые используют дополнительный механизм, v7 использует ИИ, чтобы предлагать слова, которые вы хотите написать. Технология будет точно предсказывать целое слово с использованием минимально возможного количества ключей.

В структуре вьетнамского правописания слово состоит из начальной согласной, рифмы и тона. Например, слово «Нгуен» состоит из «нг», «уен» и нисходящего тона. Основываясь на этом принципе, v7 позволяет предсказывать целые слова, содержащие только начальные согласные и тоны, что значительно сокращает количество нажатий клавиш, сохраняя при этом точность.

Проблема обучения вьетнамского языка с помощью ИИ

По словам Дыка, самая большая сложность заключается в том, чтобы научить ИИ «понимать» вьетнамский язык, чтобы использовать его в этом инструменте для набора текста. Он перепробовал множество моделей, прежде чем остановился на GPT-2 в качестве основы с архитектурой Transformers для хорошего понимания контекста и точного предсказания слов.

Выбрав базовую архитектуру, Дык полностью заменил токенизатор (кодировщик словаря) на вьетнамский словарь, созданный им самим. Инженер отфильтровал все допустимые, правильно написанные вьетнамские слова, чтобы обеспечить комплексную обработку, предсказывая любое слово, которое хотел написать пользователь.

Еще одна задача заключается в поиске баланса между эффективностью прогнозирования и скоростью отклика, чтобы модель могла работать в режиме реального времени как на компьютерах, так и на телефонах, но при этом была достаточно мощной для составления наилучших прогнозов. После 2 месяцев непрерывного тестирования текущая версия вывела наверх почти 70% слов, которые хотят набрать пользователи, с задержкой всего в 0,03 секунды.

Что касается метода ввода с клавиатуры, то, согласно многочисленным исследованиям, к которым Дык обращался за консультацией у лингвистов Цао Сюань Хао и Анри Масперо, во вьетнамском языке не 6, а 8 тонов. Чтобы воспользоваться этой функцией, в v7 используется 8-тоновая система вместо обычных 6 (включая ровный тон и 5 акцентированных тонов: резкий, ровный, вопрошающий, падающий, тяжелый). На этой клавиатуре при вводе «v7» модель предложит слово «вьетнамский». Это также послужило идеей для названия продукта.

Поделившись v7 в своей социальной сети, Дюк сказал, что он был очень счастлив и удивлен, когда модель получила внимание, поддержку и желание испытать ее. «Это дало мне четкое представление о необходимости более умного и быстрого инструмента для набора текста на вьетнамском языке», — сказал он.

Коллектив авторов научно-исследовательской статьи. Слева направо: Нят Кханг, Хиеу Нгиа и Три Дук. Фото: NVCC.

В настоящее время клавиатура все еще находится на стадии прототипа с открытым исходным кодом на GitHub, чтобы программисты или пользователи технологий могли тестировать ее и вносить свой вклад. Также разрабатывается полная версия приложения для Windows и macOS для легкой установки и использования обычным пользователем.

В будущем главным приоритетом для v7 станет версия клавиатуры на iPhone, чтобы улучшить способ ввода вьетнамского текста с помощью смартфонов. Кроме того, точность модели будет повышена за счет дальнейшего обучения на данных повседневных разговоров, что поможет ИИ лучше понимать общие контексты.

Путь Германии способствовал возникновению творческого порыва, позволяющего ей идти в ногу с технологическими тенденциями в контексте значительных инвестиций Вьетнама в инфраструктуру искусственного интеллекта. Одним из моментов, которым он гордился, был момент, когда v7 впервые создал полное предложение. «Вот тогда маленькая модель, размером, вероятно, всего в 1/10 000 от сегодняшнего ChatGPT, все еще сможет думать как человек», — сказал Дюк.

Источник: https://znews.vn/ky-su-tre-dung-ai-thay-doi-cach-go-tieng-viet-post1552246.html