Pho GPT (Pho — Generative Pre-trained Transformer) — это крупный проект языковой модели, посвященный вьетнамскому языку, реализованный инженерной группой VinAI, входящей в корпорацию Vingroup .
«Догнать» мировые технологии
Pho GPT использует открытый исходный код вместо проприетарного программного обеспечения, такого как ChatGPT от OpenAI. Это означает, что исходный код Pho GPT доступен публично, и пользователи могут вносить свой вклад в разработку Pho GPT, создавая собственные приложения.
По данным VinAI, модель Pho GPT содержит 7,5 млрд параметров и построена на платформе декодирования Transformer. Эта модель обучается с нуля с использованием самых передовых технологий, таких как механизм Flash Attention и экстраполяция длины контекста AliBi.
Эти методы не только помогают Pho GPT глубже понимать контекст, но и повышают способность приложения к диалогу и естественному взаимодействию во время использования. Это делает модель универсальным и многозадачным инструментом, способным удовлетворить разнообразные языковые потребности пользователей.
 |
Г-н Буй Хай Хунг, генеральный директор VinAI. |
Рассказывая о важности появления Pho GPT, г-н Буй Хай Хунг, генеральный директор VinAI, отметил, что цель проекта — разработать модели, аналогичные ChatGPT, для вьетнамского языка и вьетнамской культуры. Pho GPT способен понимать и писать на вьетнамском языке, превосходя языковые технологии предыдущего поколения. Модель также обучается с нуля на вьетнамском наборе данных и не зависит от каких-либо других моделей в мире, что гарантирует освоение передовых базовых технологий для Вьетнама.
Стоит отметить, что как раз когда весь мир бурлил вокруг появления Chat GPT, год спустя во Вьетнаме появился Pho GPT. По словам г-на Буй Хай Хуна, VinAI стал пионером в Юго-Восточной Азии, запустившим крупную языковую модель с открытым исходным кодом. Несколько недель спустя аналогичный продукт был запущен в Сингапуре.
Развитие вьетнамского ИИ
Результаты сравнения версии Pho GPT-7B5-Instruct с закрытым исходным кодом ChatGPT (GPT-3.5-turbo) и другими моделями с открытым исходным кодом показывают, что Pho GPT занимает второе место, уступая только ChatGPT в большинстве категорий оценки.
Pho GPT имеет множество отличий от других языковых моделей, особенно от ChatGPT. Он разработан для понимания и естественного написания на вьетнамском языке, отражая контекст, грамматику, словарный запас и особенности выражения вьетнамцев. Он позволяет пользователям общаться на темы, связанные с вьетнамской культурой, историей, географией, обществом, развлечениями, спортом и т. д.
Кроме того, Pho GPT имеет открытый исходный код и отличается гибкостью. Пользователи могут разрабатывать индивидуальные и уникальные приложения, особенно требующие высокой безопасности, не полагаясь на источники проприетарного ПО.
При этом приоритетом Pho GPT является высокая производительность и экономия средств благодаря обучению с использованием новейших методов оптимизации, что позволяет уменьшить размер и повысить скорость работы приложения. Pho GPT также может работать на меньшей вычислительной платформе, что способствует снижению затрат и экономии ресурсов.
Обученный на вьетнамском хранилище данных объемом до 41 ГБ, включая 1 ГБ текста Википедии и вариант объемом 40 ГБ, в котором удалены дубликаты из набора новостных данных, обученный с использованием библиотеки llm-foundry Mosaicml llm, Pho GPT может генерировать текстовые фрагменты в соответствии с запросами пользователей, такие как статьи, стихи, песни, эссе, речи, вступления... Pho GPT также может создавать творческий, юмористический контент, такой как короткие рассказы, комментарии, пословицы, сообщения, твиты, мемы... В то же время он также ведет диалоги с пользователями на разные темы, такие как текущие события, образование, здоровье, путешествия, кухня, спорт, развлечения... Кроме того, Pho GPT также может отвечать на вопросы пользователей, предоставлять информацию, советы, поддержку, отвечать на вопросы...
Кроме того, Pho GPT может переводить тексты или типы текстов различного характера, такие как официальные, коммерческие, академические, литературные документы... с вьетнамского на другие языки и наоборот.
Еще одной выдающейся особенностью Pho GPT является то, что он анализирует и обрабатывает текстовые отрывки, выполняя такие функции, как резюмирование, классификация, маркировка, извлечение информации, выявление эмоций, выявление ошибок, улучшение стиля письма и т. д.
Команда разработчиков Pho GPT заявила, что в будущем они продолжат совершенствовать модель и расширят проект на другие языки, особенно в регионе Юго-Восточной Азии.
«С появлением Pho GPT Вьетнам впервые получил возможность «догнать» мир в этой передовой технологической области и стать владельцем крупной языковой модели с открытым исходным кодом, специально разработанной для вьетнамцев и оптимизированной для вьетнамского языка, независимо от внешнего мира. Это гордость Vin AI в частности и вьетнамцев в целом», — добавил представитель VinAI.
Комментируя потенциал и возможности развития Pho GPT в будущем, заместитель министра планирования и инвестиций г-н Тран Зуй Донг подчеркнул: «Искусственный интеллект станет одной из областей, в которых Вьетнам имеет большой потенциал для активного развития и скорейшего достижения мирового уровня. Министерство будет всегда поддерживать и сопровождать как сообщество ИИ в частности, так и научно-техническое сообщество в целом, чтобы развивать комплексную и динамичную инновационную экосистему, способствующую общему развитию страны».
Источник
Комментарий (0)