GPT Pho umieszcza Wietnam na światowej mapie technologicznej

[reklama_1]

Pho GPT (Pho - Generative Pre-trained Transformer) to duży projekt modelu językowego poświęcony językowi wietnamskiemu, wdrożony przez zespół inżynierów VinAI - członka Vingroup Corporation.

„Dogonić” światową technologię

Pho GPT korzysta z kodu open source, a nie z zastrzeżonego oprogramowania, takiego jak ChatGPT firmy OpenAI. Oznacza to, że kod źródłowy Pho GPT jest publiczny i dostępny, a użytkownicy mogą przyczyniać się do rozwoju Pho GPT poprzez niestandardowe aplikacje.

Według wprowadzenia VinAI, Pho GPT ma 7,5 miliarda parametrów i jest zbudowany na platformie dekodującej Transformer. Model ten jest trenowany od podstaw z wykorzystaniem najnowocześniejszych dostępnych technik, takich jak mechanizm Flash Attention i ekstrapolacja długości kontekstu AliBi.

Techniki te nie tylko pomagają Pho GPT lepiej zrozumieć kontekst, ale także zwiększają zdolność aplikacji do dialogu i naturalnej interakcji podczas użytkowania. Dzięki temu model ten jest wszechstronnym i wielozadaniowym narzędziem, zdolnym do zaspokojenia zróżnicowanych potrzeb językowych użytkowników.

Pan Bui Hai Hung, dyrektor generalny VinAI.

Dzieląc się informacją o znaczeniu powstania Pho GPT, pan Bui Hai Hung, dyrektor generalny VinAI, powiedział, że celem projektu jest opracowanie modeli podobnych do ChatGPT dla języka i kultury wietnamskiej. Pho GPT potrafi rozumieć i pisać w języku wietnamskim w sposób przewyższający technologie językowe poprzedniej generacji. Model jest również trenowany od podstaw na podstawie wietnamskiego zbioru danych, niezależnie od innych modeli na świecie, co zapewnia opanowanie zaawansowanych technologii kluczowych dla Wietnamu.

Warto wspomnieć, że gdy świat szalał z powodu narodzin Chat GPT, rok później Pho GPT pojawił się w Wietnamie. Według pana Bui Hai Hunga, VinAI jest pionierem w Azji Południowo-Wschodniej, który wprowadził na rynek duży model językowy z otwartym kodem źródłowym. Kilka tygodni później podobny produkt został wprowadzony na rynek w Singapurze.

Podnoszenie poziomu wietnamskiej sztucznej inteligencji

Wyniki porównania wersji Pho GPT-7B5-Instruct z zamkniętym kodem źródłowym ChatGPT (GPT-3.5-turbo) i innymi modelami o otwartym kodzie źródłowym pokazują, że Pho GPT plasuje się na drugim miejscu, zaraz za ChatGPT, w większości kategorii oceny.

Pho GPT różni się pod wieloma względami od innych modeli językowych, zwłaszcza ChatGPT. Został zaprojektowany tak, aby rozumieć i pisać w sposób naturalny po wietnamsku, odzwierciedlając kontekst, gramatykę, słownictwo i ekspresję Wietnamczyków. Umożliwia interakcję z użytkownikami na tematy związane z wietnamską kulturą, historią, geografią, społeczeństwem, rozrywką, sportem itp.

Co więcej, Pho GPT jest oprogramowaniem open source i elastycznym. Użytkownicy mogą tworzyć spersonalizowane i unikalne aplikacje, zwłaszcza te wymagające wysokiego poziomu bezpieczeństwa, bez polegania na zastrzeżonych źródłach oprogramowania.

Jednocześnie priorytetem Pho GPT jest wysoka wydajność i oszczędność kosztów dzięki szkoleniu z wykorzystaniem najnowszych technik optymalizacji, co pomaga zmniejszyć rozmiar i zwiększyć szybkość aplikacji. Pho GPT może również działać na mniejszej platformie obliczeniowej, co pomaga obniżyć koszty i oszczędzać zasoby.

Wyszkolony na wietnamskim magazynie danych o pojemności do 41 GB, z czego 1 GB to tekst z Wikipedii, a wariant o pojemności 40 GB usuwa duplikaty z zestawu danych wiadomości, wyszkolony do korzystania z biblioteki llm-foundry pakietu Mosaicml llm, Pho GPT może generować fragmenty tekstu na żądanie użytkownika, takie jak artykuły, wiersze, piosenki, eseje, przemówienia, wprowadzenia... Pho GPT może również tworzyć kreatywne, humorystyczne treści, takie jak opowiadania, komentarze, przysłowia, wiadomości, tweety, memy... Jednocześnie prowadzi dialogi z użytkownikami na różne tematy, takie jak bieżące wydarzenia, edukacja, zdrowie, podróże, kuchnia, sport, rozrywka... Ponadto Pho GPT może również odpowiadać na pytania użytkowników, udzielać informacji, porad, wsparcia, odpowiadać na pytania...

Ponadto Pho GPT może tłumaczyć teksty lub rodzaje tekstów o różnym charakterze, takie jak dokumenty urzędowe, handlowe, akademickie, literackie… z języka wietnamskiego na inne języki i odwrotnie.

Kolejną wyróżniającą się cechą jest to, że Pho GPT analizuje i przetwarza akapity tekstu, takie jak podsumowanie, klasyfikowanie, etykietowanie, wyodrębnianie informacji, wykrywanie emocji, wykrywanie błędów, poprawianie stylu pisania...

Zespół programistów Pho GPT zapowiedział, że w przyszłości będzie dalej udoskonalał model i rozszerzał projekt na inne języki, zwłaszcza w regionie Azji Południowo-Wschodniej.

„Narodziny Pho GPT to pierwszy raz, kiedy Wietnam miał okazję „dogonić” świat w tej zaawansowanej dziedzinie technologii i posiadać rozbudowany model językowy z otwartym kodem źródłowym, specjalnie dla Wietnamczyków, zoptymalizowanym pod kątem języka wietnamskiego, niezależnie od reszty świata. To powód do dumy, szczególnie dla Vin AI, i dla Wietnamczyków w ogóle” – dodał przedstawiciel VinAI.

Komentując potencjał i możliwości rozwoju Pho GPT w najbliższym czasie, pan Tran Duy Dong, wiceminister planowania i inwestycji, podkreślił: „Sztuczna inteligencja będzie jedną z dziedzin, w których Wietnam ma duży potencjał, aby dynamicznie się rozwijać i wkrótce dogonić światowy poziom. Ministerstwo będzie zawsze wspierać i towarzyszyć społeczności zajmującej się sztuczną inteligencją, a w szczególności środowisku nauki i technologii, w celu stworzenia kompleksowego i dynamicznego ekosystemu innowacji, przyczyniając się do ogólnego rozwoju kraju”.

Źródło