Zalo a cesta překonávání překážek k dosažení domácích aspirací

Zatímco svět sleduje rychlý pokrok v oblasti umělé inteligence supervelmocí, tým technologických inženýrů Zalo se vydává na cestu plnou ambicí: zvládnout umělou inteligenci ve vietnamštině.

Exploze generativní umělé inteligence zcela změnila globální technologickou krajinu.

Od spuštění ChatGPT společností OpenAI na konci roku 2022 se neustále objevuje řada podobných modelů LLM, které se uplatňují v mnoha oblastech, jako je zdravotnictví, vzdělávání , finance, právo atd. Závod se stal nelítostným, a to nejen na úrovni podniků, ale i na národní úrovni, pokud jde o školicí kapacitu, výpočetní infrastrukturu a data.

Velké společnosti jako OpenAI, Google, Meta nebo Microsoft s finančním potenciálem a příznivými podmínkami „rychle“ investovaly miliardy dolarů do vlastnictví tisíců špičkových grafických procesorů, jako je Nvidia H100 – klíčový faktor pro trénování modelů LLM. Cena akcií Nvidie v tomto období prudce vzrostla, což odráží celosvětovou touhu po infrastruktuře.

Technologické společnosti v rozvojových zemích se kromě problémů s náklady potýkají také s omezeními v dovozu a vývozu zařízení s čipy pro umělou inteligenci z USA. To vede k nedostatku školicího vybavení a k „pomalejšímu“ vývoji ve srovnání s technologickými giganty. Pokud jde o domácí ambice, Zalo není výjimkou.

Co se týče dat, předchozí problémy strojového učení vyžadovaly velké množství trénovacích dat, ale pro rozsáhlé jazykové modely se jedná o obrovské množství dat. Pro dostatečně dobrý model systém LLM vyžaduje desítky nebo dokonce stovky miliard vstupních textových tokenů. Vietnamština se z hlediska popularity nevyrovná angličtině a čínštině. To znásobuje obtíže pro vietnamské vývojáře LLM.

V roce 2023 dobyly technologický svět rozsáhlé jazykové modely (LLM), jako jsou GPT-3.5 a GPT-4, a mnoho vietnamských podniků si také zvolilo vyladěné modely zahraniční výroby, aby si zkrátily cestu a předběhly proces vzdělávání v LLM.

Zalo zvolil jinou cestu – náročnější, ale autonomnější: Samostudium modelu od nuly (model od nuly). Cestu, která vyžaduje, aby vše bylo postaveno od nuly – od dat, architektury modelu až po celý proces školení. Toto rozhodnutí nebylo soupeřením s giganty, ale realizací aspirace samotných Vietnamců: zvládnutí modelu LLM ve svém mateřském jazyce.

„Předvídali jsme obtíže a přesto jsme se rozhodli zapojit se do hry brzy. Nekonkurovali jsme přímo „velkým hráčům“, ale vybrali jsme si specializovaný trh, kde se nám mohlo dařit lépe. Naším cílem je vybudovat model, který budou mít Vietnamci plně pod kontrolou – od dat až po algoritmy,“ sdělil Dr. Nguyen Truong Son, hlavní vědecký pracovník společnosti Zalo AI.

Přestože vietnamští inženýři čelili mnoha překážkám ve třech hlavních faktorech, včetně infrastruktury, dat a úrovně školení, proaktivně našli řešení k překonání obtíží. To dokazuje ducha a vůli vietnamského lidu v obtížných podmínkách, zejména v tomto případě překonávání výzev v procesu vývoje LLM pro vietnamské občany.

Pro výuku LLM potřebovali inženýři správnou infrastrukturu. V té době však byly grafické karty jako Nvidia H100 téměř „globální raritou“. Velké společnosti si je mezitím předobjednaly na rok a zaplatily za ně miliony dolarů. Ve Vietnamu se Zalo také pokusil koupit 8 serverů DGX H100, ale nebylo to snadné, protože musel čekat na každou várku dodávek od výrobce.

Vzhledem k absenci grafických karet Nvidia museli vietnamští inženýři flexibilně používat civilní grafické karty k experimentování s každým řádkem kódu a spuštění každého malého modelu. Místo čekání se inženýři proaktivně připravili, aby vše bylo připraveno, až budou mít moderní vybavení.

Pokud jde o data, Zalo se místo spoléhání na dostupné zdroje investovalo do vybudování vysoce kvalitního datového skladu speciálně pro vietnamštinu, aby vyrovnalo vážný nedostatek oproti angličtině a čínštině.

Díky své flexibilní vývojové strategii se společnosti Zalo podařilo zkrátit dobu vývoje svého rozsáhlého jazykového modelu z očekávaných 18 měsíců na 6 měsíců. Na konci roku 2023 byl vietnamský rozsáhlý jazykový model společnosti Zalo oficiálně spuštěn na akci, která shromáždila přední technologickou a umělou inteligenci ve Vietnamu - Zalo AI Summit. Zde model LLM společnosti Zalo debutoval prostřednictvím výzvy Kahoot, kterou stanovila platforma Tinhte.vn, a překvapivě překonal GPT 3.5, hned za GPT4 - modelem LLM, který byl v té době považován za nejsilnější na světě.

Na platformě VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models) dosáhl model Zalo 1,5krát vyšší kapacity než GPT-3.5 od OpenAI. Do konce roku 2024 tento model překoná velká jména, jako jsou GPT-4 (OpenAI), Gemma-2-9B (Google) nebo Phi-3-small (Microsoft), a co se týče vietnamské výpočetní kapacity, v žebříčku VMLU bude pouze za modelem LLaMA-3-70B od Mety.

Zalo se nezastavuje pouze u výzkumu, ale postupně přivádí technologie z laboratoře k životu komercializací a popularizací aplikačních produktů z LLM.

Začátkem roku 2025 přilákal asistent otázek a odpovědí Kiki Info – provozovaný jako oficiální účet na platformě Zalo – za necelé 2 měsíce více než 1 milion uživatelů. Další aplikace, Thiep AI, dosáhla také působivého počtu 15 milionů vytvořených a odeslaných karet za pouhé 2 měsíce.

Zalova cesta se netýká jen společnosti, která chce vyvíjet technologie. Je součástí širšího kontextu – Vietnam agresivně podporuje inovace prostřednictvím politik z rezoluce 57-NQ/TW o vědě, technologickém rozvoji a národní digitální transformaci. Zejména je kladen důraz na oblast umělé inteligence.

Vznik a rychlý rozvoj vietnamského LLM od společnosti Zalo není jen technologickým krokem vpřed pro firmu, ale také důkazem inherentní kapacity a vytrvalosti vietnamského technologického týmu.

Díky metodě „od nuly“ – trénování modelů od základu – si Zalo zvolila dlouhou cestu, ale pomohla Vietnamu skutečně zvládnout umělou inteligenci. Nejen z hlediska výsledků, ale také z hlediska celého procesu od architektury modelu, dat, algoritmů až po aplikační produkty. Úspěch Zalo také pomohl Vietnamu stát se jednou z mála zemí jihovýchodní Asie, které vlastní domácí model LLM – což je strategický milník v kontextu stále tvrdší globální technologické konkurence.

Na dlouhé cestě, která je před námi, se Zalo nezastaví pouze u jednoho modelu nebo několika produktů, ale bude model i nadále zdokonalovat, aby sloužil uživatelům a vytvořil konkurenceschopnou vietnamskou platformu umělé inteligence: „Cesta vývoje umělé inteligence společnosti Zalo je stále dlouhá. Budeme i nadále optimalizovat model do šířky i hloubky a zároveň podporovat praktické využití. Konečným cílem je vytvářet kvalitní produkty umělé inteligence, které prakticky slouží vietnamskému lidu,“ dodal pan Son.

Úspěšný vývoj vietnamského LLM ve společnosti Zalo není jen průlomem pro podnikání, ale také otevírá potenciální budoucnost pro vietnamskou umělou inteligenci. Vytrvalost a aspirace vietnamského lidu vedly cestu k dosažení hodnotných výsledků. Budoucnost vietnamské umělé inteligence nebude mít jen „Zalo“, ale také generaci statečných inženýrů, kteří budou následovat, dědit a dobýt svět technologií.

Zdroj: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html