GPT Pho meletakkan Vietnam pada peta teknologi dunia

Pho GPT adalah singkatan dari Pho - Generative Pre-trained Transformer, ialah projek model bahasa besar yang didedikasikan untuk bahasa Vietnam, dilaksanakan oleh pasukan kejuruteraan VinAI - ahli Vingroup Corporation.

"Kejar" dengan teknologi dunia

Pho GPT menggunakan kod sumber terbuka dan bukannya perisian proprietari seperti ChatGPT OpenAI. Ini bermakna kod sumber Pho GPT adalah awam, tersedia dan pengguna boleh menyumbang kepada pembangunan Pho GPT melalui aplikasi tersuai.

Menurut pengenalan VinAI, Pho GPT mempunyai 7.5 bilion parameter, dibina di atas platform penyahkodan Transformer. Model ini dilatih dari awal, menggunakan teknik termaju yang tersedia seperti mekanisme Flash Attention dan ekstrapolasi panjang konteks AliBi.

Teknik ini bukan sahaja membantu Pho GPT memahami konteks dengan lebih mendalam, tetapi juga meningkatkan keupayaan aplikasi untuk berdialog dan berinteraksi secara semula jadi semasa penggunaan. Ini menjadikan model alat serba boleh dan berbilang tugas, mampu memenuhi keperluan bahasa pengguna yang pelbagai.

Encik Bui Hai Hung, Ketua Pengarah VinAI.

Berkongsi tentang kepentingan kelahiran Pho GPT, Encik Bui Hai Hung, Ketua Pengarah VinAI, berkata bahawa matlamat projek itu adalah untuk membangunkan model yang serupa dengan ChatGPT untuk bahasa Vietnam dan budaya Vietnam. Pho GPT mempunyai keupayaan untuk memahami dan menulis gaya penulisan Vietnam dengan cara yang lebih baik daripada teknologi bahasa generasi sebelumnya. Model ini juga dilatih dari awal dengan set data Vietnam, tidak bergantung pada mana-mana model lain di dunia, memastikan penguasaan teknologi teras termaju untuk Vietnam.

Perlu dinyatakan bahawa, ketika dunia heboh tentang kelahiran Chat GPT, setahun kemudian, Pho GPT muncul di Vietnam. Menurut Encik Bui Hai Hung, VinAI adalah perintis di Asia Tenggara untuk melancarkan model bahasa besar dengan kod sumber terbuka. Beberapa minggu kemudian, produk serupa telah dilancarkan di Singapura.

Meningkatkan AI Vietnam

Keputusan perbandingan versi Pho GPT-7B5-Instruct dengan ChatGPT sumber tertutup (GPT-3.5-turbo) dan model sumber terbuka lain menunjukkan Pho GPT berada di kedudukan kedua, hanya selepas ChatGPT dalam kebanyakan kategori penilaian.

Pho GPT mempunyai banyak perbezaan berbanding model bahasa lain, terutamanya ChatGPT. Ia direka bentuk untuk memahami dan menulis gaya penulisan Vietnam secara semula jadi, mencerminkan konteks, tatabahasa, perbendaharaan kata dan ungkapan orang Vietnam. Ia boleh berinteraksi dengan pengguna mengenai topik yang berkaitan dengan budaya, sejarah, geografi, masyarakat, hiburan, sukan Vietnam, dsb.

Tambahan pula, Pho GPT adalah sumber terbuka dan fleksibel. Pengguna boleh membangunkan aplikasi tersuai dan unik, terutamanya yang memerlukan keselamatan yang tinggi, tanpa bergantung pada sumber perisian proprietari.

Pada masa yang sama, keutamaan Pho GPT juga adalah prestasi tinggi dan penjimatan kos dengan latihan menggunakan teknik pengoptimuman terkini, membantu mengurangkan saiz dan meningkatkan kelajuan aplikasi. Pho GPT juga boleh dijalankan pada platform pengkomputeran yang lebih kecil, membantu mengurangkan kos dan menjimatkan sumber.

Dilatih dengan gudang data Vietnam sehingga 41GB, yang mana 1GB teks Wikipedia dan varian 40GB yang telah mengalih keluar pendua daripada set data berita, dilatih untuk menggunakan pustaka llm-foundry Mosaicml llm, Pho GPT boleh menjana serpihan teks mengikut permintaan pengguna, seperti artikel, puisi, lagu PhoPT, kata-kata lucu... kandungan, seperti cerpen, komen, peribahasa, mesej, tweet, meme... Pada masa yang sama, ia juga berdialog dengan pengguna mengenai topik yang berbeza seperti peristiwa semasa, pendidikan, kesihatan, perjalanan, masakan, sukan, hiburan... Selain itu, Pho GPT juga boleh menjawab soalan pengguna, memberi maklumat, nasihat, sokongan, menjawab soalan...

Di samping itu, Pho GPT boleh menterjemah teks atau jenis teks yang berbeza sifat seperti dokumen rasmi, komersial, akademik, sastera... daripada bahasa Vietnam ke bahasa lain dan sebaliknya.

Satu lagi ciri yang luar biasa ialah Pho GPT menganalisis dan memproses perenggan teks, seperti meringkaskan, mengklasifikasikan, melabel, mengekstrak maklumat, mengesan emosi, mengesan ralat, menambah baik gaya penulisan...

Pada masa hadapan, pasukan pembangunan Pho GPT berkata mereka akan terus menambah baik model dan mengembangkan projek itu ke bahasa lain, terutamanya di rantau Asia Tenggara.

"Kelahiran Pho GPT menandakan kali pertama Vietnam berpeluang untuk "mengejar" dunia dalam bidang teknologi canggih ini dan memiliki model bahasa besar dengan kod sumber terbuka khusus untuk orang Vietnam, dioptimumkan untuk bahasa Vietnam, bebas daripada dunia. Ini adalah kebanggaan Vin AI khususnya dan rakyat Vietnam amnya," tambah wakil VinAI itu.

Mengulas mengenai potensi dan peluang pembangunan Pho GPT pada masa akan datang, Encik Tran Duy Dong, Timbalan Menteri Perancangan dan Pelaburan, menekankan: "AI akan menjadi salah satu bidang di mana Vietnam mempunyai banyak potensi untuk membangun dengan kukuh dan tidak lama lagi mengejar peringkat dunia. Kementerian akan sentiasa menyokong dan mengiringi komuniti AI khususnya, kepada komuniti sains dan teknologi secara keseluruhan yang tidak menyumbang kepada pembangunan secara menyeluruh dan eko. pembangunan negara”.

Sumber: https://khoahocdoisong.vn/pho-gpt-ghi-ten-viet-nam-len-ban-do-cong-nghe-the-gioi-post229954.html