GPT Pho menempatkan Vietnam di peta teknologi dunia

Pho GPT adalah singkatan dari Pho - Generative Pre-trained Transformer, merupakan proyek model bahasa besar yang didedikasikan untuk bahasa Vietnam, yang diimplementasikan oleh tim teknik VinAI - anggota Vingroup Corporation.

"Mengejar ketinggalan" dengan teknologi dunia

Pho GPT menggunakan kode sumber terbuka, alih-alih perangkat lunak berpemilik seperti ChatGPT dari OpenAI. Ini berarti kode sumber Pho GPT bersifat publik, tersedia, dan pengguna dapat berkontribusi dalam pengembangan Pho GPT melalui aplikasi khusus.

Menurut pengantar VinAI, Pho GPT memiliki 7,5 miliar parameter, yang dibangun di atas platform dekode Transformer. Model ini dilatih dari awal, menggunakan teknik tercanggih yang tersedia seperti mekanisme Flash Attention dan ekstrapolasi panjang konteks AliBi.

Teknik-teknik ini tidak hanya membantu Pho GPT memahami konteks lebih dalam, tetapi juga meningkatkan kemampuan aplikasi untuk berdialog dan berinteraksi secara alami selama penggunaan. Hal ini menjadikan model ini alat yang serbaguna dan multifungsi, yang mampu memenuhi beragam kebutuhan bahasa pengguna.

Tuan Bui Hai Hung, Direktur Jenderal VinAI.

Berbicara tentang pentingnya kelahiran Pho GPT, Bapak Bui Hai Hung, Direktur Jenderal VinAI, mengatakan bahwa tujuan proyek ini adalah untuk mengembangkan model yang serupa dengan ChatGPT untuk bahasa dan budaya Vietnam. Pho GPT memiliki kemampuan untuk memahami dan menulis gaya penulisan bahasa Vietnam dengan cara yang lebih unggul daripada teknologi bahasa generasi sebelumnya. Model ini juga dilatih dari awal dengan set data Vietnam, tanpa bergantung pada model lain di dunia, memastikan penguasaan teknologi inti yang canggih untuk Vietnam.

Patut disebutkan bahwa, tepat ketika dunia sedang ramai membicarakan kelahiran Chat GPT, setahun kemudian, Pho GPT muncul di Vietnam. Menurut Bapak Bui Hai Hung, VinAI adalah pelopor di Asia Tenggara yang meluncurkan model bahasa pemrograman berskala besar dengan kode sumber terbuka. Beberapa minggu kemudian, produk serupa diluncurkan di Singapura.

Meningkatkan AI Vietnam

Hasil perbandingan versi Pho GPT-7B5-Instruct dengan ChatGPT sumber tertutup (GPT-3.5-turbo) dan model sumber terbuka lainnya menunjukkan bahwa Pho GPT menempati peringkat kedua, hanya setelah ChatGPT di sebagian besar kategori evaluasi.

Pho GPT memiliki banyak perbedaan dibandingkan model bahasa lain, terutama ChatGPT. Model ini dirancang untuk memahami dan menulis gaya penulisan bahasa Vietnam secara alami, mencerminkan konteks, tata bahasa, kosakata, dan ekspresi orang Vietnam. Pho GPT dapat berinteraksi dengan pengguna tentang topik-topik terkait budaya, sejarah, geografi, masyarakat, hiburan, olahraga , dan sebagainya.

Lebih lanjut, Pho GPT bersifat sumber terbuka dan fleksibel. Pengguna dapat mengembangkan aplikasi yang unik dan khusus, terutama yang membutuhkan keamanan tinggi, tanpa bergantung pada sumber perangkat lunak berpemilik.

Di saat yang sama, prioritas Pho GPT adalah kinerja tinggi dan penghematan biaya dengan pelatihan menggunakan teknik optimasi terkini, yang membantu mengurangi ukuran dan meningkatkan kecepatan aplikasi. Pho GPT juga dapat berjalan pada platform komputasi yang lebih kecil, sehingga membantu mengurangi biaya dan menghemat sumber daya.

Dilatih dengan gudang data Vietnam hingga 41 GB, yang terdiri dari 1 GB teks Wikipedia dan varian 40 GB yang telah menghapus duplikat dari set data berita, dilatih untuk menggunakan pustaka llm-foundry Mosaicml llm, Pho GPT dapat menghasilkan fragmen teks sesuai permintaan pengguna, seperti artikel, puisi, lagu, esai, pidato, pendahuluan... Pho GPT juga dapat membuat konten kreatif dan humoris, seperti cerita pendek, komentar, peribahasa, pesan, tweet, meme... Pada saat yang sama, ia juga berdialog dengan pengguna tentang berbagai topik seperti peristiwa terkini, pendidikan, kesehatan, perjalanan, kuliner, olahraga, hiburan... Selain itu, Pho GPT juga dapat menjawab pertanyaan pengguna, memberikan informasi, saran, dukungan, menjawab pertanyaan...

Selain itu, Pho GPT dapat menerjemahkan teks atau jenis teks yang berbeda sifatnya seperti dokumen resmi, komersial, akademis, sastra… dari bahasa Vietnam ke bahasa lain dan sebaliknya.

Fitur luar biasa lainnya adalah Pho GPT menganalisis dan memproses paragraf teks, seperti meringkas, mengklasifikasikan, memberi label, mengekstrak informasi, mendeteksi emosi, mendeteksi kesalahan, meningkatkan gaya penulisan...

Ke depannya, tim pengembangan Pho GPT mengatakan mereka akan terus menyempurnakan model dan memperluas proyek ke bahasa lain, terutama di kawasan Asia Tenggara.

"Kelahiran Pho GPT menandai pertama kalinya Vietnam berkesempatan untuk 'mengejar ketertinggalan' dunia dalam bidang teknologi canggih ini dan memiliki model bahasa yang luas dengan kode sumber terbuka khusus untuk masyarakat Vietnam, dioptimalkan untuk bahasa Vietnam, dan independen dari dunia. Ini adalah kebanggaan Vin AI khususnya dan masyarakat Vietnam pada umumnya," tambah perwakilan VinAI.

Menanggapi potensi dan peluang pengembangan Pho GPT di masa mendatang, Bapak Tran Duy Dong, Wakil Menteri Perencanaan dan Investasi, menekankan: "AI akan menjadi salah satu bidang di mana Vietnam memiliki potensi besar untuk berkembang pesat dan segera menyamai tingkat dunia. Kementerian akan senantiasa mendukung dan mendampingi komunitas AI khususnya, dan komunitas sains dan teknologi pada umumnya, untuk mengembangkan ekosistem inovasi yang komprehensif dan dinamis, yang berkontribusi pada pembangunan negara secara keseluruhan."

Sumber: https://khoahocdoisong.vn/pho-gpt-ghi-ten-viet-nam-len-ban-do-cong-nghe-the-gioi-post229954.html