Pho GPT ย่อมาจาก Pho - Generative Pre-trained Transformer เป็นโครงการจำลองภาษาขนาดใหญ่ที่มุ่งเน้นไปที่ภาษาเวียดนาม โดยดำเนินการโดยทีมวิศวกร VinAI ซึ่งเป็นสมาชิกของ Vingroup Corporation
“ตามทัน” เทคโนโลยีโลก
Pho GPT ใช้โค้ดโอเพนซอร์สแทนซอฟต์แวร์ที่เป็นกรรมสิทธิ์อย่าง ChatGPT จาก OpenAI ซึ่งหมายความว่าซอร์สโค้ดของ Pho GPT เผยแพร่สู่สาธารณะและผู้ใช้สามารถมีส่วนร่วมในการพัฒนา Pho GPT ผ่านแอปพลิเคชันที่กำหนดเองได้
VinAI ระบุว่า Pho GPT มีพารามิเตอร์ 7.5 พันล้านตัว ซึ่งสร้างขึ้นบนแพลตฟอร์มถอดรหัส Transformer โมเดลนี้ได้รับการฝึกฝนตั้งแต่เริ่มต้น โดยใช้เทคนิคขั้นสูงที่สุดที่มีอยู่ เช่น กลไก Flash Attention และการประมาณความยาวบริบทของ AliBi
เทคนิคเหล่านี้ไม่เพียงแต่ช่วยให้ Pho GPT เข้าใจบริบทได้อย่างลึกซึ้งยิ่งขึ้น แต่ยังช่วยเพิ่มความสามารถของแอปพลิเคชันในการสนทนาและโต้ตอบอย่างเป็นธรรมชาติระหว่างการใช้งาน ซึ่งทำให้โมเดลนี้เป็นเครื่องมืออเนกประสงค์และทำงานได้หลากหลาย สามารถตอบสนองความต้องการด้านภาษาที่หลากหลายของผู้ใช้ได้
 |
นายบุย ไห่ ฮุง ผู้อำนวยการทั่วไปของ VinAI |
คุณบุ่ย ไห่ ฮุง ผู้อำนวยการทั่วไปของ VinAI ได้กล่าวถึงความสำคัญของการกำเนิด Pho GPT ว่า เป้าหมายของโครงการคือการพัฒนาแบบจำลองที่คล้ายกับ ChatGPT สำหรับภาษาเวียดนามและวัฒนธรรมเวียดนาม Pho GPT มีความสามารถในการเข้าใจและเขียนภาษาเวียดนามได้เหนือกว่าเทคโนโลยีภาษารุ่นก่อนๆ นอกจากนี้ แบบจำลองยังได้รับการฝึกฝนตั้งแต่เริ่มต้นด้วยชุดข้อมูลภาษาเวียดนาม โดยไม่ขึ้นอยู่กับแบบจำลองอื่นๆ ในโลก จึงมั่นใจได้ว่าเวียดนามจะเชี่ยวชาญเทคโนโลยีหลักขั้นสูง
ที่น่าสังเกตคือ หนึ่งปีต่อมา ขณะที่โลกกำลังฮือฮาเกี่ยวกับการกำเนิดของ Chat GPT ก็มี Pho GPT ปรากฏขึ้นในเวียดนาม คุณบุ่ย ไห่ หง กล่าวว่า VinAI เป็นผู้บุกเบิกในเอเชียตะวันออกเฉียงใต้ที่เปิดตัวโมเดลภาษาขนาดใหญ่ด้วยโค้ดโอเพนซอร์ส ไม่กี่สัปดาห์ต่อมา ผลิตภัณฑ์ที่คล้ายกันก็ได้เปิดตัวในสิงคโปร์
การยกระดับ AI ของเวียดนาม
ผลการเปรียบเทียบ Pho GPT-7B5-Instruct เวอร์ชันกับ ChatGPT ซอร์สปิด (GPT-3.5-turbo) และโมเดลโอเพนซอร์สอื่นๆ แสดงให้เห็นว่า Pho GPT อยู่ในอันดับที่สอง รองจาก ChatGPT ในหมวดหมู่การประเมินส่วนใหญ่
Pho GPT มีความแตกต่างมากมายเมื่อเทียบกับรูปแบบภาษาอื่นๆ โดยเฉพาะ ChatGPT ออกแบบมาเพื่อความเข้าใจและการเขียนภาษาเวียดนามอย่างเป็นธรรมชาติ สะท้อนบริบท ไวยากรณ์ คำศัพท์ และสำนวนภาษาเวียดนาม สามารถโต้ตอบกับผู้ใช้ในหัวข้อต่างๆ ที่เกี่ยวข้องกับวัฒนธรรม ประวัติศาสตร์ ภูมิศาสตร์ สังคม บันเทิง กีฬา และอื่นๆ ของเวียดนามได้
ยิ่งไปกว่านั้น Pho GPT ยังเป็นโอเพนซอร์สและมีความยืดหยุ่น ผู้ใช้สามารถพัฒนาแอปพลิเคชันที่ปรับแต่งได้และมีเอกลักษณ์เฉพาะตัว โดยเฉพาะแอปพลิเคชันที่ต้องการความปลอดภัยสูง โดยไม่ต้องพึ่งพาแหล่งที่มาจากซอฟต์แวร์ที่เป็นกรรมสิทธิ์
ในขณะเดียวกัน Pho GPT ยังให้ความสำคัญกับประสิทธิภาพสูงและการประหยัดต้นทุนด้วยการฝึกอบรมโดยใช้เทคนิคการปรับแต่งประสิทธิภาพล่าสุด ซึ่งช่วยลดขนาดและเพิ่มความเร็วของแอปพลิเคชัน นอกจากนี้ Pho GPT ยังสามารถทำงานบนแพลตฟอร์มคอมพิวเตอร์ขนาดเล็กลงได้ ช่วยลดต้นทุนและประหยัดทรัพยากร
Pho GPT ได้รับการฝึกด้วยคลังข้อมูลภาษาเวียดนามขนาดสูงสุด 41GB ซึ่งรวมถึงข้อความ Wikipedia ขนาด 1GB และตัวแปรขนาด 40GB ที่ลบข้อมูลที่ซ้ำกันออกจากชุดข้อมูลข่าว ได้รับการฝึกโดยใช้ไลบรารี llm-foundry ของ Mosaicml llm ทำให้สามารถสร้างชิ้นส่วนข้อความตามคำขอของผู้ใช้ เช่น บทความ บทกวี เพลง เรียงความ สุนทรพจน์ บทนำ... นอกจากนี้ Pho GPT ยังสามารถสร้างเนื้อหาที่สร้างสรรค์และตลกขบขัน เช่น เรื่องสั้น ความคิดเห็น สุภาษิต ข้อความ ทวีต มีม... ในเวลาเดียวกัน ยังโต้ตอบกับผู้ใช้ในหัวข้อต่างๆ เช่น เหตุการณ์ปัจจุบัน การศึกษา สุขภาพ การท่องเที่ยว อาหาร กีฬา ความบันเทิง... นอกจากนี้ Pho GPT ยังสามารถตอบคำถามของผู้ใช้ ให้ข้อมูล คำแนะนำ การสนับสนุน และตอบคำถาม...
นอกจากนี้ Pho GPT ยังสามารถแปลข้อความหรือประเภทข้อความต่างๆ เช่น เอกสารทางการ เอกสารเชิงพาณิชย์ เอกสารวิชาการ เอกสารวรรณกรรม... จากภาษาเวียดนามเป็นภาษาอื่นและในทางกลับกัน
คุณสมบัติที่โดดเด่นอีกประการหนึ่งคือ Pho GPT วิเคราะห์และประมวลผลข้อความ เช่น การสรุป การจัดหมวดหมู่ การติดฉลาก การดึงข้อมูล การตรวจจับอารมณ์ การตรวจจับข้อผิดพลาด การปรับปรุงรูปแบบการเขียน เป็นต้น
ในอนาคต ทีมพัฒนา Pho GPT กล่าวว่าพวกเขาจะปรับปรุงโมเดลนี้ต่อไปและขยายโครงการไปยังภาษาอื่นๆ โดยเฉพาะในภูมิภาคเอเชียตะวันออกเฉียงใต้
“การถือกำเนิดของ Pho GPT นับเป็นครั้งแรกที่เวียดนามมีโอกาส “ตามทัน” โลกในด้านเทคโนโลยีขั้นสูงนี้ และเป็นเจ้าของโมเดลภาษาขนาดใหญ่พร้อมโค้ดโอเพนซอร์สสำหรับชาวเวียดนามโดยเฉพาะ ซึ่งได้รับการปรับแต่งให้เหมาะสมกับภาษาเวียดนาม โดยไม่ขึ้นกับโลกภายนอก นี่คือความภาคภูมิใจของ Vin AI โดยเฉพาะ และชาวเวียดนามโดยทั่วไป” ตัวแทนของ VinAI กล่าวเสริม
นายเจิ่น ซวี ดอง รัฐมนตรีช่วยว่าการกระทรวงวางแผนและการลงทุน ได้กล่าวถึงศักยภาพและโอกาสในการพัฒนาของ Pho GPT ในอนาคตอันใกล้นี้ โดยเน้นย้ำว่า “AI จะเป็นหนึ่งในสาขาที่เวียดนามมีศักยภาพในการพัฒนาอย่างแข็งแกร่งและจะก้าวทันระดับโลกในไม่ช้า กระทรวงฯ จะสนับสนุนและร่วมมือกับชุมชน AI โดยเฉพาะอย่างยิ่งชุมชนวิทยาศาสตร์และเทคโนโลยีโดยรวม เพื่อพัฒนาระบบนิเวศนวัตกรรมที่ครอบคลุมและมีพลวัต ซึ่งจะนำไปสู่การพัฒนาประเทศโดยรวม”
แหล่งที่มา
การแสดงความคิดเห็น (0)