พารามิเตอร์น้อยลง ข้อมูลมากขึ้น

[โฆษณา_1]

PaLM 2 ซึ่งเป็นโมเดลภาษาขนาดใหญ่ (LLM) รุ่นล่าสุดของ Google ที่ประกาศไปเมื่อสัปดาห์ที่แล้ว ใช้ข้อมูลการฝึกฝนมากกว่ารุ่นก่อนหน้าในปี 2022 เกือบห้าเท่า ทำให้สามารถเขียนโปรแกรม แก้ปัญหา และสร้างเนื้อหาที่ซับซ้อนยิ่งขึ้นได้

ในงานประชุมนักพัฒนา Google I/O บริษัท Google ได้เปิดตัว PaLM 2 ซึ่งเป็นโมเดลการฝึกฝนภาษาที่ใช้โทเค็นจำนวน 3.6 ล้านล้านโทเค็น โทเค็นเหล่านี้คือสตริงของคำ ซึ่งเป็นส่วนประกอบพื้นฐานที่ใช้ในการฝึกฝน LLM เพื่อทำนายคำถัดไปที่จะปรากฏขึ้น

PaLM เวอร์ชันก่อนหน้าเปิดตัวในปี 2022 และได้รับการฝึกฝนโดยใช้โทเค็นจำนวน 780 พันล้านโทเค็น

ในงาน Google I/O เมื่อสัปดาห์ที่แล้ว Sundar Pichai ซีอีโอของ Google ได้เปิดตัวโมเดลภาษาขนาดใหญ่รุ่นล่าสุดของบริษัท นั่นคือ PaLM 2

แม้ว่า Google จะแสดงให้เห็นถึงพลังของ AI ในการค้นหา อีเมล การประมวลผลคำ และงานสเปรดชีตอย่างต่อเนื่อง แต่บริษัทก็ลังเลที่จะเปิดเผยขนาดหรือรายละเอียดของชุดข้อมูลสำหรับการฝึกอบรม เช่นเดียวกับ OpenAI ที่เก็บรายละเอียดของพารามิเตอร์การฝึกอบรม LLM รุ่นล่าสุด GPT-4 ไว้เป็นความลับ

บริษัทเทคโนโลยีอธิบายเรื่องนี้โดยอ้างถึงลักษณะการแข่งขันในธุรกิจของตน ทั้ง Google และ OpenAI ต่างเร่งดึงดูดผู้ใช้ด้วยผลิตภัณฑ์แชทบอทแทนที่จะใช้เครื่องมือค้นหาแบบดั้งเดิม

กะทัดรัด ทรงพลัง และคุ้มค่า

Google ระบุว่า PaLM 2 มีขนาดกะทัดรัดกว่ารุ่นก่อนหน้า โดยได้รับการฝึกฝนด้วยพารามิเตอร์ 340 พันล้านตัว เทียบกับ 540 พันล้านตัวในเวอร์ชันก่อนหน้า ซึ่งแสดงให้เห็นว่าเทคโนโลยีของบริษัทมีประสิทธิภาพมากขึ้นในการทำงานที่ซับซ้อน

เพื่อให้บรรลุเป้าหมายนี้ PaLM 2 ใช้เทคนิคใหม่ที่เรียกว่า “การเพิ่มประสิทธิภาพการคำนวณแบบขยาย” ซึ่งให้ “ประสิทธิภาพโดยรวมที่ดีขึ้น รวมถึงการอนุมานที่เร็วขึ้นด้วยพารามิเตอร์ที่น้อยลง จึงช่วยลดต้นทุนการดำเนินงาน”

โมเดลประมวลผลภาษา AI รุ่นล่าสุดของ Google ซึ่งได้รับการฝึกฝนในกว่า 100 ภาษา กำลังทำงานต่างๆ สำหรับฟีเจอร์และผลิตภัณฑ์กว่า 25 รายการ รวมถึงแชทบอททดลองอย่าง Bard ด้วย PaLM 2 มีให้เลือก 4 เวอร์ชันตามขนาด จากเล็กสุดไปใหญ่สุด ได้แก่ Gecko, Otter, Bison และ Unicorn

จากเอกสารที่เปิดเผยต่อสาธารณะ PaLM 2 มีประสิทธิภาพมากกว่าโมเดลที่มีอยู่ทั้งหมด LlaMA ของ Facebook ซึ่งเปิดตัวในเดือนกุมภาพันธ์ ได้รับการฝึกฝนด้วยโทเค็นจำนวน 1.4 ล้านล้านโทเค็น ในขณะเดียวกัน ครั้งล่าสุดที่ OpenAI เปิดเผยขนาดข้อมูลการฝึกฝนสำหรับ ChatGPT ต่อสาธารณะ คือเวอร์ชัน GPT-3 ซึ่งมีโทเค็นจำนวน 300 พันล้านโทเค็น

การพัฒนาแอปพลิเคชัน AI อย่างรวดเร็วได้ก่อให้เกิดข้อถกเถียงเกี่ยวกับเทคโนโลยีนี้ เมื่อต้นปีที่ผ่านมา เอล มาห์ดี นักวิทยาศาสตร์ อาวุโสของ Google Research ได้ลาออกเพื่อประท้วงการขาดความโปร่งใสของบริษัทผู้ให้บริการค้นหาข้อมูลยักษ์ใหญ่แห่งนี้

สัปดาห์นี้ แซม อัลท์แมน ซีอีโอของ OpenAI ได้ให้การต่อหน้าคณะอนุกรรมการด้านกฎหมายของวุฒิสภาสหรัฐฯ เกี่ยวกับความเป็นส่วนตัวและเทคโนโลยีในบริบทของการแพร่หลายของ AI โดยผู้สร้าง ChatGPT เห็นด้วยกับสมาชิกสภานิติบัญญัติว่าจำเป็นต้องมีกฎระเบียบใหม่เพื่อควบคุม AI

(อ้างอิงจาก CNBC)

[โฆษณา_2]
แหล่งที่มา