Lebih sedikit parameter, lebih banyak data

PaLM 2, model bahasa besar (LLM) terkini Google, yang diumumkan minggu lalu, menggunakan hampir lima kali ganda jumlah data latihan berbanding model sebelumnya pada tahun 2022, membolehkannya memprogram, menyelesaikan masalah dan mencipta kandungan yang lebih canggih.

Di persidangan pembangun Google I/O, gergasi carian itu memperkenalkan PaLM 2 – model latihan bahasa berdasarkan 3.6 trilion token. Token ini merupakan rentetan perkataan – blok binaan yang digunakan dalam latihan LLM untuk meramalkan perkataan seterusnya yang akan muncul.

Versi PaLM sebelumnya telah dikeluarkan pada tahun 2022 dan dilatih menggunakan 780 bilion token.

Di acara Google I/O minggu lalu, Ketua Pegawai Eksekutif Google, Sundar Pichai, memperkenalkan model bahasa besar terkini syarikat itu, PaLM 2.

Walaupun Google sentiasa mempamerkan kuasa AI dalam carian, e-mel, pemprosesan perkataan dan tugasan hamparan, syarikat itu enggan mendedahkan saiz atau butiran set data latihannya. OpenAI juga merahsiakan butiran parameter latihan LLM terkininya, GPT-4.

Syarikat-syarikat teknologi menjelaskan perkara ini dengan memetik sifat persaingan perniagaan mereka. Kedua-dua Google dan OpenAI berlumba-lumba untuk menarik pengguna dengan produk chatbot dan bukannya enjin carian tradisional.

Padat, berkuasa dan menjimatkan kos.

Google menyatakan bahawa PaLM 2 lebih padat berbanding model sebelumnya, setelah dilatih dengan 340 bilion parameter berbanding 540 bilion parameter dalam versi sebelumnya. Ini menunjukkan bahawa teknologi syarikat itu menjadi lebih cekap dalam melaksanakan tugas yang kompleks.

Untuk mencapai matlamat ini, PaLM 2 menggunakan teknik baharu yang dipanggil "pengoptimuman pengkomputeran lanjutan," yang memberikan "prestasi keseluruhan yang lebih baik, termasuk inferens yang lebih pantas dengan parameter yang lebih sedikit, sekali gus mengurangkan kos operasi."

Model bahasa AI terkini Google, yang dilatih dalam lebih 100 bahasa, sedang melaksanakan pelbagai tugas untuk 25 ciri dan produk, termasuk bot sembang eksperimental Bard. PaLM 2 didatangkan dalam empat versi berdasarkan saiz, dari terkecil hingga terbesar: Gecko, Otter, Bison dan Unicorn.

Menurut dokumen yang tersedia secara umum, PaLM 2 lebih berkuasa daripada mana-mana model sedia ada. LlaMA Facebook, yang dilancarkan pada bulan Februari, dilatih menggunakan 1.4 trilion token. Sementara itu, kali terakhir OpenAI mendedahkan secara terbuka saiz data latihan untuk ChatGPT adalah versi GPT-3 dengan 300 bilion token.

Ledakan aplikasi AI telah mencetuskan kontroversi seputar teknologi tersebut. Awal tahun ini, El Mahdi, seorang saintis kanan di Google Research, meletak jawatan sebagai protes terhadap kekurangan ketelusan gergasi carian itu.

Minggu ini, Ketua Pegawai Eksekutif OpenAI, Sam Altman turut memberi keterangan di hadapan Subjawatankuasa Kehakiman Senat AS mengenai privasi dan teknologi dalam konteks peningkatan kelaziman AI. Di sana, pencipta ChatGPT bersetuju dengan penggubal undang-undang bahawa peraturan baharu diperlukan untuk mentadbir AI.

(Menurut CNBC)

Sumber: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html