Sedikit parameter, banyak data

PaLM 2, model bahasa besar (LLM) terbaharu Google yang diumumkan minggu lalu, menggunakan hampir lima kali ganda jumlah data latihan sebagai pendahulunya pada 2022, membolehkannya melakukan pengaturcaraan, matematik dan penciptaan kandungan yang lebih maju.

Pada Persidangan Pembangun I/O Google, gergasi carian itu memperkenalkan PaLM 2 - model bahasa yang dilatih menggunakan 3.6 trilion token. Token ini ialah urutan perkataan - blok bangunan yang digunakan untuk melatih LLM untuk meramalkan perkataan seterusnya.

PaLM versi sebelumnya telah dikeluarkan pada 2022 dan telah dicetak dengan 780 bilion token.

Ketua Pegawai Eksekutif Google Sundar Pichai pada acara Google I/O minggu lepas memperkenalkan model bahasa besar terbaru syarikat PaLM 2

Walaupun Google telah menggembar-gemburkan kehebatan AInya dalam carian, e-mel, pemprosesan perkataan dan hamparan, syarikat itu enggan mendedahkan saiz atau butiran set data latihannya. OpenAI juga merahsiakan butiran algoritma latihan LLM terbarunya, GPT-4.

Syarikat teknologi mengaitkan sebabnya kepada sifat kompetitif perniagaan mereka. Kedua-dua Google dan OpenAI berlumba-lumba untuk menarik pengguna dengan chatbots berbanding enjin carian tradisional.

Padat, berkuasa, kos efektif

Google mengatakan PaLM 2 lebih kecil daripada pendahulunya, berlatih dengan 340 bilion parameter berbanding 540 bilion untuk versi sebelumnya. Ini menunjukkan bahawa teknologi syarikat semakin cekap dalam melaksanakan tugas yang kompleks.

Untuk mencapai matlamat ini, PaLM 2 menggunakan teknik baharu yang dipanggil "pengoptimuman pengkomputeran lanjutan," yang memberikan "prestasi keseluruhan yang lebih baik, termasuk inferens yang lebih pantas dengan parameter yang lebih sedikit yang mengurangkan overhed."

Model AI bahasa terbaru Google, dilatih dalam lebih 100 bahasa, melaksanakan pelbagai tugas untuk 25 ciri dan produk, termasuk bot sembang percubaan Bard. PaLM 2 datang dalam empat versi berdasarkan saiz, daripada terkecil hingga terbesar: Gecko, Otter, Bison dan Unicorn.

Menurut dokumentasi awam, PaLM 2 lebih berkuasa daripada mana-mana model sedia ada. LlaMA Facebook, dikeluarkan pada bulan Februari, telah dilatih menggunakan 1.4 trilion token. Sementara itu, OpenAI kali terakhir mendedahkan saiz data latihan untuk ChatGPT, versi GPT-3, dengan 300 bilion token.

Ledakan aplikasi AI telah menimbulkan kontroversi mengenai teknologi. Awal tahun ini, El Mahdi El Mhamdi, seorang saintis kanan di Google Research, meletak jawatan sebagai protes atas kekurangan ketelusan gergasi pencarian itu.

Minggu ini, Ketua Pegawai Eksekutif OpenAI Sam Altman turut memberi keterangan di hadapan jawatankuasa kecil Badan Kehakiman Senat AS mengenai privasi dan teknologi dalam konteks AI menjadi lebih meluas, di mana "bapa" ChatGPT bersetuju dengan penggubal undang-undang bahawa peraturan baharu diperlukan untuk mentadbir AI.

(Menurut CNBC)

Sumber