Parameter lebih sedikit, data lebih banyak.

PaLM 2, model bahasa besar (LLM) terbaru Google, yang diumumkan minggu lalu, menggunakan hampir lima kali lipat jumlah data pelatihan dibandingkan pendahulunya tahun 2022, sehingga memungkinkannya untuk memprogram, memecahkan masalah, dan membuat konten yang lebih canggih.

Pada konferensi pengembang Google I/O, raksasa pencarian tersebut memperkenalkan PaLM 2 – sebuah model pelatihan bahasa yang berbasis pada 3,6 triliun token. Token-token ini adalah rangkaian kata – blok bangunan yang digunakan dalam pelatihan LLM untuk memprediksi kata berikutnya yang akan muncul.

Versi PaLM sebelumnya dirilis pada tahun 2022 dan dilatih menggunakan 780 miliar token.

Pada acara Google I/O pekan lalu, CEO Google Sundar Pichai memperkenalkan model bahasa besar terbaru perusahaan, PaLM 2.

Meskipun Google terus-menerus memamerkan kekuatan AI dalam pencarian, email, pengolah kata, dan tugas spreadsheet, perusahaan tersebut enggan mengungkapkan ukuran atau detail dari kumpulan data pelatihannya. OpenAI juga merahasiakan detail parameter pelatihan LLM terbarunya, GPT-4.

Perusahaan teknologi menjelaskan hal ini dengan menyebutkan sifat kompetitif bisnis mereka. Baik Google maupun OpenAI berlomba-lomba menarik pengguna dengan produk chatbot, bukan mesin pencari tradisional.

Ringkas, bertenaga, dan hemat biaya.

Google menyatakan bahwa PaLM 2 lebih ringkas daripada pendahulunya, karena dilatih dengan 340 miliar parameter dibandingkan dengan 540 miliar parameter pada versi sebelumnya. Hal ini menunjukkan bahwa teknologi perusahaan semakin efisien dalam melakukan tugas-tugas kompleks.

Untuk mencapai hal ini, PaLM 2 menggunakan teknik baru yang disebut “optimasi komputasi yang diperluas,” yang memberikan “kinerja keseluruhan yang lebih baik, termasuk inferensi yang lebih cepat dengan lebih sedikit parameter, sehingga mengurangi biaya operasional.”

Model bahasa AI terbaru Google, PaLM 2, yang dilatih dalam lebih dari 100 bahasa, menjalankan berbagai tugas untuk 25 fitur dan produk, termasuk chatbot eksperimental Bard. PaLM 2 hadir dalam empat versi berdasarkan ukuran, dari yang terkecil hingga terbesar: Gecko, Otter, Bison, dan Unicorn.

Menurut dokumen yang tersedia untuk umum, PaLM 2 lebih kuat daripada model yang ada saat ini. LlaMA milik Facebook, yang diluncurkan pada bulan Februari, dilatih menggunakan 1,4 triliun token. Sementara itu, terakhir kali OpenAI secara publik mengungkapkan ukuran data pelatihan untuk ChatGPT adalah versi GPT-3 dengan 300 miliar token.

Ledakan aplikasi AI telah menimbulkan kontroversi seputar teknologi tersebut. Awal tahun ini, El Mahdi, seorang ilmuwan senior di Google Research, mengundurkan diri sebagai protes terhadap kurangnya transparansi dari raksasa pencarian tersebut.

Minggu ini, CEO OpenAI Sam Altman juga memberikan kesaksian di hadapan Subkomite Kehakiman Senat AS tentang privasi dan teknologi dalam konteks meningkatnya prevalensi AI. Di sana, pencipta ChatGPT setuju dengan para pembuat undang-undang bahwa peraturan baru diperlukan untuk mengatur AI.

(Menurut CNBC)

Sumber