Cip kecerdasan buatan (AI) khusus Groq, LPU, menjadi sensasi dalam sekelip mata di media sosial, memandangkan ujian penanda arasnya yang tersedia secara umum diedarkan di platform media sosial X.

Groq mendakwa menawarkan 'model pemprosesan bahasa semula jadi terpantas di dunia ', dan ujian bebas yang meluas menunjukkan bahawa dakwaan itu mungkin tepat.

735783 1szzxeq groq.jpg
Cip LPU AI khusus Groq memberikan prestasi unggul untuk model bahasa yang besar dalam eksperimen.

Groq mengeluarkan cip AI khusus yang dipanggil LPU (Unit Pemprosesan Bahasa), yang dikatakan lebih pantas daripada GPU Nvidia. GPU Nvidia sering dianggap sebagai standard industri untuk menjalankan model AI, tetapi keputusan awal menunjukkan bahawa LPU akan mengatasinya, sekurang-kurangnya dalam tugas yang memerlukan kelajuan tinggi.

Pada asasnya, cip LPU Groq ialah 'enjin pengkomputeran' yang membolehkan chatbot seperti ChatGPT dan Gemini beroperasi dengan kelajuan penerimaan dan tindak balas yang sangat pantas. Dalam ujian yang dijalankan, chatbot yang menggunakan cip LPU mengatasi lapan chatbot yang menggunakan cip AI lain pada beberapa metrik prestasi utama, termasuk latensi berbanding daya pemprosesan dan jumlah masa tindak balas. Prestasi LPU yang unggul paling ketara apabila diuji dengan model Llama 2-70b Meta.

Menurut ujian bebas oleh Artificial Analysis, chatbot yang menggunakan cip LPU boleh mencapai daya pemprosesan sebanyak 247 token sesaat. Sebagai perbandingan, ChatGPT OpenAI pada masa ini hanya mencapai daya pemprosesan maksimum sebanyak 18 token sesaat. Ini bermakna ChatGPT boleh menjadi sehingga 13 kali lebih pantas menggunakan cip yang dibangunkan oleh Groq, walaupun ini bergantung kepada banyak faktor berkaitan lain.

Menurut Artificial Analysis, tahap prestasi ini boleh membuka kemungkinan baharu untuk model bahasa besar (LLM) merentasi pelbagai bidang. Chatbot yang menggunakan cip LPU Groq boleh menjana beratus-ratus perkataan dalam sekelip mata, membolehkan pengguna melaksanakan tugas dalam masa nyata. Dalam satu eksperimen, pengasas dan Ketua Pegawai Eksekutif Groq, Jonathon Ross, telah membimbing seorang penyampai CNN dalam perbualan lisan secara langsung dengan chatbot AI di seberang dunia.

Bot sembang AI seperti ChatGPT, Gemini dan Llama boleh menjadi lebih berguna jika ia bertindak balas dengan lebih pantas. Salah satu batasan ketara pada masa ini ialah bot sembang ini tidak dapat mengikuti pertuturan manusia dalam masa nyata. Kelewatan yang besar menjadikan perbualan kedengaran seperti robot dan tidak sesuai untuk banyak bidang.

Walaupun terdapat jangkaan yang berkaitan dengan cip LPU Groq, isu utamanya adalah menilai kebolehgunaannya secara praktikal berbanding produk yang serupa. Tidak seperti GPU Nvidia atau TPU Google, LPU Groq ialah cip AI khusus yang direka untuk dioptimumkan untuk tugasan tertentu, bukannya cip AI 'tujuan umum'.

Tambahan pula, ini juga merupakan masa apabila pembangun AI utama ingin membangunkan cip mereka sendiri bagi mengelakkan kebergantungan pada produk Nvidia. OpenAI dilaporkan sedang mencari dana berbilion dolar untuk membangunkan cipnya sendiri. Ketua Pegawai Eksekutif OpenAI, Sam Altman, juga sedang mempertimbangkan untuk membina semula keseluruhan seni bina cip AI dari awal.

(mengikut Cryptoslate)