Groq'un özel yapay zeka (YZ) çipi LPU, herkese açık performans testlerinin sosyal medya platformu X'te yayılmasıyla birlikte sosyal medyada bir gecede büyük ilgi görüyor.

Groq, ' dünyanın en hızlı doğal dil işleme modellerini' sunduğunu iddia ediyor ve kapsamlı bağımsız testler bu iddianın doğru olabileceğini gösteriyor.

735783 1szzxeq groq.jpg
Groq'un özel LPU yapay zeka çipi, deneylerdeki büyük dil modelleri için üstün performans sunar.

Groq, Nvidia'nın GPU'larından daha hızlı olduğu söylenen LPU (Dil İşleme Birimleri) adı verilen özel yapay zeka çipleri üretiyor. Nvidia'nın GPU'ları genellikle yapay zeka modellerini çalıştırmak için sektör standardı olarak kabul edilir, ancak ilk sonuçlar LPU'ların en azından yüksek hız gerektiren görevlerde onları geçeceğini gösteriyor.

Özünde, Groq'un LPU çipi, ChatGPT ve Gemini gibi sohbet botlarının son derece hızlı alım ve yanıt hızlarıyla çalışmasını sağlayan bir 'hesaplama motoru'dur. Yapılan testlerde, LPU çipini kullanan sohbet botları, gecikme süresi/verimlilik oranı ve toplam yanıt süresi de dahil olmak üzere çeşitli temel performans ölçütlerinde diğer yapay zeka çiplerini kullanan sekiz sohbet botundan daha iyi performans gösterdi. LPU'nun üstün performansı, Meta'nın Llama 2-70b modeliyle test edildiğinde en belirgin şekilde ortaya çıktı.

Artificial Analysis tarafından yapılan bağımsız testlere göre, LPU çipleri kullanan chatbot'lar saniyede 247 token işleme hızına ulaşabiliyor. Karşılaştırma yapmak gerekirse, OpenAI'nin ChatGPT'si şu anda saniyede maksimum 18 token işleme hızına ulaşıyor. Bu, ChatGPT'nin Groq tarafından geliştirilen çipler kullanılarak 13 kata kadar daha hızlı olabileceği anlamına geliyor, ancak bu birçok diğer ilgili faktöre de bağlı.

Artificial Analysis'e göre, bu performans seviyesi, çeşitli alanlarda büyük dil modelleri (LLM'ler) için yeni olanaklar sağlayabilir. Groq'un LPU çipini kullanan chatbot'lar, anında yüzlerce kelime üretebiliyor ve kullanıcıların görevleri gerçek zamanlı olarak gerçekleştirmesine olanak tanıyor. Bir deneyde, Groq'un kurucusu ve CEO'su Jonathon Ross, dünyanın diğer ucundaki bir yapay zeka chatbot'uyla canlı bir sözlü sohbette CNN sunucusuna rehberlik etti.

ChatGPT, Gemini ve Llama gibi yapay zekâ destekli sohbet botları, daha hızlı yanıt verebilselerdi çok daha kullanışlı olabilirlerdi. Şu anki en önemli sınırlamalardan biri, bu sohbet botlarının insan konuşmasına gerçek zamanlı olarak ayak uyduramamasıdır. Bu büyük gecikme, konuşmanın robotik ve birçok alan için uygunsuz olmasına neden oluyor.

Groq'un LPU çipiyle ilgili beklentilere rağmen, asıl sorun benzer ürünlerle karşılaştırıldığında pratik uygulanabilirliğinin değerlendirilmesidir. Nvidia'nın GPU'larından veya Google'ın TPU'larından farklı olarak, Groq'un LPU'su 'genel amaçlı' bir yapay zeka çipi değil, belirli görevler için optimize edilmiş özel bir yapay zeka çipidir.

Dahası, bu aynı zamanda büyük yapay zeka geliştiricilerinin Nvidia ürünlerine olan bağımlılıktan kurtulmak için kendi çiplerini geliştirmeye çalıştığı bir dönem. OpenAI'nin kendi çiplerini geliştirmek için trilyonlarca dolar fon aradığı bildiriliyor. OpenAI CEO'su Sam Altman, yapay zeka çip mimarisini sıfırdan yeniden inşa etmeyi bile düşünüyor.

(Cryptoslate'e göre)