Az parametre, çok veri

Google'ın geçen hafta duyurduğu en son büyük dil modeli (LLM) PaLM 2, 2022 selefine göre yaklaşık beş kat daha fazla eğitim verisi kullanıyor ve bu sayede daha gelişmiş programlama, matematik ve içerik oluşturma işlemleri yapılabiliyor.

Google I/O Geliştirici Konferansı'nda arama devi, 3,6 trilyon belirteçle eğitilmiş bir dil modeli olan PaLM 2'yi tanıttı. Bu belirteçler, LLM'nin bir sonraki kelimeyi tahmin etmesini sağlamak için kullanılan yapı taşları olan kelime dizileridir.

PaLM'in önceki versiyonu 2022 yılında yayınlanmış ve 780 milyar token basılmıştı.

Google CEO'su Sundar Pichai, geçen hafta düzenlenen Google I/O etkinliğinde şirketin en son büyük dil modeli PaLM 2'yi tanıttı

Google, arama, e-posta, kelime işleme ve elektronik tablolardaki yapay zeka becerilerini överken, eğitim veri kümelerinin boyutunu veya ayrıntılarını açıklamaktan kaçındı. OpenAI ayrıca, en son LLM eğitim algoritması GPT-4'ün ayrıntılarını da gizli tutuyor.

Teknoloji şirketleri, bunun nedenini işletmelerinin rekabetçi yapısına bağlıyor. Hem Google hem de OpenAI, geleneksel arama motorları yerine sohbet robotlarıyla kullanıcı çekmek için yarışıyor.

Kompakt, güçlü, uygun maliyetli

Google, PaLM 2'nin önceki sürümlerden daha küçük olduğunu ve önceki sürümdeki 540 milyar parametreye kıyasla 340 milyar parametreyle eğitim aldığını belirtiyor. Bu, şirketin teknolojisinin karmaşık görevleri yerine getirmede daha verimli hale geldiğini gösteriyor.

Bunu başarmak için PaLM 2, "genişletilmiş hesaplama optimizasyonu" adı verilen yeni bir teknik kullanıyor. Bu teknik, "daha az parametreyle daha hızlı çıkarım ve genel giderleri azaltarak daha iyi genel performans" sağlıyor.

Google'ın 100'den fazla dilde eğitilen en yeni dil yapay zekası modeli, deneysel sohbet robotu Bard da dahil olmak üzere 25 özellik ve ürün için çeşitli görevler gerçekleştiriyor. PaLM 2, en küçüğünden en büyüğüne doğru dört farklı boyuta sahip: Gecko, Otter, Bison ve Unicorn.

Kamuya açık belgelere göre, PaLM 2 mevcut tüm modellerden daha güçlü. Şubat ayında piyasaya sürülen Facebook'un LlaMA modeli, 1,4 trilyon token ile eğitildi. Bu arada, OpenAI son olarak GPT-3'ün bir versiyonu olan ve 300 milyar token içeren ChatGPT için eğitim verisi boyutunu kamuoyuna açıkladı.

Yapay zeka uygulamalarının patlaması, teknoloji etrafında tartışmalara yol açtı. Bu yılın başlarında, Google Araştırma'da kıdemli bir bilim insanı olan El Mahdi El Mhamdi, arama devinin şeffaflık eksikliğini protesto etmek için istifa etti.

Bu hafta OpenAI CEO'su Sam Altman da yapay zekanın daha yaygın hale gelmesi bağlamında ABD Senatosu Yargı Alt Komitesi'nin gizlilik ve teknoloji alt komitesinde ifade verdi. ChatGPT'nin "babası" Altman, yapay zekanın yönetilmesi için yeni düzenlemelere ihtiyaç duyulduğu konusunda yasa koyucularla aynı fikirdeydi.

(CNBC'ye göre)

[reklam_2]
Kaynak