Daha az parametre, daha fazla veri

Google'ın geçen hafta duyurduğu en yeni büyük dil modeli (LLM) olan PaLM 2, 2022'deki selefine kıyasla neredeyse beş kat daha fazla eğitim verisi kullanıyor ve bu sayede programlama yapabiliyor, sorunları çözebiliyor ve daha gelişmiş içerikler oluşturabiliyor.

Google I/O geliştirici konferansında, arama devi 3,6 trilyon belirteç (token) tabanlı bir dil eğitim modeli olan PaLM 2'yi tanıttı. Bu belirteçler, bir sonraki kelimenin nasıl görüneceğini tahmin etmek için LLM eğitiminde kullanılan yapı taşları olan kelime dizileridir.

PaLM'nin önceki sürümü 2022'de piyasaya sürüldü ve 780 milyar token kullanılarak eğitildi.

Geçtiğimiz hafta düzenlenen Google I/O etkinliğinde Google CEO'su Sundar Pichai, şirketin en yeni büyük dil modeli olan PaLM 2'yi tanıttı.

Google, arama, e-posta, kelime işlem ve elektronik tablo görevlerinde yapay zekanın gücünü sürekli olarak sergilese de, eğitim veri kümelerinin boyutunu veya ayrıntılarını açıklamaktan kaçınıyor. OpenAI de en son LLM eğitim parametresi olan GPT-4'ün ayrıntılarını gizli tutuyor.

Teknoloji şirketleri bunu, işlerinin rekabetçi doğasıyla açıklıyor. Hem Google hem de OpenAI, geleneksel arama motorları yerine sohbet robotu ürünleriyle kullanıcıları çekmek için yarışıyor.

Kompakt, güçlü ve uygun fiyatlı.

Google, PaLM 2'nin önceki sürümlerden daha kompakt olduğunu ve önceki sürümdeki 540 milyar parametreye kıyasla 340 milyar parametreyle eğitildiğini belirtti. Bu, şirketin teknolojisinin karmaşık görevleri yerine getirmede daha verimli hale geldiğini gösteriyor.

Bunu başarmak için PaLM 2, "genişletilmiş hesaplama optimizasyonu" adı verilen yeni bir teknik kullanıyor; bu teknik, "daha az parametreyle daha hızlı çıkarım da dahil olmak üzere daha iyi genel performans sağlayarak işletme maliyetlerini düşürüyor."

Google'ın 100'den fazla dilde eğitilmiş en yeni yapay zeka dil modeli, deneysel sohbet robotu Bard da dahil olmak üzere 25 özellik ve ürün için çeşitli görevler gerçekleştiriyor. PaLM 2, en küçüğünden en büyüğüne doğru boyutlarına göre dört versiyonda sunuluyor: Gecko, Otter, Bison ve Unicorn.

Kamuya açık belgelere göre, PaLM 2 mevcut tüm modellerden daha güçlü. Şubat ayında piyasaya sürülen Facebook'un LlaMA modeli 1,4 trilyon token üzerinde eğitildi. Öte yandan, OpenAI'nin ChatGPT için eğitim verisi boyutunu en son açıkladığı sürüm, 300 milyar token ile GPT-3 sürümüydü.

Yapay zekâ uygulamalarındaki patlama, teknolojiyle ilgili tartışmaları da beraberinde getirdi. Bu yılın başlarında, Google Araştırma'da kıdemli bilim insanı olan El Mahdi, arama devinin şeffaflık eksikliğini protesto ederek istifa etti.

Bu hafta OpenAI CEO'su Sam Altman, yapay zekanın artan yaygınlığı bağlamında gizlilik ve teknoloji konusunda ABD Senatosu Yargı Alt Komitesi önünde ifade verdi. ChatGPT'nin yaratıcısı, burada yasa koyucularla yapay zekayı yönetmek için yeni düzenlemelere ihtiyaç duyulduğu konusunda hemfikir olduğunu belirtti.

(CNBC'ye göre)

Kaynak: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html