Mało parametrów, dużo danych

[reklama_1]

PaLM 2, najnowszy model dużych języków (LLM) firmy Google, zaprezentowany w zeszłym tygodniu, wykorzystuje prawie pięciokrotnie większą ilość danych szkoleniowych niż jego poprzednik z 2022 r., co pozwala na bardziej zaawansowane programowanie, obliczenia matematyczne i tworzenie treści.

Na konferencji Google I/O Developer Conference gigant wyszukiwania zaprezentował PaLM 2 – model językowy wytrenowany na 3,6 biliona tokenów. Tokeny te to sekwencje słów – elementy składowe używane do trenowania LLM w celu przewidywania kolejnego słowa.

Poprzednia wersja PaLM została wydana w 2022 roku i wyemitowano w niej 780 miliardów tokenów.

Dyrektor generalny Google, Sundar Pichai, podczas ubiegłotygodniowego wydarzenia Google I/O przedstawił najnowszy model języka dużego PaLM 2 firmy

Chociaż Google chwali się swoimi możliwościami w zakresie sztucznej inteligencji w wyszukiwarce, poczcie e-mail, przetwarzaniu tekstu i arkuszach kalkulacyjnych, firma niechętnie ujawnia rozmiar ani szczegóły swoich zbiorów danych treningowych. OpenAI utrzymuje również w tajemnicy szczegóły swojego najnowszego algorytmu treningowego LLM, GPT-4.

Firmy technologiczne tłumaczą to konkurencją w swojej branży. Zarówno Google, jak i OpenAI ścigają się, aby przyciągnąć użytkowników za pomocą chatbotów, a nie tradycyjnych wyszukiwarek.

Kompaktowy, wydajny, ekonomiczny

Google twierdzi, że PaLM 2 jest mniejszy od swoich poprzedników i trenuje z wykorzystaniem 340 miliardów parametrów w porównaniu z 540 miliardami w poprzedniej wersji. To pokazuje, że technologia firmy staje się coraz bardziej wydajna w wykonywaniu złożonych zadań.

Aby to osiągnąć, PaLM 2 wykorzystuje nową technikę zwaną „rozszerzoną optymalizacją obliczeniową”, która zapewnia „lepszą ogólną wydajność, w tym szybsze wnioskowanie przy mniejszej liczbie parametrów, co zmniejsza obciążenie”.

Najnowszy model sztucznej inteligencji językowej Google, wytrenowany w ponad 100 językach, wykonuje różnorodne zadania dla 25 funkcji i produktów, w tym eksperymentalnego chatbota Bard. PaLM 2 jest dostępny w czterech wersjach w zależności od rozmiaru, od najmniejszej do największej: Gecko, Otter, Bison i Unicorn.

Według publicznej dokumentacji, PaLM 2 jest potężniejszy niż jakikolwiek istniejący model. LlaMA Facebooka, wydana w lutym, została wytrenowana na 1,4 biliona tokenów. Tymczasem OpenAI ostatnio publicznie ujawniło rozmiar danych treningowych dla ChatGPT, wersji GPT-3, wynoszący 300 miliardów tokenów.

Eksplozja zastosowań sztucznej inteligencji wywołała kontrowersje wokół tej technologii. Na początku tego roku El Mahdi El Mhamdi, starszy naukowiec w Google Research, zrezygnował z pracy w proteście przeciwko brakowi transparentności giganta wyszukiwania.

W tym tygodniu dyrektor generalny OpenAI, Sam Altman, zeznawał również przed podkomisją ds. wymiaru sprawiedliwości Senatu USA na temat prywatności i technologii w kontekście upowszechniania się sztucznej inteligencji. „Ojciec” ChatGPT zgodził się z prawodawcami, że potrzebne są nowe regulacje dotyczące sztucznej inteligencji.

(Według CNBC)

Źródło