Mniej parametrów, więcej danych

[reklama_1]

PaLM 2, najnowszy model dużego języka (LLM) firmy Google, zaprezentowany w zeszłym tygodniu, wykorzystuje prawie pięciokrotnie większą ilość danych szkoleniowych w porównaniu do swojego poprzednika z 2022 r., co pozwala na programowanie, rozwiązywanie problemów i tworzenie bardziej zaawansowanych treści.

Na konferencji programistów Google I/O gigant wyszukiwania zaprezentował PaLM 2 – model szkolenia językowego oparty na 3,6 biliona tokenów. Tokeny te to ciągi słów – elementy składowe wykorzystywane w szkoleniach LLM do przewidywania kolejnego słowa, które się pojawi.

Poprzednia wersja PaLM została wydana w 2022 r. i została wytrenowana przy użyciu 780 miliardów tokenów.

Podczas ubiegłotygodniowej konferencji Google I/O dyrektor generalny Google, Sundar Pichai, przedstawił najnowszy model języka programowania firmy – PaLM 2.

Chociaż Google stale demonstruje potencjał sztucznej inteligencji w wyszukiwaniu, poczcie e-mail, przetwarzaniu tekstu i arkuszach kalkulacyjnych, firma niechętnie ujawnia rozmiar ani szczegóły swoich zbiorów danych szkoleniowych. OpenAI utrzymuje również poufność szczegółów swojego najnowszego parametru szkoleniowego LLM, GPT-4.

Firmy technologiczne tłumaczą to konkurencyjną naturą swojej działalności. Zarówno Google, jak i OpenAI ścigają się, aby przyciągnąć użytkowników za pomocą chatbotów zamiast tradycyjnych wyszukiwarek.

Kompaktowy, wydajny i ekonomiczny.

Google stwierdziło, że PaLM 2 jest bardziej kompaktowy niż jego poprzednicy, ponieważ został wytrenowany z wykorzystaniem 340 miliardów parametrów w porównaniu z 540 miliardami parametrów w poprzedniej wersji. To pokazuje, że technologia firmy staje się coraz bardziej wydajna w realizacji złożonych zadań.

Aby to osiągnąć, PaLM 2 wykorzystuje nową technikę zwaną „rozszerzoną optymalizacją obliczeniową”, która zapewnia „lepszą ogólną wydajność, w tym szybsze wnioskowanie przy mniejszej liczbie parametrów, co przekłada się na redukcję kosztów operacyjnych”.

Najnowszy model językowy sztucznej inteligencji Google, trenowany w ponad 100 językach, wykonuje różne zadania dla 25 funkcji i produktów, w tym eksperymentalnego chatbota Bard. PaLM 2 jest dostępny w czterech wersjach, w zależności od rozmiaru, od najmniejszej do największej: Gecko, Otter, Bison i Unicorn.

Według publicznie dostępnych dokumentów, PaLM 2 jest potężniejszy niż jakikolwiek istniejący model. LlaMA Facebooka, uruchomiony w lutym, został wytrenowany na 1,4 biliona tokenów. Tymczasem ostatnim razem, gdy OpenAI publicznie ujawniło rozmiar danych treningowych dla ChatGPT, była wersja GPT-3 z 300 miliardami tokenów.

Eksplozja zastosowań sztucznej inteligencji wywołała kontrowersje wokół tej technologii. Na początku tego roku El Mahdi, starszy naukowiec w Google Research, zrezygnował z pracy w proteście przeciwko braku transparentności giganta wyszukiwania.

W tym tygodniu, prezes OpenAI, Sam Altman, zeznawał również przed Podkomisją Sądownictwa Senatu USA w sprawie prywatności i technologii w kontekście rosnącej popularności sztucznej inteligencji. Twórca ChatGPT zgodził się z ustawodawcami, że potrzebne są nowe regulacje dotyczące sztucznej inteligencji.

(Według CNBC)

Źródło