Menos parámetros, más datos

[anuncio_1]

PaLM 2, el último modelo de lenguaje grande (LLM) de Google, anunciado la semana pasada, utiliza casi cinco veces la cantidad de datos de entrenamiento en comparación con su predecesor de 2022, lo que le permite programar, resolver problemas y crear contenido más avanzado.

En la conferencia para desarrolladores Google I/O, el gigante de las búsquedas presentó PaLM 2, un modelo de entrenamiento de lenguaje basado en 3,6 billones de tokens. Estos tokens son cadenas de palabras, los componentes básicos del entrenamiento LLM para predecir la siguiente palabra que aparecerá.

La versión anterior de PaLM se lanzó en 2022 y se entrenó utilizando 780 mil millones de tokens.

En el evento Google I/O de la semana pasada, el CEO de Google, Sundar Pichai, presentó el último gran modelo de lenguaje de la compañía, PaLM 2.

Aunque Google muestra constantemente el poder de la IA en tareas de búsqueda, correo electrónico, procesamiento de textos y hojas de cálculo, la empresa se muestra reticente a revelar el tamaño o los detalles de sus conjuntos de datos de entrenamiento. OpenAI también mantiene la confidencialidad de su último parámetro de entrenamiento LLM, GPT-4.

Las empresas tecnológicas explican esto citando la naturaleza competitiva de su negocio. Tanto Google como OpenAI compiten por atraer usuarios con productos de chatbot en lugar de los motores de búsqueda tradicionales.

Compacto, potente y rentable.

Google afirmó que PaLM 2 es más compacto que sus predecesores, ya que se entrenó con 340 mil millones de parámetros, en comparación con los 540 mil millones de la versión anterior. Esto demuestra que la tecnología de la compañía es cada vez más eficiente al realizar tareas complejas.

Para lograrlo, PaLM 2 utiliza una nueva técnica llamada “optimización computacional extendida”, que ofrece “un mejor rendimiento general, incluida una inferencia más rápida con menos parámetros, lo que reduce los costos operativos”.

El último modelo de lenguaje de IA de Google, entrenado en más de 100 idiomas, realiza diversas tareas para 25 funciones y productos, incluido el chatbot experimental Bard. PaLM 2 está disponible en cuatro versiones según su tamaño, de menor a mayor: Gecko, Otter, Bison y Unicorn.

Según documentos públicos, PaLM 2 es más potente que cualquier modelo existente. LlaMA de Facebook, lanzado en febrero, se entrenó con 1,4 billones de tokens. Mientras tanto, la última vez que OpenAI divulgó públicamente el tamaño de los datos de entrenamiento para ChatGPT fue la versión GPT-3, con 300 000 millones de tokens.

La proliferación de aplicaciones de IA ha generado controversia en torno a esta tecnología. A principios de este año, El Mahdi, científico sénior de Google Research, dimitió en protesta por la falta de transparencia del gigante de las búsquedas.

Esta semana, Sam Altman, director ejecutivo de OpenAI, también testificó ante el Subcomité Judicial del Senado de EE. UU. sobre privacidad y tecnología en el contexto de la creciente prevalencia de la IA. Allí, el creador de ChatGPT coincidió con los legisladores en la necesidad de nuevas regulaciones para regular la IA.

(Según CNBC)

[anuncio_2]
Fuente