Menos parámetros, más datos

PaLM 2, el último modelo de lenguaje a gran escala (LLM) de Google, anunciado la semana pasada, utiliza casi cinco veces la cantidad de datos de entrenamiento en comparación con su predecesor de 2022, lo que le permite programar, resolver problemas y crear contenido más avanzado.

En la conferencia para desarrolladores Google I/O, el gigante de las búsquedas presentó PaLM 2, un modelo de entrenamiento lingüístico basado en 3,6 billones de tokens. Estos tokens son cadenas de palabras, los componentes básicos que se utilizan en el entrenamiento de LLM para predecir la siguiente palabra que aparecerá.

La versión anterior de PaLM se lanzó en 2022 y se entrenó utilizando 780 mil millones de tokens.

En el evento Google I/O de la semana pasada, el CEO de Google, Sundar Pichai, presentó el último modelo de lenguaje de gran escala de la compañía, PaLM 2.

Aunque Google muestra constantemente el poder de la IA en tareas de búsqueda, correo electrónico, procesamiento de textos y hojas de cálculo, la compañía se muestra reacia a revelar el tamaño o los detalles de sus conjuntos de datos de entrenamiento. OpenAI también mantiene en secreto los detalles de su último parámetro de entrenamiento LLM, GPT-4.

Las empresas tecnológicas explican esto citando la naturaleza competitiva de su sector. Tanto Google como OpenAI compiten por atraer usuarios con chatbots en lugar de los motores de búsqueda tradicionales.

Compacto, potente y económico.

Google afirmó que PaLM 2 es más compacto que sus predecesores, ya que fue entrenado con 340 mil millones de parámetros en comparación con los 540 mil millones de la versión anterior. Esto demuestra que la tecnología de la compañía está mejorando su eficiencia en la realización de tareas complejas.

Para lograrlo, PaLM 2 utiliza una nueva técnica denominada "optimización de computación extendida", que ofrece "un mejor rendimiento general, incluyendo una inferencia más rápida con menos parámetros, reduciendo así los costes operativos".

El último modelo de lenguaje de IA de Google, entrenado en más de 100 idiomas, realiza diversas tareas para 25 funciones y productos, incluido el chatbot experimental Bard. PaLM 2 está disponible en cuatro versiones según su tamaño, de menor a mayor: Gecko, Nutria, Bisonte y Unicornio.

Según documentos públicos, PaLM 2 es más potente que cualquier modelo existente. LlaMA de Facebook, lanzado en febrero, se entrenó con 1,4 billones de tokens. Por otro lado, la última vez que OpenAI reveló públicamente el tamaño de los datos de entrenamiento de ChatGPT fue para la versión GPT-3, con 300 mil millones de tokens.

La proliferación de aplicaciones de IA ha generado controversia en torno a esta tecnología. A principios de este año, El Mahdi, científico sénior de Google Research, dimitió en protesta por la falta de transparencia del gigante de las búsquedas.

Esta semana, Sam Altman, director ejecutivo de OpenAI, también testificó ante el Subcomité Judicial del Senado de EE. UU. sobre privacidad y tecnología en el contexto de la creciente popularidad de la IA. Allí, el creador de ChatGPT coincidió con los legisladores en que se necesitan nuevas regulaciones para controlar la IA.

(Según CNBC)

Fuente