GPT Pho sitúa a Vietnam en el mapa tecnológico mundial

Pho GPT, siglas de Pho - Generative Pre-trained Transformer, es un gran proyecto de modelo de lenguaje dedicado al vietnamita, implementado por el equipo de ingeniería de VinAI, miembro de Vingroup Corporation.

"Póngase al día" con la tecnología mundial

Pho GPT utiliza código abierto en lugar de software propietario como ChatGPT de OpenAI. Esto significa que el código fuente de Pho GPT es público y está disponible, y que los usuarios pueden contribuir a su desarrollo mediante aplicaciones personalizadas.

Según la introducción de VinAI, Pho GPT cuenta con 7.500 millones de parámetros y se basa en la plataforma de decodificación Transformer. Este modelo se entrena desde cero utilizando las técnicas más avanzadas disponibles, como el mecanismo de atención Flash y la extrapolación de longitud de contexto AliBi.

Estas técnicas no solo ayudan a Pho GPT a comprender mejor el contexto, sino que también aumentan la capacidad de la aplicación para dialogar e interactuar de forma natural durante su uso. Esto convierte al modelo en una herramienta versátil y multitarea, capaz de satisfacer las diversas necesidades lingüísticas de los usuarios.

Sr. Bui Hai Hung, Director General de VinAI.

Al hablar sobre la importancia del lanzamiento de Pho GPT, el Sr. Bui Hai Hung, Director General de VinAI, afirmó que el objetivo del proyecto es desarrollar modelos similares a ChatGPT para el idioma y la cultura vietnamitas. Pho GPT tiene la capacidad de comprender y escribir el estilo de escritura vietnamita de una manera superior a las tecnologías lingüísticas de generaciones anteriores. Además, el modelo se entrenó desde cero con un conjunto de datos vietnamitas, sin depender de ningún otro modelo en el mundo, lo que garantiza el dominio de la tecnología central más avanzada para Vietnam.

Cabe mencionar que, justo cuando el mundo se entusiasmaba con el nacimiento de Chat GPT, un año después apareció Pho GPT en Vietnam. Según Bui Hai Hung, VinAI es pionera en el sudeste asiático en lanzar un modelo de lenguaje de gran tamaño con código abierto. Unas semanas más tarde, se lanzó un producto similar en Singapur.

Elevando la IA vietnamita

Los resultados de la comparación de la versión Pho GPT-7B5-Instruct con ChatGPT de código cerrado (GPT-3.5-turbo) y otros modelos de código abierto muestran que Pho GPT ocupa el segundo lugar, solo después de ChatGPT en la mayoría de las categorías de evaluación.

Pho GPT presenta muchas diferencias con respecto a otros modelos de lenguaje, especialmente ChatGPT. Está diseñado para comprender y escribir el vietnamita de forma natural, reflejando el contexto, la gramática, el vocabulario y las expresiones de los vietnamitas. Permite interactuar con los usuarios sobre temas relacionados con la cultura, la historia, la geografía, la sociedad, el entretenimiento, los deportes , etc., de Vietnam.

Además, Pho GPT es de código abierto y flexible. Los usuarios pueden desarrollar aplicaciones personalizadas y únicas, especialmente aquellas que requieren alta seguridad, sin depender de software propietario.

Al mismo tiempo, Pho GPT prioriza el alto rendimiento y el ahorro de costes mediante el entrenamiento con las últimas técnicas de optimización, lo que permite reducir el tamaño y aumentar la velocidad de la aplicación. Además, Pho GPT puede ejecutarse en una plataforma informática más pequeña, lo que contribuye a reducir costes y ahorrar recursos.

Pho GPT, entrenado con un almacén de datos vietnamita de hasta 41 GB (1 GB de texto de Wikipedia y una variante de 40 GB con datos de noticias sin duplicados), y entrenado con la biblioteca llm-foundry de Mosaicml llm, puede generar fragmentos de texto según las solicitudes del usuario, como artículos, poemas, canciones, ensayos, discursos e introducciones. También puede crear contenido creativo y humorístico, como cuentos cortos, comentarios, proverbios, mensajes, tuits y memes. Además, dialoga con los usuarios sobre diversos temas como actualidad, educación, salud, viajes, gastronomía, deportes y entretenimiento. Asimismo, Pho GPT puede responder preguntas, brindar información, consejos y soporte.

Además, Pho GPT puede traducir textos o tipos de texto de diferente naturaleza, como documentos oficiales, comerciales, académicos, literarios… del vietnamita a otros idiomas y viceversa.

Otra característica destacable es que Pho GPT analiza y procesa párrafos de texto, realizando tareas como resumir, clasificar, etiquetar, extraer información, detectar emociones, detectar errores y mejorar el estilo de escritura...

El equipo de desarrollo de Pho GPT afirmó que en el futuro continuarán mejorando el modelo y ampliando el proyecto a otros idiomas, especialmente en la región del sudeste asiático.

“El nacimiento de Pho GPT marca la primera vez que Vietnam tiene la oportunidad de ponerse al día con el mundo en este campo tecnológico avanzado y poseer un modelo lingüístico de gran tamaño con código abierto, específicamente diseñado para el pueblo vietnamita, optimizado para el idioma vietnamita e independiente del resto del mundo. Esto es motivo de orgullo para Vin AI en particular y para el pueblo vietnamita en general”, añadió el representante de VinAI.

Al comentar sobre el potencial y las oportunidades de desarrollo de Pho GPT en el futuro, el Sr. Tran Duy Dong, Viceministro de Planificación e Inversión, enfatizó: “La IA será uno de los campos en los que Vietnam tiene un gran potencial para desarrollarse con fuerza y pronto alcanzar el nivel mundial. El Ministerio siempre apoyará y acompañará a la comunidad de IA en particular, y a la comunidad científica y tecnológica en general, para desarrollar un ecosistema de innovación integral y dinámico, que contribuya al desarrollo general del país”.

Fuente