Pho GPT significa Pho - Transformador Generativo Pre-entrenado, es un gran proyecto de modelo de lenguaje dedicado al vietnamita, implementado por el equipo de ingeniería de VinAI, miembro de Vingroup Corporation.
“Ponerse al día” con la tecnología mundial
Pho GPT utiliza código abierto en lugar de software propietario como ChatGPT de OpenAI. Esto significa que el código fuente de Pho GPT es público y está disponible, y los usuarios pueden contribuir a su desarrollo mediante aplicaciones personalizadas.
Según VinAI, Pho GPT cuenta con 7500 millones de parámetros, desarrollados en la plataforma de decodificación Transformer. Este modelo se entrena desde cero utilizando las técnicas más avanzadas disponibles, como el mecanismo Flash Attention y la extrapolación de la longitud del contexto AliBi.
Estas técnicas no solo ayudan a Pho GPT a comprender el contexto con mayor profundidad, sino que también aumentan la capacidad de la aplicación para dialogar e interactuar de forma natural durante su uso. Esto convierte al modelo en una herramienta versátil y multitarea, capaz de satisfacer las diversas necesidades lingüísticas de los usuarios.
 |
Sr. Bui Hai Hung, Director General de VinAI. |
Al hablar sobre la importancia del nacimiento de Pho GPT, el Sr. Bui Hai Hung, Director General de VinAI, explicó que el objetivo del proyecto es desarrollar modelos similares a ChatGPT para el idioma y la cultura vietnamitas. Pho GPT tiene la capacidad de comprender y escribir en vietnamita de una manera superior a las tecnologías lingüísticas de generaciones anteriores. El modelo se entrena desde cero con un conjunto de datos vietnamitas, sin depender de ningún otro modelo mundial, lo que garantiza el dominio de la tecnología central avanzada para Vietnam.
Cabe mencionar que, justo cuando el mundo entero hablaba con entusiasmo sobre el nacimiento de Chat GPT, un año después, apareció Pho GPT en Vietnam. Según el Sr. Bui Hai Hung, VinAI fue pionera en el Sudeste Asiático en lanzar un modelo de lenguaje extenso con código fuente abierto. Unas semanas después, se lanzó un producto similar en Singapur.
Impulsando la IA vietnamita
Los resultados de la comparación de la versión Pho GPT-7B5-Instruct con ChatGPT de código cerrado (GPT-3.5-turbo) y otros modelos de código abierto muestran que Pho GPT ocupa el segundo lugar, solo después de ChatGPT en la mayoría de las categorías de evaluación.
Pho GPT presenta muchas diferencias con respecto a otros modelos de lenguaje, especialmente ChatGPT. Está diseñado para comprender y escribir con naturalidad en vietnamita, reflejando el contexto, la gramática, el vocabulario y las expresiones del pueblo vietnamita. Permite interactuar con los usuarios sobre temas relacionados con la cultura, la historia, la geografía, la sociedad, el entretenimiento, los deportes , etc.
Además, Pho GPT es de código abierto y flexible. Los usuarios pueden desarrollar aplicaciones personalizadas y únicas, especialmente aquellas que requieren alta seguridad, sin depender de fuentes de software propietario.
Al mismo tiempo, la prioridad de Pho GPT es el alto rendimiento y el ahorro de costes, gracias al entrenamiento con las últimas técnicas de optimización, lo que ayuda a reducir el tamaño y aumentar la velocidad de la aplicación. Pho GPT también puede ejecutarse en una plataforma informática más pequeña, lo que ayuda a reducir costes y ahorrar recursos.
Entrenado con un almacén de datos vietnamita de hasta 41 GB, incluyendo 1 GB de texto de Wikipedia y una variante de 40 GB que ha eliminado duplicados del conjunto de datos de noticias, entrenado usando la biblioteca llm-foundry de Mosaicml llm, Pho GPT puede generar fragmentos de texto según las solicitudes de los usuarios, como artículos, poemas, canciones, ensayos, discursos, introducciones... Pho GPT también puede crear contenido creativo y humorístico, como cuentos, comentarios, proverbios, mensajes, tweets, memes... Al mismo tiempo, también dialoga con los usuarios sobre diferentes temas como actualidad, educación, salud, viajes, gastronomía, deportes, entretenimiento... Además, Pho GPT también puede responder a las preguntas de los usuarios, proporcionar información, consejos, apoyo, responder preguntas...
Además, Pho GPT puede traducir textos o tipos de textos de distinta naturaleza como documentos oficiales, comerciales, académicos, literarios... del vietnamita a otros idiomas y viceversa.
Otra característica destacada es que Pho GPT analiza y procesa pasajes de texto, como resumir, clasificar, etiquetar, extraer información, detectar emociones, detectar errores, mejorar el estilo de escritura, etc.
En el futuro, el equipo de desarrollo de Pho GPT dijo que continuarán mejorando el modelo y expandiendo el proyecto a otros idiomas, especialmente en la región del Sudeste Asiático.
El nacimiento de Pho GPT marca la primera vez que Vietnam ha tenido la oportunidad de ponerse al día con el mundo en este campo tecnológico avanzado y poseer un amplio modelo lingüístico con código fuente abierto específicamente para vietnamitas, optimizado para el idioma vietnamita, independiente del mundo. Este es el orgullo de Vin AI en particular y de los vietnamitas en general», añadió un representante de VinAI.
Al comentar sobre el potencial y las oportunidades de desarrollo de Pho GPT en el futuro, el Sr. Tran Duy Dong, Viceministro de Planificación e Inversión, enfatizó: «La IA será uno de los campos en los que Vietnam tiene un gran potencial para desarrollarse con fuerza y alcanzar pronto el nivel mundial. El Ministerio siempre apoyará y acompañará a la comunidad de IA en particular, y a la comunidad científica y tecnológica en general, para desarrollar un ecosistema de innovación integral y dinámico que contribuya al desarrollo integral del país».
[anuncio_2]
Fuente
Kommentar (0)