¿En qué aspectos ChatGPT es inferior al chatbot de Baidu?

Según un informe de NewsGuard, organización que combate la desinformación, ChatGPT proporciona información más imprecisa en chino que en inglés. Si bien los modelos son multilingües, los idiomas constituyen regiones superpuestas y distintas del conjunto de datos, y los modelos carecen de mecanismos para comparar el grado de diferencia entre frases o predicciones en dichas regiones.

Según TechCrunch , cuando los usuarios le piden a ChatGPT que responda en inglés, principalmente recupera todos los datos en inglés que tiene, y lo mismo ocurre con el chino.

En marzo, Baidu presentó "Ernie Bot", un chatbot basado en el modelo de inteligencia artificial (IA) Ernie del gigante chino de las búsquedas. En medio de la intensa carrera tecnológica entre Estados Unidos y China, la inversión y el desarrollo de la IA por parte de Baidu han atraído aún más atención.

Según Reuters, Baidu citó los resultados de las pruebas realizadas por China Science Daily utilizando los conjuntos de datos AGIEval y C-Eval, dos estándares utilizados para evaluar el rendimiento de los modelos de IA.

Actualmente, la carrera por el desarrollo de la inteligencia artificial en China cuenta con tres actores principales: Tencent, Alibaba y Baidu.

Ernie, con una puntuación de 3,5, demostró una capacidad sobresaliente en una prueba de idioma chino basada en exámenes de ingreso y de competencia, como los exámenes de ingreso a la universidad o los exámenes de certificación de abogados.

En otra prueba de chino con 13 000 preguntas de opción múltiple sobre 50 temas diferentes, Ernie 3.5 siguió demostrando su superioridad sobre sus dos competidores de OpenAI. Sin embargo, al realizar una tercera prueba desarrollada por un grupo de universidades estadounidenses, que incluía preguntas sobre ciencias y estudios sociales, Ernie 3.5 fue completamente superado por ChatGPT y GPT 4.

El director de tecnología de Baidu, Haifeng Wang, afirmó que, tan solo tres meses después del lanzamiento de la versión beta de Ernie Bot, el modelo de lenguaje a gran escala (LLM) de Baidu, basado en Ernie 3.0 y Ernie 3.5, ha logrado mejoras en eficiencia, funcionalidad y rendimiento. Estas mejoras son evidentes en la escritura, las consultas, el razonamiento y la generación de código, así como en el rendimiento del entrenamiento y la inferencia, según indicó el director de tecnología.

Baidu también afirmó que el nuevo modelo admitirá complementos de Baidu y de terceros. La compañía indicó que el complemento "Baidu Search" se ha integrado y dota a Ernie Bot de la capacidad de generar información precisa y en tiempo real. Los complementos son aplicaciones adicionales que permiten a la IA funcionar en situaciones específicas, como resumir textos extensos y generar respuestas más precisas.

Según una prueba realizada en junio por la agencia de noticias Xinhua, Ernie Bot de Baidu ocupó el primer lugar entre los "ChatGPT de China". Baidu ha estado impulsando la integración de Ernie Bot en otros productos, como sus servicios en la nube, y anunció un fondo de capital de riesgo de 139 millones de dólares para invertir en startups chinas de IA generativa, según el SCMP .

El director ejecutivo y cofundador de Baidu, Robin Li, afirmó que es previsible que los grandes modelos de lenguaje penetren cada vez más en más campos, convirtiéndose en un factor clave para impulsar la economía digital.

Enlace a la fuente