In che modo ChatGPT è inferiore al chatbot di Baidu?

Secondo un rapporto dell'organizzazione di monitoraggio della disinformazione NewsGuard, ChatGPT fornisce informazioni più inaccurate in cinese che in inglese. Sebbene i modelli siano multilingue, le lingue rappresentano regioni distinte e sovrapposte del dataset, e i modelli non dispongono di meccanismi per confrontare il grado di differenza tra frasi o previsioni in queste regioni.

Secondo TechCrunch , quando gli utenti chiedono a ChatGPT di rispondere in inglese, il programma recupera principalmente tutti i dati in inglese presenti, e lo stesso vale per il cinese.

A marzo, Baidu ha lanciato "Ernie Bot", un chatbot basato sul modello di intelligenza artificiale (IA) Ernie del colosso cinese dei motori di ricerca. Nel contesto dell'intensa corsa tecnologica tra Stati Uniti e Cina, gli investimenti e lo sviluppo dell'IA da parte di Baidu hanno attirato ancora più attenzione.

Secondo Reuters, Baidu ha citato i risultati dei test condotti dal China Science Daily utilizzando i dataset AGIEval e C-Eval, due standard utilizzati per valutare le prestazioni dei modelli di intelligenza artificiale.

Nella corsa allo sviluppo dell'intelligenza artificiale in Cina, attualmente tre i principali attori sono: Tencent, Alibaba e Baidu.

Ernie, con un punteggio di 3,5, ha dimostrato una capacità eccezionale in un test di lingua cinese basato su esami di ammissione e di competenza, come quelli per l'accesso all'università o gli esami di abilitazione alla professione forense.

In un altro test di lingua cinese con 13.000 domande a risposta multipla su 50 argomenti diversi, Ernie 3.5 ha continuato a dimostrare la sua superiorità rispetto ai due concorrenti di OpenAI. Tuttavia, in un terzo test sviluppato da un gruppo di università americane, che includeva domande di scienze e studi sociali, Ernie 3.5 è stato completamente surclassato da ChatGPT e GPT 4.

Il Chief Technology Officer di Baidu, Haifeng Wang, ha dichiarato che a soli tre mesi dal rilascio della versione beta di Ernie Bot, il modello linguistico esteso (LLM) di Baidu, basato su Ernie 3.0 e Ernie 3.5, ha raggiunto miglioramenti in termini di efficienza, funzionalità e prestazioni. Tali miglioramenti sono evidenti nella scrittura, nell'interrogazione, nel ragionamento e nella generazione di codice, nonché nelle prestazioni di addestramento e inferenza, ha affermato il CTO.

Baidu ha inoltre dichiarato che il nuovo modello supporterà i plugin di Baidu e di terze parti. L'azienda ha affermato che il plugin "Baidu Search" è stato integrato e dota Ernie Bot della capacità di generare informazioni accurate e in tempo reale. I plugin sono applicazioni aggiuntive che consentono all'intelligenza artificiale di funzionare in situazioni specifiche, come riassumere testi lunghi e generare risposte più precise.

Secondo un test condotto a giugno dall'agenzia di stampa Xinhua, Ernie Bot di Baidu si è classificato al primo posto tra i "ChatGPT cinesi". Baidu sta promuovendo l'integrazione di Ernie Bot in altri prodotti, come i suoi servizi cloud, e ha annunciato un fondo di venture capital da 139 milioni di dollari per investire in startup cinesi di intelligenza artificiale generativa, secondo quanto riportato dal South China Morning Post .

Robin Li, CEO e co-fondatore di Baidu, ha affermato che è prevedibile che i modelli linguistici di grandi dimensioni penetreranno sempre più in diversi settori, diventando un fattore chiave per la crescita dell'economia digitale.

Link alla fonte