Por que o ChatGPT perde para o chatbot do Baidu?

[anúncio_1]

De acordo com um relatório do órgão de vigilância da desinformação NewsGuard, o ChatGPT tinha maior probabilidade de deturpar informações em chinês do que em inglês. Embora os modelos em si sejam multilíngues, os idiomas são regiões sobrepostas separadas do conjunto de dados, e os modelos não possuem mecanismos para comparar como certas frases ou previsões diferem entre essas regiões.

De acordo com o TechCrunch , quando um usuário pede para o ChatGPT responder em inglês, ele basicamente pega todos os dados em inglês que tem, o mesmo vale para o chinês.

Em março, o Baidu lançou o "Ernie Bot", um chatbot baseado no modelo de inteligência artificial (IA) Ernie, da gigante chinesa de buscas. À medida que a corrida tecnológica entre os EUA e a China continua acirrada, o investimento e o desenvolvimento de IA do Baidu atraíram ainda mais atenção.

De acordo com a Reuters, o Baidu citou resultados de testes conduzidos pelo China Science Daily usando os conjuntos de dados AGIEval e C-Eval, dois benchmarks usados para avaliar o desempenho de modelos de IA.

A corrida de desenvolvimento de IA da China agora conta com três "grandões": Tencent, Alibaba e Baidu.

Ernie 3.5 demonstrou habilidade excepcional em um teste de chinês cujo conteúdo é baseado em testes de admissão e proficiência, como os de vestibular ou da OAB.

Em outro teste chinês com 13.000 questões de múltipla escolha abrangendo 50 tópicos diferentes, o Ernie 3.5 continuou a superar os dois concorrentes da OpenAI. No entanto, ao realizar um terceiro teste desenvolvido por um grupo de universidades nos EUA, que incluía questões sobre ciência e sociedade, o Ernie 3.5 ficou completamente atrás do ChatGPT e do GPT 4.

O CTO da Baidu, Haifeng Wang, afirmou que, apenas três meses após o lançamento da versão beta do Ernie Bot, o modelo de linguagem de grande porte (LLM) da Baidu, baseado no Ernie 3.0, o Ernie 3.5 obteve melhorias em eficiência, funcionalidade e desempenho. Essas melhorias são evidentes na escrita, na resposta a consultas, no raciocínio e na geração de código, bem como no desempenho de treinamento e inferência, afirmou o CTO.

O Baidu também afirmou que o novo modelo suportará plug-ins do Baidu e de terceiros. A empresa afirmou que o plug-in "Baidu Search" foi integrado e equipará o Ernie Bot com a capacidade de gerar informações precisas em tempo real. Plug-ins são aplicativos adicionais que permitem que a IA funcione em situações específicas, como resumir textos longos e gerar respostas mais precisas.

O Ernie Bot, do Baidu, ficou em primeiro lugar entre os "ChatGPTs da China", de acordo com um teste realizado pela Xinhua em junho. O Baidu tem se esforçado para integrar o Ernie Bot a outros produtos, como serviços em nuvem, e anunciou um fundo de capital de risco de US$ 139 milhões para investir em startups chinesas de IA generativa, de acordo com o SCMP .

É previsível que grandes modelos de linguagem penetrem cada vez mais em campos, tornando-se um fator-chave para impulsionar a economia digital, disse o CEO e cofundador da Baidu, Robin Li.

Link da fonte