Em que aspectos o ChatGPT é inferior ao chatbot do Baidu?

De acordo com um relatório da organização de monitoramento de desinformação NewsGuard, o ChatGPT fornece mais informações imprecisas em chinês do que em inglês. Embora os modelos em si sejam multilíngues, os idiomas constituem regiões distintas e sobrepostas do conjunto de dados, e os modelos não possuem mecanismos para comparar o grau de diferença entre frases ou previsões nessas regiões.

Segundo o TechCrunch , quando os usuários pedem ao ChatGPT para responder em inglês, ele recupera principalmente todos os dados em inglês que possui, e o mesmo se aplica ao chinês.

Em março, a Baidu lançou o "Ernie Bot", um chatbot baseado no modelo de inteligência artificial (IA) Ernie, da gigante chinesa de buscas. Em meio à intensa corrida tecnológica entre os EUA e a China, o investimento e o desenvolvimento de IA pela Baidu têm atraído ainda mais atenção.

Segundo a Reuters, a Baidu citou resultados de testes realizados pelo China Science Daily usando os conjuntos de dados AGIEval e C-Eval, dois padrões utilizados para avaliar o desempenho de modelos de IA.

A corrida pelo desenvolvimento da IA na China conta atualmente com três grandes concorrentes: Tencent, Alibaba e Baidu.

Ernie, com uma pontuação de 3,5, demonstrou excelente capacidade em um teste de língua chinesa baseado em exames de admissão e proficiência, como os de ingresso na universidade ou os de certificação da Ordem dos Advogados.

Em outro teste de língua chinesa com 13.000 questões de múltipla escolha abrangendo 50 tópicos diferentes, o Ernie 3.5 continuou a demonstrar superioridade em relação aos seus dois concorrentes da OpenAI. No entanto, ao realizar um terceiro teste desenvolvido por um grupo de universidades americanas, que incluía questões sobre ciências e estudos sociais, o Ernie 3.5 foi completamente superado pelo ChatGPT e pelo GPT 4.

O diretor de tecnologia da Baidu, Haifeng Wang, afirmou que apenas três meses após o lançamento da versão beta do Ernie Bot, o modelo de linguagem de grande escala (LLM) da Baidu, baseado no Ernie 3.0 e no Ernie 3.5, apresentou melhorias em eficiência, funcionalidade e desempenho. Essas melhorias são evidentes na escrita, consulta, raciocínio e geração de código, bem como no desempenho de treinamento e inferência, disse o diretor de tecnologia.

A Baidu também afirmou que o novo modelo será compatível com plugins da Baidu e de terceiros. A empresa disse que o plugin “Baidu Search” foi integrado e equipa o Ernie Bot com a capacidade de gerar informações precisas e em tempo real. Plugins são aplicativos adicionais que permitem que a IA funcione em situações específicas, como resumir textos longos e gerar respostas mais precisas.

Segundo um teste realizado em junho pela agência de notícias Xinhua, o Ernie Bot da Baidu ficou em primeiro lugar entre os "ChatGPTs da China". A Baidu tem incentivado a integração do Ernie Bot em outros produtos, como seus serviços em nuvem, e anunciou um fundo de capital de risco de US$ 139 milhões para investir em startups chinesas de inteligência artificial generativa, de acordo com o SCMP .

Robin Li, CEO e cofundador do Baidu, afirmou que é previsível que os grandes modelos de linguagem penetrem cada vez mais em diversos setores, tornando-se um fator-chave para impulsionar a economia digital.

Link da fonte