Hvordan er ChatGPT dårligere enn Baidu chatbot?

[annonse_1]

Ifølge en rapport fra feilinformasjonsvakthunden NewsGuard, var det mer sannsynlig at ChatGPT feilrepresenterte informasjon på kinesisk enn på engelsk. Selv om modellene i seg selv er flerspråklige, er språkene separate overlappende regioner i datasettet, og modellene har ingen mekanisme for å sammenligne hvordan visse fraser eller prediksjoner skiller seg mellom disse regionene.

Ifølge TechCrunch henter ChatGPT i hovedsak alle engelske data når en bruker ber om å svare på engelsk, det samme gjelder kinesisk.

I mars introduserte Baidu «Ernie Bot», en chatbot basert på den kinesiske søkegigantens kunstige intelligens (KI)-modell Ernie. Etter hvert som teknologikappløpet mellom USA og Kina fortsetter å rase, har Baidus investering i og utvikling av KI fått enda mer oppmerksomhet.

Ifølge Reuters siterte Baidu testresultater utført av China Science Daily ved bruk av AGIEval- og C-Eval-datasettene, to referansepunkter som brukes til å evaluere ytelsen til AI-modeller.

Kinas kappløp om AI-utvikling har nå tre «giganter» som slutter seg til: Tencent, Alibaba og Baidu.

Ernie 3.5 har vist fremragende ferdigheter i en kinesisk test der innholdet er basert på opptaks- og ferdighetstester, som for eksempel opptaksprøver til høyskoler eller advokateksamener.

I en annen kinesisk test med 13 000 flervalgsspørsmål som dekket 50 forskjellige emner, fortsatte Ernie 3.5 å utkonkurrere de to OpenAI-konkurrentene. Da man tok en tredje test utviklet av en gruppe universiteter i USA, som inkluderte spørsmål om vitenskap og samfunn, ble Ernie 3.5 imidlertid fullstendig hengende etter av ChatGPT og GPT 4.

Bare tre måneder etter at betaversjonen av Ernie Bot, Baidus store språkmodell (LLM) bygget på Ernie 3.0, ble lansert, har Ernie 3.5 oppnådd forbedringer i effektivitet, funksjonalitet og ytelse, sa Baidus tekniske direktør, Haifeng Wang. Disse forbedringene er tydelige i skriving, besvaring av spørringer, resonnement og kodegenerering, samt i treningsytelse og inferensytelse, sa tekniske direktøren.

Baidu sa også at den nye modellen vil støtte plugin-moduler fra Baidu og tredjeparter. Selskapet sa at plugin-modulen «Baidu Search» er integrert og vil gi Ernie Bot muligheten til å generere nøyaktig informasjon i sanntid. Plugin-moduler er tilleggsapplikasjoner som lar AI jobbe i spesifikke situasjoner, for eksempel å oppsummere lange tekster og generere mer nøyaktige svar.

Baidus Ernie Bot rangerte først blant «Kinas ChatGPT-er», ifølge en juni-test utført av Xinhua. Baidu har presset på for å integrere Ernie Bot i andre produkter, som skytjenester, og annonsert et venturekapitalfond på 139 millioner dollar for å investere i kinesiske generative AI-oppstartsbedrifter, ifølge SCMP .

Det er forutsigbart at store språkmodeller i økende grad vil trenge inn i flere felt og bli en nøkkelfaktor som driver den digitale økonomien , sa Baidu-sjef og medgründer Robin Li.

[annonse_2]
Kildekobling