På hvilke måter er ChatGPT dårligere enn Baidus chatbot?

[annonse_1]

Ifølge en rapport fra feilinformasjonsvaktbikkje NewsGuard gir ChatGPT mer unøyaktig informasjon på kinesisk enn på engelsk. Selv om modellene i seg selv er flerspråklige, er språkene tydelige overlappende regioner i datasettet, og modellene mangler mekanismer for å sammenligne graden av forskjell mellom fraser eller prediksjoner på tvers av disse regionene.

Ifølge TechCrunch henter ChatGPT primært alle de engelske dataene den har når brukere ber dem om å svare på engelsk, og det samme gjelder kinesisk.

I mars introduserte Baidu «Ernie Bot», en chatbot basert på den kinesiske søkegigantens kunstige intelligens (KI)-modell Ernie. Midt i det pågående og intense teknologikappløpet mellom USA og Kina har Baidus investering i og utvikling av KI fått enda mer oppmerksomhet.

Ifølge Reuters siterte Baidu testresultater utført av China Science Daily ved bruk av datasettene AGIEval og C-Eval, to standarder som brukes til å evaluere ytelsen til AI-modeller.

Kinas kappløp om AI-utvikling har for tiden tre store aktører: Tencent, Alibaba og Baidu.

Ernie, med en poengsum på 3,5, viste fremragende ferdigheter i en kinesisk språktest basert på opptaks- og ferdighetseksamener, som for eksempel opptaksprøver til universiteter eller advokateksamener.

I en annen kinesisk språktest med 13 000 flervalgsspørsmål som dekket 50 forskjellige emner, fortsatte Ernie 3.5 å vise overlegenhet over sine to OpenAI-konkurrenter. Da Ernie 3.5 ble utført på en tredje test utviklet av en gruppe amerikanske universiteter, som inkluderte spørsmål om naturfag og samfunnsfag, ble den imidlertid fullstendig utkonkurrert av ChatGPT og GPT 4.

Baidus teknologidirektør, Haifeng Wang, uttalte at bare tre måneder etter betaversjonen av Ernie Bot, har Baidus store språkmodell (LLM), bygget på Ernie 3.0 og Ernie 3.5, oppnådd forbedringer i effektivitet, funksjonalitet og ytelse. Disse forbedringene er tydelige i skriving, spørring, resonnering og kodegenerering, samt i trening og inferensytelse, sa teknologidirektøren.

Baidu opplyste også at den nye modellen vil støtte plugins fra Baidu og tredjeparter. Selskapet sa at «Baidu Search»-pluginen er integrert og gir Ernie Bot muligheten til å generere nøyaktig informasjon i sanntid. Plugins er tilleggsapplikasjoner som lar AI fungere i spesifikke situasjoner, for eksempel å oppsummere lange tekster og generere mer nøyaktige svar.

Ifølge en test utført av Xinhua News Agency i juni, rangerte Baidus Ernie Bot øverst blant «Kinas ChatGPT-er». Baidu har presset på for integrering av Ernie Bot i andre produkter, som skytjenestene deres, og annonserte et risikokapitalfond på 139 millioner dollar for å investere i kinesiske AI-generative oppstartsbedrifter, ifølge SCMP .

Baidus administrerende direktør og medgründer Robin Li sa at det er forutsigbart at store språkmodeller i økende grad vil trenge inn i flere felt, og bli en nøkkelfaktor som driver den digitale økonomien .

[annonse_2]
Kildekobling