På vilka sätt är ChatGPT sämre än Baidus chatbot?

[annons_1]

Enligt en rapport från NewsGuard, en organisation som ansvarar för desinformation, tillhandahåller ChatGPT mer felaktig information på kinesiska än på engelska. Även om modellerna själva är flerspråkiga, är språken tydligt överlappande regioner i datamängden, och modellerna saknar mekanismer för att jämföra graden av skillnad mellan fraser eller förutsägelser mellan dessa regioner.

Enligt TechCrunch hämtar ChatGPT i första hand all engelsk data som finns när användare ber dem att svara på engelska, och detsamma gäller för kinesiska.

I mars introducerade Baidu "Ernie Bot", en chatbot baserad på den kinesiska sökjättens artificiella intelligensmodell (AI) Ernie. Mitt i den pågående och intensiva teknikkapplöpningen mellan USA och Kina har Baidus investering i och utveckling av AI fått ännu mer uppmärksamhet.

Enligt Reuters hänvisade Baidu till testresultat som utförts av China Science Daily med hjälp av dataseten AGIEval och C-Eval, två standarder som används för att utvärdera prestandan hos AI-modeller.

Kinas kapplöpning inom AI-utveckling har för närvarande tre stora aktörer: Tencent, Alibaba och Baidu.

Ernie, med ett resultat på 3,5, visade enastående skicklighet i ett kinesiskt språktest baserat på inträdes- och färdighetsprov, såsom de för universitetsinträdesprov eller advokatprov.

I ett annat kinesiskt språktest med 13 000 flervalsfrågor som täckte 50 olika ämnen fortsatte Ernie 3.5 att visa överlägsenhet gentemot sina två OpenAI-konkurrenter. Men när ett tredje test utvecklat av en grupp amerikanska universitet, som inkluderade frågor om naturvetenskap och samhällskunskap, utfördes, utmanades Ernie 3.5 helt av ChatGPT och GPT 4.

Baidus tekniska chef, Haifeng Wang, uppgav att bara tre månader efter betaversionen av Ernie Bot har Baidus stora språkmodell (LLM), byggd på Ernie 3.0 och Ernie 3.5, uppnått förbättringar i effektivitet, funktionalitet och prestanda. Dessa förbättringar är tydliga i skrivning, frågor, resonemang och kodgenerering, såväl som i tränings- och inferensprestanda, sa tekniska chefen.

Baidu uppgav också att den nya modellen kommer att stödja plugins från Baidu och tredje part. Företaget sa att pluginet "Baidu Search" har integrerats och utrustar Ernie Bot med möjligheten att generera korrekt information i realtid. Plugins är ytterligare applikationer som gör det möjligt för AI att fungera i specifika situationer, som att sammanfatta långa texter och generera mer exakta svar.

Enligt ett test i juni som utfördes av nyhetsbyrån Xinhua rankades Baidus Ernie Bot högst bland "Kinas ChatGPT:er". Baidu har drivit på för integrationen av Ernie Bot i andra produkter, såsom sina molntjänster, och tillkännagav en riskkapitalfond på 139 miljoner dollar för att investera i kinesiska AI-generativa startups, enligt SCMP .

Baidus VD och medgrundare Robin Li sade att det är förutsebart att stora språkmodeller i allt högre grad kommer att penetrera fler områden och bli en nyckelfaktor som driver den digitala ekonomin .

[annons_2]
Källänk