Hur är ChatGPT sämre än Baidu chatbot?

[annons_1]

Enligt en rapport från NewsGuard, en vakthund som ansvarar för desinformation, var det mer sannolikt att ChatGPT felaktigt presenterade information på kinesiska än på engelska. Även om modellerna själva är flerspråkiga, är språken separata överlappande regioner i datamängden, och modellerna har ingen mekanism för att jämföra hur vissa fraser eller förutsägelser skiljer sig mellan dessa regioner.

Enligt TechCrunch hämtar ChatGPT i princip all engelsk data när en användare ber dem att svara på engelska, detsamma gäller för kinesiska.

I mars introducerade Baidu "Ernie Bot", en chatbot baserad på den kinesiska sökjättens artificiella intelligensmodell (AI) Ernie. I takt med att teknikkapplöpningen mellan USA och Kina fortsätter att rasa har Baidus investering i och utveckling av AI fått ännu mer uppmärksamhet.

Enligt Reuters hänvisade Baidu till testresultat som utförts av China Science Daily med hjälp av dataseten AGIEval och C-Eval, två riktmärken som används för att utvärdera prestandan hos AI-modeller.

Kinas AI-utvecklingskapplöpning har nu tre "jättar" som ansluter sig: Tencent, Alibaba och Baidu.

Ernie 3.5 har visat enastående förmåga i ett kinesiskt prov vars innehåll baseras på inträdes- och färdighetsprov, såsom de för högskoleprov eller advokatprov.

I ett annat kinesiskt test med 13 000 flervalsfrågor som täckte 50 olika ämnen fortsatte Ernie 3.5 att överträffa de två OpenAI-konkurrenterna. Men när man gjorde ett tredje test utvecklat av en grupp universitet i USA, som inkluderade frågor om vetenskap och samhälle, hamnade Ernie 3.5 helt på efterkälken av ChatGPT och GPT 4.

Bara tre månader efter att betaversionen av Ernie Bot, Baidus stora språkmodell (LLM) byggd på Ernie 3.0, släpptes, har Ernie 3.5 uppnått förbättringar i effektivitet, funktionalitet och prestanda, säger Baidus tekniska chef Haifeng Wang. Dessa förbättringar är tydliga i skrivning, svar på frågor, resonemang och kodgenerering, såväl som i träningsprestanda och inferensprestanda, säger tekniska chefen.

Baidu sa också att den nya modellen kommer att stödja plugin-program från Baidu och tredje part. Företaget sa att plugin-programmet "Baidu Search" har integrerats och kommer att utrusta Ernie Bot med möjligheten att generera korrekt information i realtid. Plugin-program är ytterligare applikationer som gör det möjligt för AI att arbeta i specifika situationer, som att sammanfatta långa texter och generera mer exakta svar.

Baidus Ernie Bot rankades först bland "Kinas ChatGPT:er", enligt ett junitest utfört av Xinhua. Baidu har drivit på för att integrera Ernie Bot i andra produkter, såsom molntjänster, och tillkännagav en riskkapitalfond på 139 miljoner dollar för att investera i kinesiska generativa AI-startups, enligt SCMP .

Det är förutsebart att stora språkmodeller i allt högre grad kommer att penetrera fler områden och bli en nyckelfaktor som driver den digitala ekonomin , säger Baidus VD och medgrundare Robin Li.

Kommentar (0)