Hoe verliest ChatGPT van Baidu chatbot?

Volgens een rapport van NewsGuard, een waakhond tegen misinformatie, was de kans groter dat ChatGPT informatie in het Chinees verkeerd weergaf dan in het Engels. Hoewel de modellen zelf meertalig zijn, vormen de talen afzonderlijke, overlappende delen van de dataset en beschikken de modellen niet over een mechanisme om te vergelijken hoe bepaalde zinnen of voorspellingen tussen die delen verschillen.

Volgens TechCrunch worden bij een verzoek aan ChatGPT om in het Engels te reageren, in principe alle beschikbare Engelse gegevens opgevraagd. Hetzelfde geldt voor Chinese gegevens.

In maart introduceerde Baidu "Ernie Bot", een chatbot gebaseerd op het kunstmatige intelligentiemodel (AI) van de Chinese zoekgigant Ernie. Nu de techwedloop tussen de VS en China voortduurt, trekt Baidu's investering in en ontwikkeling van AI nog meer aandacht.

Volgens Reuters citeerde Baidu testresultaten die zijn uitgevoerd door China Science Daily met behulp van de datasets AGIEval en C-Eval, twee benchmarks die worden gebruikt om de prestaties van AI-modellen te evalueren.

Er sluiten zich nu drie 'giganten' aan bij de Chinese AI-ontwikkelingsrace: Tencent, Alibaba en Baidu.

Ernie 3.5 heeft uitstekende vaardigheden getoond in een Chinese test waarvan de inhoud gebaseerd is op toelatings- en vaardigheidstests, zoals die voor toelatingsexamens voor universiteiten of balie-examens.

In een andere Chinese test met 13.000 meerkeuzevragen over 50 verschillende onderwerpen bleef Ernie 3.5 de twee OpenAI-concurrenten overtreffen. Bij een derde test, ontwikkeld door een groep Amerikaanse universiteiten, met vragen over wetenschap en maatschappij, bleef Ernie 3.5 echter volledig achter bij ChatGPT en GPT 4.

Slechts drie maanden na de release van de bètaversie van Ernie Bot, Baidu's grote taalmodel (LLM) gebaseerd op Ernie 3.0, heeft Ernie 3.5 verbeteringen bereikt in efficiëntie, functionaliteit en prestaties, aldus Baidu CTO Haifeng Wang. Deze verbeteringen zijn duidelijk zichtbaar in het schrijven, beantwoorden van vragen, redeneren en codegeneratie, evenals in de trainings- en inferentieprestaties, aldus de CTO.

Baidu zei ook dat het nieuwe model plug-ins van Baidu en derden zal ondersteunen. Het bedrijf zei dat de plug-in "Baidu Search" is geïntegreerd en Ernie Bot de mogelijkheid zal geven om accurate, realtime informatie te genereren. Plug-ins zijn aanvullende toepassingen die AI in staat stellen om in specifieke situaties te werken, zoals het samenvatten van lange teksten en het genereren van nauwkeurigere antwoorden.

Baidu's Ernie Bot stond op de eerste plaats van "Chinese ChatGPT's", volgens een test uitgevoerd door Xinhua in juni. Baidu heeft aangedrongen op de integratie van Ernie Bot in andere producten, zoals clouddiensten, en heeft een durfkapitaalfonds van $ 139 miljoen aangekondigd om te investeren in Chinese generatieve AI-startups, aldus SCMP .

Volgens Robin Li, CEO en medeoprichter van Baidu, is het te verwachten dat grote taalmodellen steeds meer vakgebieden zullen bestrijken en een belangrijke factor zullen worden in de digitale economie .

Bronlink