Op welke manieren is ChatGPT inferieur aan de chatbot van Baidu?

Volgens een rapport van desinformatiewaakhond NewsGuard geeft ChatGPT meer onnauwkeurige informatie in het Chinees dan in het Engels. Hoewel de modellen zelf meertalig zijn, vormen de talen afzonderlijke, overlappende gebieden binnen de dataset, en de modellen beschikken niet over mechanismen om de mate van verschil tussen zinnen of voorspellingen in die gebieden te vergelijken.

Volgens TechCrunch haalt ChatGPT, wanneer gebruikers vragen om in het Engels te reageren, in eerste instantie alle beschikbare Engelstalige gegevens op, en hetzelfde geldt voor Chinees.

In maart introduceerde Baidu "Ernie Bot", een chatbot gebaseerd op het kunstmatige intelligentiemodel Ernie van de Chinese zoekgigant. Temidden van de aanhoudende en intense technologische wedloop tussen de VS en China, heeft Baidu's investering in en ontwikkeling van AI nog meer aandacht getrokken.

Volgens Reuters citeerde Baidu testresultaten van China Science Daily , die gebruikmaakten van de AGIEval- en C-Eval-datasets, twee standaarden die worden gebruikt om de prestaties van AI-modellen te evalueren.

De Chinese AI-ontwikkelingsrace wordt momenteel door drie grote spelers betwist: Tencent, Alibaba en Baidu.

Ernie heeft met een score van 3,5 blijk gegeven van een uitstekende aanleg voor een Chinese taaltoets, gebaseerd op toelatingsexamens en vaardigheidstoetsen, zoals die voor universitaire toelatingsexamens of examens voor advocaten.

In een andere Chinese taaltoets met 13.000 meerkeuzevragen over 50 verschillende onderwerpen, bleef Ernie 3.5 superieur aan zijn twee concurrenten van OpenAI. Bij een derde toets, ontwikkeld door een groep Amerikaanse universiteiten en met vragen over wetenschap en maatschappijleer, werd Ernie 3.5 echter volledig overtroffen door ChatGPT en GPT 4.

Haifeng Wang, Chief Technology Officer van Baidu, verklaarde dat Ernie Bot, het grote taalmodel (LLM) van Baidu, gebaseerd op Ernie 3.0 en Ernie 3.5, slechts drie maanden na de bètaversie verbeteringen heeft laten zien op het gebied van efficiëntie, functionaliteit en prestaties. Deze verbeteringen zijn merkbaar in het schrijven, opvragen, redeneren en genereren van code, evenals in de trainings- en inferentieprestaties, aldus de CTO.

Baidu heeft ook aangegeven dat het nieuwe model plug-ins van Baidu en derden zal ondersteunen. Het bedrijf zei dat de "Baidu Search"-plug-in is geïntegreerd en Ernie Bot in staat stelt om accurate en realtime informatie te genereren. Plug-ins zijn extra applicaties die AI in staat stellen om in specifieke situaties te functioneren, zoals het samenvatten van lange teksten en het genereren van nauwkeurigere antwoorden.

Volgens een test die in juni door persbureau Xinhua werd uitgevoerd, stond Baidu's Ernie Bot bovenaan de lijst van "China's ChatGPT's". Baidu streeft naar de integratie van Ernie Bot in andere producten, zoals zijn clouddiensten, en heeft een durfkapitaalfonds van 139 miljoen dollar aangekondigd om te investeren in Chinese AI-startups die zich richten op generatieve technologie, aldus SCMP .

Baidu-CEO en medeoprichter Robin Li zei dat het te verwachten is dat grote taalmodellen steeds meer terreinen zullen veroveren en een belangrijke drijvende kracht achter de digitale economie zullen worden.

Reactie (0)