OpenAI est confronté à des défis importants dans le développement de ChatGPT-5.

Selon TechSpot , OpenAI rencontre de nombreuses difficultés pour développer ChatGPT-5, un modèle de langage de grande taille de nouvelle génération. ChatGPT-5, nom de code « Projet Orion », est en développement depuis 18 mois, mais n'a pas encore fait de progrès significatifs.

Bien qu'OpenAI ait achevé au moins deux phases d'entraînement initiales, les résultats n'ont pas été aussi prometteurs qu'escompté. L'une des principales raisons est l'insuffisance de diversité et de qualité des données d'entraînement. L'utilisation de données provenant d'Internet public a atteint ses limites, contraignant l'entreprise à rechercher des solutions alternatives telles que la création de données agrégées ou le recours à du personnel pour la production manuelle de données.

GPT-5 nécessite 133 fois plus de GPU que GPT-4, ce qui constituera un défi de taille pour OpenAI.

Bien que la génération de données par des humains offre une meilleure qualité, elle se heurte à des obstacles liés au temps et au coût. Par exemple, la génération d'un milliard de tokens (unités de texte traitées par des modèles d'IA) nécessiterait qu'environ 1 000 personnes écrivent 5 000 mots par jour pendant plusieurs mois. Par ailleurs, les méthodes utilisant des données agrégées, générées par les modèles d'IA actuels, présentent des risques quant à leur qualité, augmentant ainsi la probabilité de boucles de données inefficaces.

Outre les problèmes liés aux données, le processus d'entraînement de ChatGPT-5 s'est également heurté à des obstacles techniques. La phase de test initiale a progressé plus lentement que prévu, entraînant des temps d'entraînement plus longs et des coûts accrus pour l'entraînement à grande échelle. Ceci a soulevé des questions quant à la faisabilité du développement d'un modèle supérieur à GPT-4, dont la mise au point avait déjà coûté des milliards de dollars.

Par ailleurs, l'instabilité interne chez OpenAI a considérablement freiné l'avancement du projet. Fin 2023, le PDG, Sam Altman, a été suspendu, ce qui a entraîné le départ de plus de 20 collaborateurs clés cette année. Altman a reconnu que la sortie anticipée de GPT-40 était la principale cause du retard de ChatGPT-5.

Les retards et la hausse des coûts exercent une forte pression sur OpenAI de la part des investisseurs, notamment de Microsoft, son principal partenaire. Ayant déjà investi des milliards de dollars dans l'IA, OpenAI se doit de démontrer que ChatGPT-5 représente une amélioration significative par rapport à son prédécesseur. Or, la raréfaction croissante des données d'entraînement rend cet objectif difficile à atteindre.

L'avenir de ChatGPT-5 demeure incertain. OpenAI devra relever les défis actuels et optimiser ses ressources pour conserver sa position dans la course technologique en intelligence artificielle.

Source : https://thanhnien.vn/openai-doi-mat-kho-khan-lon-khi-phat-trien-chatgpt-5-1852412232345532.htm