Vietnam.vn - Nền tảng quảng bá Việt Nam

Un nouvel outil d'IA crée des photos de haute qualité, 9 fois plus rapidement

Des scientifiques du MIT et de NVIDIA ont développé avec succès HART, un outil qui crée des images de haute qualité à une vitesse exceptionnellement rapide, tout en consommant si peu de ressources qu'il peut fonctionner directement sur un ordinateur portable ou un smartphone.

VietNamNetVietNamNet26/03/2025

image 1.jpg

Cette image d'un astronaute à cheval a été créée à l'aide de deux types de modèles d'IA génératifs. Photo : MIT News


Quand la vitesse et la qualité ne sont plus des compromis

Dans le domaine de l’imagerie IA, il existe actuellement deux approches principales :

Les modèles de diffusion permettent d'obtenir des images nettes et détaillées. Cependant, ils sont lents et gourmands en ressources informatiques, nécessitant des dizaines d'étapes de traitement pour éliminer le bruit de chaque pixel.

Les modèles autorégressifs sont beaucoup plus rapides, car ils prédisent de petites parties d'une image de manière séquentielle. Cependant, ils produisent souvent des images moins détaillées et sont sujets aux erreurs.

HART (transformateur autorégressif hybride) combine les deux, offrant le meilleur des deux mondes. Il utilise d'abord un modèle autorégressif pour construire l'image globale en l'encodant en jetons discrets. Ensuite, un modèle de diffusion léger prend le relais pour compléter les jetons résiduels, c'est-à-dire les informations détaillées perdues lors de l'encodage.

Les images résultantes sont d’une qualité comparable (ou supérieure) aux modèles de diffusion de pointe, mais sont 9 fois plus rapides à traiter et utilisent 31 % de ressources informatiques en moins.

Nouvelle approche pour créer des images de qualité à grande vitesse

L'une des innovations notables de HART réside dans sa capacité à résoudre le problème de perte d'information lors de l'utilisation de modèles autorégressifs. La conversion des images en jetons discrets accélère le processus, mais entraîne également la perte de détails importants tels que les contours des objets, les traits du visage, les cheveux, les yeux, la bouche, etc.

La solution de HART consiste à concentrer le modèle de diffusion uniquement sur la correction de ces détails grâce aux jetons résiduels. Et comme le modèle autorégressif a déjà effectué la majeure partie du travail, le modèle de diffusion ne nécessite que huit étapes de traitement au lieu des trente et quelques étapes précédentes.

« Le modèle de diffusion est plus facile à mettre en œuvre, ce qui conduit à une plus grande efficacité », explique le co-auteur Haotian Tang.

Plus précisément, la combinaison d'un modèle de transformateur autorégressif avec 700 millions de paramètres et d'un modèle de diffusion léger avec 37 millions de paramètres donne à HART les mêmes performances qu'un modèle de diffusion avec jusqu'à 2 milliards de paramètres, mais neuf fois plus rapide.

L'équipe a d'abord tenté d'intégrer le modèle de diffusion dès les premières étapes du processus de génération d'images, mais cela a entraîné une accumulation d'erreurs. L'approche la plus efficace a consisté à laisser le modèle de diffusion gérer l'étape finale et à se concentrer uniquement sur les parties « manquantes » de l'image.

Débloquer l'avenir de l'IA multimédia

La prochaine étape de l'équipe consiste à créer des modèles d'IA visuo-linguistiques de nouvelle génération basés sur l'architecture HART. HART étant évolutif et adaptable à un large éventail de types de données (multimodales), ils espèrent pouvoir l'appliquer à la génération vidéo , à la prédiction audio et à de nombreux autres domaines.

Cette recherche a été financée par plusieurs organisations, dont le MIT-IBM Watson AI Lab, le MIT-Amazon Science Center, le MIT AI Hardware Program et la National Science Foundation des États-Unis. NVIDIA a également fait don de l'infrastructure GPU pour entraîner le modèle.

(Selon MIT News)


Source : https://vietnamnet.vn/cong-cu-ai-moi-tao-anh-chat-luong-cao-nhanh-gap-9-lan-2384719.html


Comment (0)

No data
No data
La puissante formation de 5 chasseurs SU-30MK2 se prépare pour la cérémonie A80
Des missiles S-300PMU1 en mission de combat pour protéger le ciel de Hanoï
La saison de floraison des lotus attire les touristes vers les majestueuses montagnes et rivières de Ninh Binh
Cu Lao Mai Nha : Là où la sauvagerie, la majesté et la paix se mêlent
Hanoï est étrange avant que la tempête Wipha ne touche terre
Perdu dans le monde sauvage au jardin des oiseaux de Ninh Binh
Les champs en terrasses de Pu Luong pendant la saison des pluies sont d'une beauté à couper le souffle
Des tapis d'asphalte « sprintent » sur l'autoroute Nord-Sud à travers Gia Lai
Morceaux de teinte - Morceaux de teinte
Scène magique sur la colline de thé « bol renversé » à Phu Tho

Patrimoine

Chiffre

Entreprise

No videos available

Nouvelles

Système politique

Locale

Produit