Nova ferramenta de IA cria imagens de alta qualidade 9 vezes mais rápido.

A imagem do astronauta montando um cavalo foi criada combinando dois tipos de modelos gerados por inteligência artificial. Foto: MIT News

Quando velocidade e qualidade deixam de ser uma questão de escolha entre uma e outra.

No campo da criação de imagens com inteligência artificial, existem atualmente dois métodos principais:

Os modelos de difusão permitem a criação de imagens nítidas e detalhadas. No entanto, são muito lentos e consomem muitos recursos computacionais, pois exigem dezenas de etapas de processamento para remover o ruído de cada pixel.

Por outro lado, os modelos autorregressivos são muito mais rápidos porque conseguem prever pequenas partes de uma imagem sequencialmente. No entanto, muitas vezes produzem imagens com menos detalhes e são propensos a erros.

O HART (transformador autorregressivo híbrido) combina ambos, oferecendo "o melhor dos dois mundos". Primeiro, utiliza um modelo autorregressivo para construir a imagem geral, codificando-a em tokens discretos. Em seguida, um modelo ligeiramente difuso processa ainda mais a imagem para adicionar tokens residuais — detalhes perdidos durante o processo de codificação.

O resultado são imagens de qualidade comparável (ou superior) aos modelos de difusão mais avançados, mas o processamento é nove vezes mais rápido e utiliza 31% menos recursos computacionais.

Essa nova abordagem ajuda a criar imagens de alta qualidade em alta velocidade.

Uma das inovações notáveis do HART é a forma como ele lida com o problema da perda de informação ao usar modelos autorregressivos. Converter imagens em tokens discretos acelera o processo, mas também resulta na perda de detalhes importantes, como contornos de objetos, características faciais, cabelo, olhos e boca.

A solução de HART consiste em fazer com que o modelo de difusão se concentre exclusivamente em "corrigir" esses detalhes usando tokens residuais. E como o modelo já realizou a maior parte do trabalho por meio da autorregressão, o modelo de difusão precisa de apenas 8 etapas de processamento, em vez de mais de 30 como antes.

"O modelo de difusão é mais fácil de implementar e, portanto, mais eficaz", explicou o coautor Haotian Tang.

Especificamente, a combinação de um modelo de transformador autorregressivo com 700 milhões de parâmetros e um modelo de difusão suave com 37 milhões de parâmetros permite que o HART alcance um desempenho comparável ao de um modelo de difusão com até 2 bilhões de parâmetros, mas nove vezes mais rápido.

Inicialmente, a equipe de pesquisa também tentou integrar o modelo de difusão nos estágios iniciais do processo de criação da imagem, mas isso levou a um acúmulo de erros. A abordagem mais eficaz é deixar que o modelo de difusão lide com a etapa final e concentrar-se apenas nas partes "faltantes" da imagem.

Desvendando o futuro da IA multimídia.

O próximo passo da equipe de pesquisa é construir modelos de visão computacional de IA – uma linguagem de próxima geração baseada na arquitetura HART. Como o HART é escalável e adaptável a muitos tipos de dados (multimodal), eles esperam poder aplicá-lo à criação de vídeos , previsão de áudio e muitas outras áreas.

Esta pesquisa foi financiada por diversas organizações, incluindo o MIT-IBM Watson AI Lab, o MIT-Amazon Science Center, o MIT AI Hardware Program e a Fundação Nacional de Ciência dos EUA. A NVIDIA também forneceu a infraestrutura de GPUs para o treinamento do modelo.

(De acordo com o MIT News)

Fonte: https://vietnamnet.vn/cong-cu-ai-moi-tao-anh-chat-luong-cao-nhanh-gap-9-lan-2384719.html