Un'intelligenza artificiale che trasforma il testo in video è simile a Sora.

Sora (OpenAI)

Sora è l'ultimo nome annunciato, ma è anche quello di cui si parla di più, in parte perché è un prodotto di OpenAI – lo sviluppatore del famoso ChatGPT – ma soprattutto per la qualità video che il programma produce a partire da comandi testuali.

Il successo di ChatGPT ha inoltre permesso all'intelligenza artificiale dell'azienda di sviluppare una profonda comprensione del linguaggio. I video che dimostrano le capacità di Sora mostrano movimenti dei personaggi e sfumature incredibilmente vividi, come in un film girato da un essere umano.

Video "siêu thực" do Sora tạo từ các lệnh văn bản — Video "surreale" creato da Sora utilizzando comandi di testo.

Tuttavia, Sora non è ancora disponibile sul mercato a causa di problemi di sicurezza. OpenAI effettuerà test accurati prima di rilasciare il prodotto al pubblico, soprattutto considerando il crescente abuso dell'intelligenza artificiale da parte di malintenzionati per scopi illeciti, come l'impersonificazione degli utenti o lo svolgimento di attività illegali.

Lumiere (Google)

Lumiere, un prodotto di Google, è in grado di produrre video a partire da input testuali, operando sul modello di diffusione STUNEt (Space-Time-U-Net). Invece di assemblare fotogrammi statici, l'intelligenza artificiale di Lumiere identifica i dettagli all'interno del video (l'aspetto spaziale), traccia come questi dettagli si muovono e cambiano simultaneamente (l'aspetto temporale), garantendo così un flusso di lavoro fluido.

Come Sora, anche Lumiere non è ancora disponibile al pubblico. L'azienda ha introdotto questo modello solo alla fine di gennaio 2024, dopo il lancio di Gemini, un modello linguistico di grandi dimensioni che è stato appena sincronizzato con Bard.

VideoPoet (Google)

Questo modello linguistico su larga scala (LLM) è stato addestrato su un enorme database di video, immagini, audio e testo sviluppato da Google Search nel 2023. VideoPoet è in grado di svolgere diverse attività a partire da testo, immagini e video in input per creare video, evidenziare contenuti, convertire video in audio e trasformare immagini fisse in animazioni.

L'idea iniziale di VideoPoet è nata dalla necessità di tradurre tutti i modelli di linguaggio autoregressivo in un sistema di creazione video. I modelli di linguaggio autoregressivo esistenti sono in grado di gestire testo e codice di programmazione come gli esseri umani, ma incontrano difficoltà nella traduzione in video. VideoPoet risolve questo problema utilizzando dei token per convertire i dati di input da qualsiasi formato in un linguaggio comprensibile.

Các công cụ tạo ra video từ văn bản đa phần đang thử nghiệm giới hạn — La maggior parte degli strumenti per la creazione di video a partire da testo è ancora in fase sperimentale.

Video di Emu (Meta)

Oltre a Google e OpenAI, anche Meta è una delle grandi aziende tecnologiche attivamente impegnate nell'innovazione dell'IA. L'azienda proprietaria di Facebook sta sviluppando Emu Video, un'IA in grado di convertire le immagini in testo e di utilizzare questi dati per creare brevi video.

Emu Video sta ricevendo recensioni positive dai partecipanti al programma di test, con l'81% che preferisce questa intelligenza artificiale a Imagen Video (Google). Oltre il 90% ha scelto il modello di Meta rispetto a PYOCO (Nvidia), e ha persino superato Make-A-Video di Meta (scelto dal 96%).

CogVideo (Università Tsinghua, Cina)

A differenza dei modelli menzionati in precedenza, tutti prodotti di aziende tecnologiche leader a livello globale , CogVideo è un'intelligenza artificiale sviluppata da un team di ricerca dell'Università di Tsinghua, una delle università più prestigiose in Cina e in Asia. Il programma si basa su CogView2, un modello pre-addestrato per la conversione di testo in immagine.

Glenn Marshall, esperto di immagini generate al computer e che ha testato CogVideo, ha ipotizzato che "i registi potrebbero perdere il lavoro". Il suo cortometraggio, intitolato "The Crow" e realizzato con l'aiuto di CogVideo, ha ricevuto ampi consensi ed è stato candidato al British Academy Film Award (BAFTA).

Link alla fonte