AI teks-ke-video seperti Sora

Sora (OpenAI)

Sora ialah nama terbaharu yang akan diumumkan tetapi telah menimbulkan kekecohan yang paling banyak, sebahagiannya kerana ia adalah produk OpenAI - pembangun terkenal ChatGPT, tetapi terutamanya kerana kualiti video yang dihasilkan oleh program hanya daripada arahan teks.

Kejayaan syarikat dengan ChatGPT juga memberikan AI pemahaman yang mendalam tentang bahasa. Klip yang menunjukkan kebolehan Sora menunjukkan watak-watak bergerak dan mengekspresikan diri mereka dengan cara yang sama seperti filem yang dirakam manusia.

Video "siêu thực" do Sora tạo từ các lệnh văn bản — Video "Surealistik" yang dicipta oleh Sora daripada arahan teks

Tetapi Sora belum lagi tersedia untuk kegunaan awam, atas sebab keselamatan. OpenAI akan mengambil langkah berhati-hati sebelum menyediakannya kepada orang ramai, terutamanya memandangkan peningkatan bilangan pengguna AI yang digunakan untuk tujuan jahat, seperti menyamar sebagai pengguna atau melakukan jenayah.

Lumiere (Google)

Lumiere ialah produk daripada Google, yang juga mampu menjana video daripada input teks, berdasarkan model resapan struktur STUNet (Space-Time-U-Net). Lumiere tidak peduli dengan jahitan masih bingkai bersama-sama, tetapi sebaliknya, AI ini mengenal pasti butiran dalam video (bahagian ruang), menjejaki bagaimana ia bergerak, berubah pada masa yang sama (bahagian temporal), dengan itu membantu proses berjalan lancar.

Seperti Sora, Lumiere belum dikeluarkan kepada umum. Syarikat itu hanya memperkenalkan model ini pada akhir Januari 2024 selepas pelancaran Gemini - model bahasa besar yang baru sahaja disegerakkan dengan Bard.

VideoPoet (Google)

Model bahasa besar (LLM) ini dilatih daripada repositori besar video, foto, audio dan teks yang dibangunkan oleh Carian Google pada tahun 2023. VideoPoet boleh melaksanakan pelbagai tugas daripada sumber input seperti teks, foto, video... untuk mencipta video, menyerlahkan kandungan, menukar video kepada audio, menukar imej pegun kepada animasi...

Idea asal untuk VideoPoet berpunca daripada keperluan untuk menterjemah sebarang model bahasa autoregresif ke dalam sistem penjanaan video. Model bahasa autoregresif semasa boleh memproses teks dan kod pengaturcaraan seperti manusia, tetapi sukar apabila ia berkaitan dengan video. VideoPoet menyelesaikannya dengan menggunakan tokenisasi untuk menterjemah input daripada sebarang format ke dalam bahasa yang boleh difahaminya.

Các công cụ tạo ra video từ văn bản đa phần đang thử nghiệm giới hạn — Alat untuk mencipta video daripada teks kebanyakannya menguji hadnya

Video Emu (Meta)

Selain Google dan OpenAI, Meta juga merupakan salah satu daripada Big Tech yang aktif dalam mencipta AI. Syarikat yang memiliki Facebook juga membangunkan AI pembuatan video yang dipanggil Emu Video, yang boleh menukar imej kepada teks dan kemudian menggunakannya sebagai data untuk membuat klip.

Emu Video menerima ulasan positif daripada penguji beta, dengan 81% lebih mengutamakannya berbanding Imagen Video (Google). Lebih 90% memilih model Meta berbanding PYOCO (Nvidia), malah lebih baik daripada Make-A-Video Meta (96%).

CogVideo (Universiti Tsinghua, China)

Tidak seperti model di atas, yang kesemuanya merupakan produk syarikat teknologi terkemuka dunia , CogVideo ialah AI yang dibangunkan oleh pasukan penyelidik dari Universiti Tsinghua - sebuah sekolah berprestij terkemuka di China dan juga Asia. Program ini berdasarkan CogView2, model teks-ke-imej yang telah terlatih.

Pakar seni komputer Glenn Marshall, yang menguji CogVideo, berkata "pengarah boleh kehilangan pekerjaan mereka." Klipnya, yang dipanggil The Crow , dicipta dengan bantuan CogVideo, menerima pujian tinggi dan dicalonkan untuk Anugerah Filem Akademi British (BAFTA).

Pautan sumber