AI teks-ke-video seperti Sora

[iklan_1]

Sora (OpenAI)

Sora adalah nama terbaru yang diumumkan tetapi telah menyebabkan kehebohan terbesar, sebagian karena ia merupakan produk OpenAI - pengembang ChatGPT yang terkenal, tetapi terutama karena kualitas video yang dibuat program tersebut hanya dari perintah teks.

Kesuksesan perusahaan dengan ChatGPT juga memberikan AI-nya pemahaman mendalam tentang bahasa. Klip yang menunjukkan kemampuan Sora menunjukkan karakter-karakter bergerak dan mengekspresikan diri mereka dengan cara yang senyata film yang direkam manusia.

Video "siêu thực" do Sora tạo từ các lệnh văn bản — Video "surealistis" yang dibuat oleh Sora dari perintah teks

Namun, Sora belum tersedia untuk konsumsi publik karena alasan keamanan. OpenAI akan mengambil langkah-langkah cermat sebelum merilisnya untuk masyarakat umum, terutama mengingat semakin banyaknya pengguna AI yang digunakan untuk tujuan jahat, seperti menyamar sebagai pengguna atau melakukan kejahatan.

Lumiere (Google)

Lumiere adalah produk dari Google yang juga mampu menghasilkan video dari input teks, berdasarkan model difusi struktur STUNet (Space-Time-U-Net). Lumiere tidak perlu repot-repot menggabungkan frame-frame diam, melainkan AI ini mengidentifikasi detail-detail dalam video (bagian spasial), melacak pergerakannya, dan perubahannya secara bersamaan (bagian temporal), sehingga membantu prosesnya berjalan lancar.

Seperti Sora, Lumiere belum dirilis ke publik. Perusahaan baru memperkenalkan model ini pada akhir Januari 2024 setelah peluncuran Gemini - model bahasa besar yang baru saja disinkronkan dengan Bard.

VideoPoet (Google)

Model bahasa besar (LLM) ini dilatih dari repositori besar video, foto, audio, dan teks yang dikembangkan oleh Google Search pada tahun 2023. VideoPoet dapat melakukan berbagai tugas dari sumber masukan seperti teks, foto, video... untuk membuat video, menyorot konten, mengonversi video ke audio, mengubah gambar diam menjadi animasi...

Ide awal VideoPoet berawal dari kebutuhan untuk menerjemahkan model bahasa autoregresif apa pun ke dalam sistem pembangkitan video. Model bahasa autoregresif saat ini dapat memproses teks dan kode pemrograman layaknya manusia, tetapi mengalami kesulitan dalam hal video. VideoPoet mengatasi masalah ini dengan menggunakan tokenisasi untuk menerjemahkan input dari format apa pun ke dalam bahasa yang dapat dipahaminya.

Các công cụ tạo ra video từ văn bản đa phần đang thử nghiệm giới hạn — Alat untuk membuat video dari teks sebagian besar menguji batasnya

Video Emu (Meta)

Selain Google dan OpenAI, Meta juga merupakan salah satu perusahaan teknologi besar yang aktif mengembangkan AI. Perusahaan pemilik Facebook ini juga mengembangkan AI pembuat video bernama Emu Video, yang dapat mengubah gambar menjadi teks dan kemudian menggunakannya sebagai data untuk membuat klip.

Emu Video menerima ulasan positif dari penguji beta, dengan 81% lebih menyukainya daripada Imagen Video (Google). Lebih dari 90% memilih model Meta daripada PYOCO (Nvidia), bahkan lebih baik daripada Make-A-Video Meta (96%).

CogVideo (Universitas Tsinghua, Tiongkok)

Berbeda dengan model-model di atas, yang semuanya merupakan produk dari perusahaan-perusahaan teknologi terkemuka dunia , CogVideo adalah AI yang dikembangkan oleh tim peneliti dari Universitas Tsinghua—universitas bergengsi di Tiongkok dan Asia. Program ini berbasis CogView2, sebuah model teks-ke-gambar yang telah dilatih sebelumnya.

Pakar seni komputer Glenn Marshall, yang menguji CogVideo, mengatakan "para sutradara bisa kehilangan pekerjaan mereka." Klipnya, berjudul The Crow , yang dibuat dengan bantuan CogVideo, mendapat pujian tinggi dan dinominasikan untuk British Academy Film Award (BAFTA).

[iklan_2]
Tautan sumber