Штучний інтелект для перетворення тексту на відео, такий як Sora

Сора (OpenAI)

Sora — це найновіша анонсована програма, яка викликала найбільший ажіотаж, частково тому, що вона є продуктом OpenAI — відомого розробника ChatGPT, але головним чином через якість відео, які програма створює лише з текстових команд.

Успіх компанії з ChatGPT також надає її штучному інтелекту глибоке розуміння мови. Кліпи, що демонструють здібності Сори, показують, як персонажі рухаються та виражають себе так само реалістично, як у фільмі, знятому людиною.

Video "siêu thực" do Sora tạo từ các lệnh văn bản — «Сюрреалістичне» відео, створене Сорою за допомогою текстових команд

Але Sora ще не доступна для публічного використання з міркувань безпеки. OpenAI вживатиме ретельних заходів, перш ніж зробити її доступною для широкої публіки, особливо враховуючи зростання кількості користувачів ШІ, яких використовують у злочинних цілях, таких як видавання себе за інших користувачів або скоєння злочинів.

Люм'єр (Google)

Lumiere – це продукт від Google, який також здатний генерувати відео з введеного тексту, на основі моделі структурної дифузії STUNet (Space-Time-U-Net). Lumiere не обтяжує себе зшиванням статичних кадрів, а натомість цей штучний інтелект ідентифікує деталі у відео (просторова частина), відстежує, як вони рухаються та змінюються одночасно (часова частина), тим самим допомагаючи процесу проходити гладко.

Як і Sora, Lumiere ще не був опублікований. Компанія представила цю модель лише наприкінці січня 2024 року після запуску Gemini — великої мовної моделі, яку щойно синхронізували з Bard.

Відеопоет (Google)

Ця велика мовна модель (LLM) навчається на величезному сховищі відео, фотографій, аудіо та тексту, розробленому Google Search у 2023 році. VideoPoet може виконувати різні завдання з вхідних джерел, таких як текст, фотографії, відео... для створення відео, виділення контенту, конвертації відео в аудіо, перетворення нерухомих зображень на анімацію...

Початкова ідея VideoPoet виникла з необхідності перевести будь-яку модель авторегресивної мови в систему генерації відео. Сучасні моделі авторегресивної мови можуть обробляти текст і програмний код, як люди, але мають труднощі з відео. VideoPoet вирішує цю проблему, використовуючи токенізацію для перетворення вхідних даних з будь-якого формату на мову, яку він може зрозуміти.

Các công cụ tạo ra video từ văn bản đa phần đang thử nghiệm giới hạn — Інструменти для створення відео з тексту здебільшого випробовують свої межі

Відео про Ему (Мета)

Окрім Google та OpenAI, Meta також є однією з великих технологічних компаній, яка активно займається створенням штучного інтелекту. Компанія, яка володіє Facebook, також розробила штучний інтелект для створення відео під назвою Emu Video, який може конвертувати зображення в текст, а потім використовувати його як дані для створення кліпів.

Emu Video отримує позитивні відгуки від бета-тестерів, причому 81% віддають перевагу йому над Imagen Video (Google). Понад 90% обрали модель Meta замість PYOCO (Nvidia), що навіть краще, ніж Make-A-Video від Meta (96%).

CogVideo (Університет Цінхуа, Китай)

На відміну від вищезазначених моделей, які є продуктами провідних світових технологічних компаній, CogVideo — це штучний інтелект, розроблений дослідницькою групою з Університету Цінхуа — престижного навчального закладу Китаю та Азії. Програма базується на CogView2, попередньо навченій моделі перетворення тексту на зображення.

Експерт з комп'ютерного мистецтва Гленн Маршалл, який тестував CogVideo, сказав, що «режисери можуть втратити роботу». Його кліп під назвою «Ворон », створений за допомогою CogVideo, отримав високу оцінку та був номінований на премію Британської кіноакадемії (BAFTA).

Посилання на джерело