Главная проблема Veo 3

Эта модель ИИ автоматически вставляет невнятные, бессмысленные субтитлы в видео спустя более месяца после запуска. Эта ситуация показывает, что Google готов выпускать недоработанные продукты, чтобы продемонстрировать возможности своего ИИ.

Veo3 — это новейшая модель искусственного интеллекта от Google, запущенная в конце мая, которая позволяет пользователям создавать видеоролики на основе голосовых команд. Эта модель привлекла внимание сообщества создателей контента, поскольку позволяет создавать видео со звуком и диалогами — функция, недоступная в предыдущих версиях модели Google, — что делает их более реалистичными.

Многие пользователи используют видеоклипы Veo 3, длительностью до 8 секунд, для создания рекламных роликов, ASMR-видео, трейлеров к фантастическим фильмам и юмористических уличных интервью.

Номинированный на «Оскар» режиссер Даррен Аронофски использовал этот инструмент для создания короткометражного фильма под названием «Ancestra». На пресс-конференции генеральный директор Google DeepMind Демис Хассабис сравнил Veo 3 с шагом «из эпохи немого кино» в кинематографе.

«Постоянные» субтитлы от Veo 3

Однако многие пользователи обнаружили, что этот инструмент работает не так, как ожидалось. При создании клипов с диалогами Veo 3 часто автоматически вставляет бессмысленные, бессвязные субтитлы, даже когда в команде четко указано не добавлять субтитлы.

Удалить эти субтитлы непросто. Пользователям приходится создавать клип заново, тратя «токены», что означает дополнительные расходы на Google, или использовать сторонние инструменты для удаления субтитлов, или обрезать видео, чтобы удалить субтитлы.

Veo 3 воспроизводит реалистичные визуальные эффекты и диалоги, соответствующие движениям губ, но субтитры бессмысленны. Фото: Lesswrong .

Джош Вудворд, вице-президент Google Labs и Gemini, 9 июня опубликовал на X сообщение о том, что Google разработала патчи для уменьшения проблемы со спамом. Но спустя более месяца пользователи продолжают сообщать об этой проблеме в канале Discord Google Labs, что показывает, насколько сложно исправлять ошибки в больших моделях ИИ.

Как и предыдущие модели создания видео с помощью ИИ от Google, Veo 3 — это платная модель, стоимость которой начинается от 249,99 долларов в месяц. Для создания 8-секундного видеоролика пользователи вводят описание в Flow, Gemini или другую платформу. Создание каждого клипа с помощью Veo 3 стоит не менее 20 кредитов ИИ, а пополнение счета до 2500 кредитов обойдется в 25 долларов .

Режиссер рекламных роликов Мона Вайс говорит, что пересъемка видеоматериала для удаления субтитров становится значительной статьей расходов. «Если вы создаете сцену с диалогами с помощью Veo3, примерно 40% результата будет содержать бессмысленные субтитры, делающие видео непригодным для использования», — говорит она. «Создание понравившейся сцены обходится дорого, но в итоге она оказывается непригодной».

На Veo 3 сложно удалить бессмысленные субтитлы. Фото: Technology Review .

Когда Вайсс сообщила о проблеме в Google Labs через Discord, надеясь вернуть потраченные впустую кредиты, служба поддержки перенаправила её в официальный отдел поддержки компании. Там ей предложили возврат средств за подписку на Veo 3, но не за кредиты. Вайсс отказалась, потому что принятие возврата означало бы потерю доступа к модели.

Команда поддержки Google Labs в Discord сообщила, что субтитры могут автоматически активироваться при обнаружении голоса, и они работают над устранением этой ошибки.

Проблема кроется в подходе Google.

Причина, по которой Veo 3 автоматически вставляет субтитлы, кроется в данных, на которых обучалась модель.

Хотя Google не опубликовала подробности о категориях данных, используемых для обучения своих моделей, вероятно, это включает видео с таких платформ, как YouTube и TikTok, многие из которых содержат субтитлы. Эти субтитлы встраиваются непосредственно в кадры видео, что затрудняет их удаление перед использованием в качестве обучающих данных, как отмечает Шуо Ню, исследователь платформ обмена видео и искусственного интеллекта из Университета Кларка (Массачусетс, США).

«Модели преобразования текста в видео обучаются с помощью обучения с подкреплением для создания контента, имитирующего видеоролики, созданные людьми, и если эти видео имеют субтитры, модель может «научиться» тому, что добавление субтитров делает продукт более похожим на видеоролик, созданный человеком», — пояснил он.

На работу Veo 3 повлияли данные для обучения модели, полученные из видеороликов YouTube и TikTok. Изображение: Mashable .

Представитель Google заявил: «Мы постоянно совершенствуем наши возможности по созданию видео, особенно в части текста, естественного звучания голоса и идеально синхронизированного звука. Мы призываем пользователей повторить команду, если результаты окажутся неудовлетворительными, и оставить отзыв, используя функцию «нравится» или «не нравится».

Кроме того, причина, по которой эта модель игнорирует подсказки типа «Без субтитров», заключается в том, что отрицательные утверждения (указывающие ИИ не делать чего-либо) обычно менее эффективны, чем утвердительные подсказки, как утверждает Тухин Чакрабарти, исследователь систем искусственного интеллекта из Университета Стоуни-Брук.

Для полного решения проблемы Google придётся изучить каждый кадр всех видеороликов, использованных для обучения Veo 3, затем удалить или перемаркировать видео с субтитрами, прежде чем переобучать модель. На это уйдут недели, добавил Чакрабарти.

Катерина Цижек, режиссер-документалист и арт-директор лаборатории MIT Open Documentary Lab, утверждает, что эта проблема демонстрирует готовность Google выпускать продукты, которые еще не полностью доработаны.

«Google нужна победа, — заявил Цижек. — Им нужно первыми выпустить инструмент, который сможет создавать звук, соответствующий движениям губ. И это важнее, чем решение проблемы с субтитрами».

Источник: https://znews.vn/van-de-lon-cua-veo-3-post1569402.html