Veo 3'ün büyük sorunu

Veo3, Google'ın Mayıs ayı sonunda piyasaya sürdüğü en yeni yapay zeka modelidir ve komutlara dayalı videolar oluşturmasına olanak tanır. Bu model, Google'ın önceki modelinde bulunmayan sesli ve diyaloglu videolar oluşturmasına olanak tanıdığı ve böylece daha gerçekçi hale getirdiği için içerik oluşturma topluluğunun dikkatini çekmiştir.

Birçok kullanıcı, 8 saniyeye kadar uzunluktaki Veo 3 videolarını reklamlar, ASMR videoları, fantastik film fragmanları ve esprili sokak röportajları oluşturmak için kullanıyor.

Oscar adayı yönetmen Darren Aronofsky, bu aracı kullanarak Ancestra adlı kısa bir film yarattı. Google DeepMind CEO'su Demis Hassabis, düzenlediği basın toplantısında Veo 3'ü sinemada sessiz film döneminden uzaklaşmaya benzetti.

Veo 3'ten "Kalıcı" altyazılar

Ancak birçok kullanıcı, aracın beklendiği gibi çalışmadığını fark etti. Veo 3, diyaloglu klipler oluştururken, komutta altyazı eklenmemesi açıkça belirtilmiş olsa bile, genellikle otomatik olarak anlamsız ve karmaşık altyazılar ekliyor.

Bu altyazıları kaldırmak kolay değil. Kullanıcılar klibi yeniden oluşturmak, "token" harcamak (yani Google'a daha fazla para harcamak), altyazıları kaldırmak için harici bir araç kullanmak veya altyazıları kaldırmak için videoyu kırpmak zorunda kalıyor.

Veo 3 gerçekçi görüntüler üretiyor, diyaloglar ağız hareketleriyle uyumlu, ancak altyazılar anlamsız. Fotoğraf: Lesswrong .

Google Labs ve Gemini Başkan Yardımcısı Josh Woodward, 9 Haziran'da X'te Google'ın spam'i azaltmak için yamalar geliştirdiğini yazdı. Ancak bir aydan uzun bir süre sonra, kullanıcılar sorunu Google Labs Discord kanalında bildirmeye devam ediyor ve bu da büyük yapay zeka modellerindeki hataları düzeltmenin kolay olmadığını gösteriyor.

Google'ın önceki video üreten yapay zeka modelleri gibi, Veo 3 de aylık 249,99 dolardan başlayan fiyatlarla ücretli bir modeldir. 8 saniyelik bir video oluşturmak için kullanıcılar Flow, Gemini veya başka bir platforma bir açıklama girer. Veo 3 ile oluşturulan her klip için minimum 20 yapay zeka kredisi gerekir ve kullanıcılar 25 dolara 2.500 kredi alabilirler.

Reklam yönetmeni Mona Weiss, altyazıları kaldırarak görüntüleri yeniden oluşturmanın önemli bir masraf haline geldiğini söyledi. "Veo3 ile bir konuşma sahnesi oluşturursanız, çıktının yaklaşık %40'ı videoyu kullanılamaz hale getiren anlamsız altyazılardan oluşacaktır," dedi. "Beğendiğiniz bir sahneyi elde etmek çok para, ama sonunda kullanılamaz hale geliyor."

Veo 3'te anlamsız altyazıları kaldırmak zor. Fotoğraf: Technology Review .

Weiss, boşa giden kredilerin iadesini almak umuduyla Discord üzerinden Google Labs'a sorunu bildirdiğinde, destek ekibi onu şirketin resmi destek departmanına yönlendirdi. Veo 3 abonelik ücretini iade etmeyi teklif ettiler, ancak kredileri iade etmediler. Weiss, iadeyi kabul etmenin modele erişimi kaybetmek anlamına geleceği için bu teklifi reddetti.

Google Labs'ın Discord destek ekibi, konuşma algılandığında altyazıların otomatik olarak etkinleştirilebileceğini ve bir düzeltme üzerinde çalıştıklarını söylüyor.

Google'ın yaklaşımındaki sorun

Veo 3'ün altyazıları otomatik olarak eklemesinin nedeni, modelin eğitildiği verilerden kaynaklanmaktadır.

Clark Üniversitesi'nde (Massachusetts, ABD) video paylaşım platformları ve yapay zeka araştırmacısı olan Shuo Niu'ya göre, Google, modeli eğitmek için kullanılan veri kategorilerinin ayrıntılarını açıklamasa da, bunların çoğu doğrudan çerçeveye yerleştirilmiş altyazılara sahip YouTube ve TikTok videolarını içeriyor ve bu da model eğitim verisi olarak kullanılmadan önce bunların kaldırılmasını zorlaştırıyor.

"Metin-video modelleri, takviyeli öğrenme kullanılarak eğitilerek insan yapımı videoları taklit eden içerikler üretiliyor ve eğer bu videoların altyazısı varsa, model altyazı eklemenin ürünü insan yapımı videolara daha çok benzettiğini 'öğrenebiliyor'" diye açıklıyor.

Veo 3, YouTube ve TikTok videolarından gelen model eğitim verilerinden etkileniyor. Fotoğraf: Mashable .

Bir Google sözcüsü, "Özellikle metin, doğal konuşma ve mükemmel senkronize ses konusunda video oluşturma yeteneklerimizi sürekli geliştiriyoruz," dedi. "Kullanıcıları, tutarsız sonuçlar görürlerse komutlarını tekrar denemeye ve sonuçları beğenerek veya beğenmeyerek bize geri bildirimde bulunmaya teşvik ediyoruz."

Stony Brook Üniversitesi'nde yapay zeka sistemleri araştırmacısı olan Tuhin Chakrabarty'ye göre, modelin "Alt yazı yok" gibi talimatları görmezden gelmesinin nedeni, olumsuz ifadelerin (yapay zekadan bir şey yapmamasını istemek) genellikle olumlu uyarılardan daha az etkili olmasıdır.

Chakrabarty, sorunu tamamen çözmek için Google'ın Veo 3'ü eğitmek için kullanılan tüm videoların her karesini incelemesi, ardından modeli yeniden eğitmeden önce altyazılı videoları kaldırması veya yeniden etiketlemesi gerekeceğini ve bunun da haftalar süreceğini ekledi.

Belgesel yapımcısı ve MIT Açık Belgesel Laboratuvarı'nda sanat yönetmeni olan Katerina Cizek, sorunun Google'ın henüz tamamlanmamış ürünleri piyasaya sürmeye istekli olduğunu gösterdiğini söylüyor.

"Google'ın bir zafere ihtiyacı var," dedi Cizek. "Dudak seslerini eşleştirebilen bir araç yayınlayan ilk şirket onlar olmalı. Ve bu, altyazı sorununu çözmekten daha önemli."

Kaynak: https://znews.vn/van-de-lon-cua-veo-3-post1569402.html