Veo 3'ün en büyük sorunu

Bu yapay zeka modeli, piyasaya sürülmesinden bir aydan fazla süre sonra bile videolara otomatik olarak karmaşık ve anlamsız altyazılar ekliyor. Bu durum, Google'ın yapay zeka yeteneklerini göstermek için tamamlanmamış ürünler piyasaya sürmeye istekli olduğunu gösteriyor.

Veo3, Google'ın Mayıs ayı sonlarında piyasaya sürdüğü ve kullanıcıların sesli komutlara dayalı videolar oluşturmasına olanak tanıyan en yeni yapay zeka modelidir. Bu model, önceki Google modellerinde bulunmayan bir özellik olan ses ve diyalog içeren videolar oluşturmaya izin verdiği için içerik oluşturma topluluğunun dikkatini çekmiş ve videoları daha gerçekçi hale getirmiştir.

Birçok kullanıcı, reklamlar, ASMR videoları, fantastik film fragmanları ve komik sokak röportajları oluşturmak için 8 saniyeye kadar uzunluktaki Veo 3 video kliplerini kullanıyor.

Oscar adayı yönetmen Darren Aronofsky, bu aracı kullanarak Ancestra adlı kısa filmi çekti. Basın toplantısında Google DeepMind CEO'su Demis Hassabis, Veo 3'ü sinemada "sessiz film döneminden bir adım öteye" atılmış bir teknoloji olarak nitelendirdi.

Veo 3'ten "Kalıcı" altyazılar

Ancak birçok kullanıcı bu aracın beklendiği gibi çalışmadığını fark etti. Diyalog içeren klipler oluştururken, Veo 3, altyazı eklenmemesi açıkça belirtilmiş olsa bile, çoğu zaman anlamsız ve karışık altyazıları otomatik olarak ekliyor.

Bu altyazıları kaldırmak kolay değil. Kullanıcılar, videoyu yeniden oluşturmak zorunda kalıyor ve bu da "jeton" harcamak anlamına geliyor; yani Google'a daha fazla para harcamak zorunda kalıyorlar. Alternatif olarak, altyazıları kaldırmak için harici araçlar kullanmaları veya videoyu kırpıp altyazıları kaldırmaları gerekiyor.

Veo 3 gerçekçi görseller ve dudak hareketleriyle eşleşen diyaloglar sunuyor, ancak altyazılar anlamsız. Fotoğraf: Lesswrong .

Google Labs ve Gemini'nin başkan yardımcısı Josh Woodward, 9 Haziran'da X'te Google'ın spam sorununu azaltmak için yamalar geliştirdiğini duyurdu. Ancak bir aydan fazla süre geçmesine rağmen, kullanıcılar Google Labs'ın Discord kanalında bu sorunu bildirmeye devam ediyor; bu da büyük yapay zeka modellerindeki hataları düzeltmenin kolay olmadığını gösteriyor.

Google'ın önceki yapay zeka video oluşturma modelleri gibi, Veo 3 de aylık 249,99 dolardan başlayan ücretli bir modeldir. 8 saniyelik bir video oluşturmak için kullanıcılar Flow, Gemini veya başka bir platforma bir açıklama girer. Veo 3 kullanılarak oluşturulan her klip en az 20 yapay zeka kredisine mal olur ve kullanıcılar 25 dolar karşılığında 2.500 kredi daha satın alabilirler.

Reklam yönetmeni Mona Weiss, altyazıları kaldırmak için görüntüleri yeniden oluşturmanın önemli bir masraf haline geldiğini söylüyor. "Veo3 kullanarak diyalog içeren bir sahne oluşturursanız, çıktının yaklaşık %40'ında anlamsız altyazılar olur ve video kullanılamaz hale gelir," diyor. "Beğendiğiniz bir sahne elde etmek çok paraya mal oluyor, ancak sonuçta kullanılamaz hale geliyor."

Veo 3'te anlamsız altyazıları kaldırmak zordur. Fotoğraf: Technology Review .

Weiss, boşa giden kredilerini geri almak umuduyla Discord üzerinden Google Labs'e sorunu bildirdiğinde, destek ekibi onu şirketin resmi destek departmanına yönlendirdi. Veo 3 abonelik ücreti için geri ödeme teklif ettiler, ancak krediler için geri ödeme yapmadılar. Weiss, geri ödemeyi kabul etmenin modele erişimini kaybetmek anlamına geleceği için teklifi reddetti.

Google Labs Discord destek ekibi, ses algılandığında altyazıların otomatik olarak etkinleştirilebileceğini ve bu hatayı düzeltmek için çalıştıklarını belirtti.

Sorun Google'ın yaklaşımından kaynaklanıyor.

Veo 3'ün altyazıları otomatik olarak eklemesinin nedeni, modelin eğitildiği verilerden kaynaklanmaktadır.

Google, modellerini eğitmek için kullanılan veri kategorilerinin ayrıntılarını yayınlamamış olsa da, büyük olasılıkla YouTube ve TikTok gibi platformlardan alınan ve çoğunda altyazı bulunan videoları içeriyor. Clark Üniversitesi'nde (Massachusetts, ABD) video paylaşım platformları ve yapay zeka üzerine araştırmalar yapan Shuo Niu'ya göre, bu altyazılar doğrudan video karelerine yerleştirildiği için eğitim verisi olarak kullanılmadan önce kaldırılmaları zor.

"Metinden videoya dönüştürme modelleri, insan yapımı videoları taklit eden içerik oluşturmak için pekiştirmeli öğrenme kullanılarak eğitilir ve eğer bu videolarda altyazı varsa, model altyazı eklemenin ürünü insan yapımı bir videoya daha çok benzettiğini 'öğrenebilir'," diye açıkladı.

Veo 3, YouTube ve TikTok videolarından elde edilen model eğitim verilerinden etkilendi. Resim: Mashable .

Google sözcüsü şunları söyledi: “Özellikle metin, doğal ses ve mükemmel senkronize ses açısından video oluşturma yeteneklerimizi sürekli geliştiriyoruz. Kullanıcıların sonuçları tutarsız bulmaları durumunda komutu tekrar denemelerini ve beğenme veya beğenmeme özelliği aracılığıyla bize geri bildirimde bulunmalarını öneriyoruz.”

Dahası, Stony Brook Üniversitesi'nde yapay zeka sistemleri araştırmacısı olan Tuhin Chakrabarty'ye göre, bu modelin "Altyazı yok" gibi uyarıları görmezden gelmesinin nedeni, olumsuz ifadelerin (yapay zekaya bir şey yapmamasını emreden) genellikle olumlu uyarılardan daha az etkili olmasıdır.

Sorunu tamamen çözmek için Google'ın Veo 3'ü eğitmek için kullanılan tüm videoların her karesini incelemesi, ardından altyazılı videoları kaldırması veya yeniden etiketlemesi ve modeli yeniden eğitmesi gerekecek. Chakrabarty, bunun haftalar süreceğini de ekledi.

MIT Açık Belgesel Laboratuvarı'nda belgesel film yapımcısı ve sanat yönetmeni olan Katerina Cizek, bu konunun Google'ın henüz tam olarak bitmemiş ürünleri piyasaya sürme isteğini gösterdiğini savunuyor.

Cizek, "Google'ın bir zafer kazanması gerekiyor," dedi. "Dudak hareketleriyle eşleşen ses oluşturabilen bir aracı ilk piyasaya süren şirket olmaları gerekiyor. Ve bu, altyazı sorununu çözmekten daha önemli."

Kaynak: https://znews.vn/van-de-lon-cua-veo-3-post1569402.html