ByteDance, tek görselden 5 dakikaya kadar video üreten OmniHuman 2.0'ı kullanıma sundu
TikTok'un çatı şirketi ByteDance, yapay zeka destekli video üretim modeli OmniHuman'ın yeni sürümü OmniHuman 2.0'ı kullanıma sundu. Model, tek bir görsel ve ses kaydından 5 dakikaya kadar gerçekçi dijital karakter videosu üretebiliyor.
Şirketin kurumsal yapay zeka platformu BytePlus üzerinden sunulan model, tek bir görsel ve ses kaydını girdi olarak alıp 5 dakikaya kadar video oluşturabiliyor. OmniHuman 2.0, karakterlerin konuşmalarını, mimiklerini ve vücut hareketlerini ses içeriğiyle eşleştirerek gerçekçi dijital karakter videoları üretiyor.
Modelin öne çıkan yeniliklerinden biri, yalnızca dudak senkronizasyonuna odaklanmak yerine sesin ritmini, tonlamasını ve anlamını da karakter hareketlerine yansıtması. BytePlus'a göre model, ses içeriğini analiz ederek uygun jestler ve duygusal tepkiler oluşturabiliyor. Böylece karakterin söyledikleriyle beden dili arasında daha doğal bir uyum hedefleniyor.
Kullanıcılar isteğe bağlı olarak metin komutlarıyla sahnedeki hareketleri ve kamera davranışını yönlendirebiliyor. Model, metin komutları üzerinden nesne üretimi, belirli hareketler ve kamera hareketlerinin kontrolüne de imkan tanıyor. Çok karakterli sahneler desteklenirken sistem yalnızca insan görselleriyle sınırlı değil; hayvanlar, 3D karakterler ve farklı görsel stillerdeki karakterler de hareketlendirilebiliyor. Komut yoluyla referans görselde bulunmayan bazı öğelerin sahneye eklenmesi de mümkün.
Kaynak: Webrazzi