OpenAI'ın Video Üreten Modeli Sora, Video Oyunlarını da Renderlayabiliyor

OpenAI'ın yeni, hem de ilk video üreten modeli Sora, film yapımcılığında gerçekten etkileyici işler başarabiliyor. Ama bu akşam yayımlanan teknik bir makaleye göre, model OpenAI'ın başta iddia ettiğinden de daha fazlasını yapabiliyor.

"Video üretim modelleri dünya simülatörleri olarak" isimli makale, birçok OpenAI araştırmacısı tarafından ortaklaşa yazıldı. Makale, Sora'nın mimarisinin perdesini aralayarak örneğin her çözünürlükte ve en boy oranında (1080p'ye kadar) video üretebildiğini ortaya koyuyor. Makaleye göre Sora, döngü oluşturmaktan videoları zamanda ileri veya geriye uzatmaya, var olan bir videonun arka planını değiştirmeye kadar çeşitli görüntü ve video düzenleme görevlerini de gerçekleştirebiliyor.

OpenAI'ın ortak yazarlarının da belirttiği gibi, Sora'nın "dijital dünyaları simüle edebilme" yeteneği oldukça şaşırtıcı. OpenAI, bir deneyde Sora'ya "Minecraft" kelimesini içeren komutlar vererek inanılır derecede Minecraft benzeri bir arayüz ve oyun (fizik dahil oyun dinamikleri) oluşturmasını sağladı. Hem de bunu yaparken oyuncu karakterini kontrol ediyordu.

Peki Sora bunu nasıl başarıyor? Nvidia'dan kıdemli araştırmacı Jim Fan'ın da (Quartz üzerinden) belirttiği gibi, Sora daha çok yaratıcı bir araçtan ziyade "veri odaklı bir fizik motoru." Tek bir fotoğraf veya video üretmiyor, aynı zamanda bir ortamda her bir nesnenin fizik kurallarını belirliyor ve bu hesaplamalara göre bir fotoğraf veya video (ya da duruma göre etkileşimli 3D dünya) oluşturuyor.

OpenAI'ın ortak yazarları "Bu yetenekler, video modellerinin sürekli ölçeklendirilmesinin, fiziksel ve dijital dünyanın, içinde yaşayan nesnelerin, hayvanların ve insanların son derece yetenekli simülatörlerinin geliştirilmesine yönelik umut verici bir yol olduğunu gösteriyor" diye yazıyor.

OpenAI Sora can simulate Minecraft I guess. Maybe next generation game console will be "Sora box" and games are distributed as 2-3 paragraphs of text. pic.twitter.com/9BZUIoruOV — Andrew White (@andrewwhite01) February 16, 2024

Elbette, Sora'nın video oyunları alanında da olağan sınırlamaları var. Model, cam kırılması gibi temel etkileşimlerin fizik kurallarını doğru bir şekilde hesaplayamıyor. Hatta modelleyebildiği etkileşimlerde bile Sora tutarsız olabiliyor; örneğin bir kişinin hamburger yediğini renderlayabilir ama ısırık izlerini gösteremeyebilir.

Yine de, Sora metin açıklamalarından yola çıkarak daha gerçekçi, hatta fotogerçekçi, prosedürel olarak üretilen oyunlar için kapı açabilir gibi görünüyor. Bu hem heyecan verici hem de biraz korkutucu (örneğin, derin sahtecilik uygulamalarını düşünün). Muhtemelen bu yüzden OpenAI şu an için Sora'ya çok sınırlı erişimle bir programa dahil etmeyi tercih ediyor.

Umarız yakında daha fazla şey öğreniriz!