WorldOracle, World Modellerin Gerçek Dünyada Güvenilir Şekilde Öngörülebilir mi Olduğunu Sınamaya Başladı.

• WorldOracle, eylem koşullu dünya modellerini (ACWM) değerlendiren bir benchmark olup, her modelin tahmin ettiği simülasyonu eşlenen gerçek dünya uygulamasıyla karşılaştırarak puanlar; her iki senaryo da aynı başlangıç gözlemlerinden başlar ve aynı eylem dizisini izler.
• Yedi temsilci model değerlendirildi; kolu hareketi nispeten iyi tahmin edilirken, nesnelerin konum ve hareketleri sık sık gerçekten sapıyor ve tam işlem dizilerinde performans düşüyor.
• Platform, 16 Ekim’de geliştiricilere açıldı ve hem açık ağırlıklı hem de kapalı kaynaklı modelleri kabul ediyor.

Bir WorldOracle örneğinde robotun kavraması isabet etmedi, ancak dünya modeli başarılı bir kaldırma tahmin etti. Kaynak: [WorldOracle ekibi / AgiBot]

WorldOracle’ın sunduğu bir örnekte, robotun kavraması isabet etmedi, ancak dünya modeli robotun meyveyi başarıyla kaldırdığını tahmin etti.

Gerçek bir manipülasyon kaydının başlangıç karesi ve eylem dizisi verildiğinde, model ekranda makul görünen bir simülasyon üretti, ancak bu gerçek uygulamadan farklıydı. Gösterdiği başarı gerçekte hiç yaşanmadı.

Princeton Üniversitesi, Texas Austin Üniversitesi, Toronto Üniversitesi, NVIDIA ve AgiBot araştırmacıları, dünya modellerini (ACWM) değerlendirmek için özel olarak tasarlanan WorldOracle’ı, tahminlerini aynı başlangıç gözlemlerinden başlayıp aynı eylem dizilerini izleyen gerçek dünya uygulamalarıyla karşılaştırarak tanıttı.

Ekibin değerlendirdiği yedi temsilci model arasında DreamDojo, Cosmos 3, IRASim ve GE-Sim 2.0 da bulunuyordu ve iki belirgin sorun ortaya kondu. İlkin, kollerin hareket yolları nispeten iyi tahmin edilirken, manipüle edilen nesnelerin konum ve hareketleri gerçekten sapabiliyor. İkincin, kısa öngörü periyotlarında iyi çalışan modeller, tam işlem dizilerinde önemli ölçüde düşebilir.

16 Ekim’de, eylem koşullu dünya modelleri için bir değerlendirme platformu olan WorldOracle, geliştiriciler için resmen kullanıma açıldı. Araştırma ekibi, hem video hem de kaydedilen eylemleri içeren gerçek manipülasyon olaylarını önceden topladı. Geliştiriciler, değerlendirme setinde sağlanan başlangıç karelerini ve eylem dizilerini kullanarak tahmin edilen videolar üretir ve bunları platforma gönderir; platform her gönderimi ilgili gerçek yürütme kaydıyla puanlar. Sonuçlar, bir modelin eylemlerin sonuçlarını ne kadar doğru tahmin ettiğini gösterir ve geliştiricilerin zayıf yönlerini belirlemelerine ile iyileştirmeleri doğrulamalarına yardımcı olur.

Proje sayfası: https://worldoracle-benchmark.github.io/

Makale: https://arxiv.org/abs/2610.18826

Yedi Dünya Modeli Nasıl Sonuç Veriyor?
Kol hareketi doğru, ancak nesneler her zaman takip etmiyor

Meyveye doğru uzanan ve kavrayıcısını kapatan bir robot kolunun tahmin edilen hareketi, gerçek hareketiyle büyük ölçüde örtüşebilir; yine de model, meyvenin kaldırılıp kaldırılmadığı ve sonraki hareketinin nereye olacağına dair tahmini yanlış yapabilir. Bu iki yönü ayrı ayrı değerlendirmek için araştırma ekibi, her tahmin edilen videodaki robot kolu ve manipüle edilen nesnenin konumunu ve hareketini gerçek kayıtlarla karşılaştırdı ve her birini ayrı ayrı puanladı.

Robot kolu ve manipüle edilen nesne için uzamsal hizalama puanları. Kaynak: [WorldOracle ekibi / AgiBot]

Sonuçlar, insan işletimli AgiBot G2 verisi üzerinde değerlendirilen beş modelin de kolda nesneden daha yüksek puan aldığını gösteriyor. Başka bir deyimle, oluşturulan videodaki kol verilen eylemleri ne kadar iyi takip etsin, nesnenin konumu ve hareketi gerçekten uzaklaşmaya devam edebilir. IRASim robot kolda 78.8, manipüle edilen nesnede ise yalnızca 29.1 puan alırken, Cosmos 3 sırasıyla 89.4 ve 45.4 puan aldı. Geriye kalan modeller farklı büyüklüklerde açıklar gösterdi.

Tahmin doğruluğu, rollout süresi uzadıkça azalır

Zaman ikinci bir zorluk sunar. Sürekli bir görevi tamamlamak çoğu zaman birden fazla kavrama, yerleştirme ve ayarlamayı gerektirir; bir etkileşimin geride bıraktığı nesne durumu, bir sonrakinin başlangıç noktası olur. Bu nedenle bir modelin gerçeğe ne kadar yakın kaldığının, tüm süreç üzerinden test edilmesi gerekir.

Aynı modellerin iki değerlendirme görüş açısındaki WorldOracle-SV puanları. Kaynak: [WorldOracle ekibi / AgiBot]

Aynı AgiBot G2 uzaktan kumanda veri setinde, beş modelin de WorldOracle-SV puanları düştü. DreamDojo 50.56’dan 27.08’e, Cosmos 3 ise 53.99’dan 26.60’a geriledi; her iki durumda da neredeyse yarıya indi. GE-Sim 2.0 ise 73.86’dan 63.33’e gerileyerek hem iki görüş açısında hem de tüm dizide en yüksek puanı aldı ve en az düşüşü kaydetti.

Göreceli sıralama da değişti. IRASim, ilk 30 saniye boyunca Ctrl-World, DreamDojo ve Cosmos 3’ün altında puan alırken, tüm dizi boyunca bu üç modelin üstünde kaldı.

WorldOracle Ne Ölçebilir?

WorldOracle değerlendirme çerçevesi: gerçek eylemler kaydedilir, model sonrasında neler olacağını tahmin eder ve sonuç gerçek uygulama ile karşılaştırılarak puanlanır. Kaynak: [WorldOracle ekibi / AgiBot]

Başarısızlığı doğru tahmin eden yüksek puan alır

WorldOracle, gerçek manipülasyonlardan önceden toplanmış kayıtlar üzerinden başlar. Modele ilk kare ve eylem dizisi verilir, bir tahmin videosu üretilir ve bu video aynı eylemlerin gerçek uygulamasıyla karşılaştırılır.

Modellerin tahmin etmesi gerekenler arasında kavramayı kaçırma, düşürme ve dökme yer alır. Bir işlem gerçekte başarısız olursa, bu başarısızlığın doğru şekilde tahmin edilmesi doğru tahmin sayılır.

Başarısız uygulamalar dolayısıyla önemli bir test örneği sınıfı oluşturur: bir modelin verilen eylemlere ve onların sonuçlarına uyup uymadığını, yoksa görevin başarılı sürümüne mi saplandığını ortaya çıkarırlar.

Benchmark; AgiBot G2 ve YAM dahil iki robot gövdesini ve ilk-person insan eliyle nesne manipülasyonunu kapsar. Meyve toplama, havlu asma, su dökme ve çekmece açma gibi dört görev sırasıyla rijit, esnek, sıvı ve eklemli nesnelerle etkileşimi içerir. Görev kapsamı, değerlendirme kümesinde tanımlandığı gibi gövdeye göre değişir.

İanca eliyle nesne manipülasyonu ortamı, eli hareket girdisini kabul edebilen dünya modelleri için tasarlanmıştır; burada bir modelden, kaydedilmiş bir el pozisyonu dizisi üzerinden sonraki nesne değişimlerini ve etkileşim sonuçlarını tahmin edip edemeyeceği test edilir. Egosantrik (öz merkezli) dünya modelleme yeteneğine sahip modeller, platform tarafından sağlanan ek bir el uyumlandırma verisi olmadan, sıfır örnekle (zero-shot) bu ortamda değerlendirilir.

Dört görev türü için gerçek yürütme kayıtları. Kaynak: [WorldOracle ekibi / AgiBot]

Veriler iki kaynaktan gelir. İlki, robot uzum operasyonu (teleoperation) izleri ve insan eliyle nesne manipülasyonu izleri dahil olmak üzere insan işletimli veri toplama sürecidir. İkincisi ise otonom bir politikanın gerçek bir robotu kontrol ettiği politika çalıştırma (policy rollout) işlemleridir.

Robot otonom olarak yürütme yaptığında, insan operasyonundan farklı duraklamalar, titremeler ve hareket düzeltmeleri üretebilir. Böyle verilerin dahil edilmesi, bir dünya modelinin farklı kaynaklardan gelen eylemlerle karşılaştığında doğruluğunu korup koramadığını test etmeye yardımcı olur.

Platform üç iz (track) sunar:

• WorldOracle-Policy: AgiBot G2 üzerinde otonos politika çalıştırmalarının tamamı üzerinde tahminleri değerlendirir.
• WorldOracle-Long: Tamamı insan işletimli uzun diziler üzerinde sürdürülebilir tahminleri değerlendirir.

WorldOracle çalışması, birkaç gömülü (embodied) dünya modeli benchmark’ını karşılaştırır. Bunların arasında WorldOracle; eylem dizisi girdisi, gerçek dünya yürütme verisi, hata durumları, uzun süreli etkileşim, çoklu gövde, çoklu görüş değerlendirmesi ve otonos politika çalıştırmaları aynı anda kapsayan tek benchmark’tır.

Tahmin hatasının parçalanması: sonuçlar ve süreç

Öngörülen ve gerçek robot kolu konumları, model meyvenin tutma durumunu yanlış bile olsa yakın eşleşebilir; iki son durum benzer görünebilirken onlara giden yollar farklı olabilir. Tek bir skor böyle farkları zor yakalar.

WorldOracle tahminleri dört tamamlayıcı metrikle değerlendirir:

• Fiziksel Durum Doğruluğu: her etkileşimin sonunda nesne konumlarının, tutma durumlarının ve sıvı transferinin gerçek sonuçla eşleşip eşleşmediğini kontrol eder.
• Etkileşimsel Alan Uyumu: nesnelerin, robot kollarının veya insan ellerinin konumlarının ve hareket yollarının gerçek süreçle tutarlı olduğunu kontrol eder.
• İşlemsel Alan Doğruluğu: nesne, makas ve el gibi bölgelere odaklanır; pikel düzeyinde, algısal ve anlamsal benzerliği birleştirerek büyük arka plan alanlarının skora etkisini azaltır.
• Çok Görüntülü Aksiyon Tutarlılığı: çoklu çıktıyı destekleyen modeller için senkronize kamera görünümleri arasındaki robot hareketinin gerçek yürütmeyle uyumlu olduğunu kontrol eder.

İlk üç metrik eşit ağırlıklarla ortalanarak WorldOracle-SV (tek görüntü) skorunu oluşturur; çoklu görüntü değerlendirmesinde dördüncü metrik eklenir ve dört metrik tekrar eşit ağırlıkl olur. Alt skorlar da saklanır; bu da geliştiricilere durum tahmini, hareket yolları ve yerel detaylardaki sorunları ayırt etme imkanı verir.

Metrikleri geçerli kılmak için araştırmacılar 119 katılımcıdan 128 tahmin çiftini karşılaştırmalarını istedi. Dört metrik, hangi tahminin daha iyi olduğuna dair insan tercihleriyle %88,1 ile %93,2 arasında uyum gösterdi.

Araştırmacılar aynı zamanda bu tablonun sınırlarını da belirtiyor. Tek bir kaydedilmiş gerçek yürütmeyle tahminin ne kadar yakınlaştığını ölçer. Sıvılar, şekil değiştiren nesneler ve rastlantısal temas için aynı eylem birkaç olası sonuca yol açabilir ve tek bir referans bu aralığı tam olarak tanımlayamaz.

Eğitim desteği de betimlemeler arasında farklılık gösterir: AgiBot G2 modelleri yarışma odaklı bir eğitim kümesi kullanır, YAM modelleri kamuya açık veri kullanır ve insan eli kuralları sıfırdan (zero-shot) değerlendirilir. Bu nedenle üç kurallaki skorlar doğrudan betimleme zorluğu veya betimlemeler arası genelleme değerlendirmesi için kullanılmamalıdır.

Geliştiriciler Nasıl Katılabilir?
Açık başvurular, model güncellemesine somut geri bildirim sağlar

WorldOracle hem açık ağırlıklı hem de kapalı kaynaklı modelleri destekler. Kayıt ve onayın ardından geliştiriciler, modelin desteklediği betimleme veya manipülasyon kurallarına göre bir yarış seçer, rehberliğe uygun olarak tahmini videolar üretip yükler ve bileşik skorları, alt skorları ve karşılaştırmaları görüntüler.

Model güncellemesi için bu geri bildirim belirli sorularla ilişkilendirilebilir: Bir değişiklik nesne hareketini daha isabetli kıldı mu? Başarısız operasyonlara dair hatalı tahminleri azalttı mı? Tahmin ufkundaki artış, tahmin menzili büyüdükçe korunuyor mu?

Bir dünya modelinin ürettiği geleceğin güvenilir olup olmadığı, gerçek yürütme ile test edilmelidir. WorldOracle bu testi bir dizi görev, veri ve değerlendirme yöntemi içinde birleştirerek geliştiricilere modelleri karşılaştırma, hataları belirleme ve iyileştirmeleri doğrama imkanı sunar.

Proje sayfası: https://worldoracle-benchmark.github.io/

Başuru rehberi: https://worldoracle-benchmark.github.io/submission/

WorldOracle tarafından sponsorlanmış içerik