Ai2, Robotların Nasıl Öğrenip Başarısız Olduğunu Test Etmek için ToyBlocks’u Yayımladı

Ai2, ToyBlocks’u yayımladı ve bunu 6 Kasım 2026’da FoundationWorlds çerçevesinin ilk ortamı olarak kullanıma sundu. Bu ortam, açık bir robot simülasyonunu üretilmiş gösterimlerle, eğitilmiş iki modelle ve değerlendirme araçlarıyla bir araya getiriyor. Çerçeve, robot öğrenimi deneylerini tekrarlanabilir hâle getirmek ve başarısızlıkların izini sürmeyi kolaylaştırmak üzere tasarlandı.

Ortamda, masa üzerine yerleştirilmiş simüle edilmiş bir kol ve etiketli bloklar bulunuyor. İtme, çevirme ve üst üste dizme görevlerine arama, sıralama ve düzenleme görevleri de ekleniyor: Bir bloğun üzerindeki gerekli harf veya resim gizlenebiliyor; bu durumda robotun, bloğun nereye ait olduğuna karar vermeden önce onu çevirmesi gerekiyor. Sahneler arasında blok boyutunun, masa yüksekliğinin ve diğer özelliklerin değiştirilmesi, politikaların değişen geometriye uyum sağlayıp sağlayamadığını sınamaya yarıyor.

Sınırlı kapsamlı bu alan, Ai2’nin aynı anda dört özelliği hedeflemesini sağlıyor: inandırıcı fizik ve görseller, görevlerin ve gösterimlerin ölçeklenebilir biçimde üretilmesi, akıl yürütmenin yanı sıra el becerisi de gerektiren problemler ve alanın destekleyebileceği görevlerin kapsamlı biçimde ele alınması.

Otomatik Gösterimler ve Açık Modeller

Pekiştirmeli öğrenme ve hareket planlama, Nvidia’nın Isaac Lab ortamında kısa görev becerileri oluşturuyor. Beceri üretiminde, kamera tahminleri yerine blokların kesin konumları ve yönleri de dâhil olmak üzere simülatörün ayrıcalıklı durum bilgilerinden yararlanılabiliyor. Böylece normalde fiziksel bir robotun uzaktan kumandayla çalıştırılmasını gerektirecek davranışlar otomatikleştiriliyor. Ardından görev ve hareket planlayıcısı, etiketli gösterimler üretmek için becerileri seçip sıralıyor. Ai2’ye göre yüzlerce plan tek bir GPU’da eşzamanlı olarak, gerçek zamanlı hızın 24 katına varan performansla yürütülebiliyor.

Araştırmacılar, ortaya çıkan eğitim verisi karışımlarında belirli becerilere daha fazla ağırlık verebilir ve politikaları eğitim dışında tutulan görevlerde değerlendirebilir. Böylece veri üreticisi, yalnızca daha büyük veri kümeleri sağlayan bir kaynak olmaktan çıkıp deneysel bir kontrol aracına dönüşüyor.

Hedefler, ToyBlocks deposunda PDDL planlama belirtimleri olarak yazılıyor. Bu sayede değerlendirme sistemi, her görev için özel ölçütler geliştirmeye gerek kalmadan görevin tamamlanmasını ve ara aşamalardaki ilerlemeyi puanlayabiliyor. Gösterimler LeRobot biçiminde saklanıyor. Hiyerarşik bir politikada, iki düzeyden herhangi biri doğru bir plan veya eylem sağlayan bir kâhinle değiştirilebiliyor; böylece hatalı kararlar ile motorların yanlış çalıştırılması birbirinden ayrılabiliyor. Başarısızlıkla sonuçlanan durumlar, yeni gösterimler ve kurtarma senaryoları üretmek üzere veri üretim sürecine geri gönderilebiliyor.

Ai2, ilk sürümün, her biri veri kümesine bağlı olarak yaklaşık 6–12 beceri gösteriminden oluşan 85.336 uzun ufuklu gösterim içerdiğini; bunların yaklaşık 1.600 saatlik robot çalışmasını ve 144 milyon kareyi kapsadığını bildiriyor. Herkese açık veri kümesi, kolay, orta ve zor alt kümelerle birlikte ODC-BY lisansı kapsamındaki Parquet biçimli LeRobot verilerini kullanıyor. Ana kod Apache-2.0 lisanslı; belirtilen alt modüller ve indirilen varlıklar ise kendi lisanslarına tabi.

Ai2’nin model kartları, yayımlanan politikayı iki düzeye ayırıyor: Yaklaşık 4,5 milyar parametreli Molmo2-4B-tb, kısa bir plan, sıradaki eylem ve hedef noktayı oluşturmak için ön kamera görüntüsünü ve metin biçimindeki hedefi okuyor; 322,5 milyon parametreli ManiFlow-tb ise eylem dizileri oluşturmak için ön ve tutucu kameralarının görüntülerini, robotun durumunu, görev bilgilerini ve bir hedef ısı haritasını kullanıyor.

Genelleme ve Ajan Deneyleri

Uzamsal deneylerde Stack, Unstack, Flip ve Rotate görevleri ele alınıyor; eğitim aralığındaki enterpolasyon ile bu aralığın ötesindeki ekstrapolasyon birbirinden ayrılıyor. Örnekler arasında blokların çalışma alanının bir bölümünde kullanılarak eğitilmesi ve başka bir bölümünde sınanması ya da belirli istif yüksekliklerinin eğitim dışında bırakılması yer alıyor. Ai2, büyük ölçekli ön eğitime rağmen ManiFlow, π0.5 ve MolmoAct 2’nin başlangıçtaki genelleme performansının zayıf olduğunu bildiriyor ve eylem modellerinin genelleme yeteneğini kazanmasının hâlâ çözülmekten uzak olduğu sonucuna varıyor.

Ajan tabanlı testler farklı bir zayıflığı ortaya çıkarıyor. Ai2’ye göre Claude Opus 5.5 tabanlı sistem, metin açıklamalarından 30 klasik blok istifleme görevinin tamamını çözdü; kameradan tekrar tekrar alınan görüntülere dayalı kapalı döngüde eylem seçerken de 30 görevin tamamını başardı. En fazla sekiz blok içeren arama ve harf oluşturma sahnelerinin %50’sinde gerekli bir harf yoktu ve sahnenin imkânsız olduğunun belirlenmesi gerekiyordu. Ajan, vakaların %63’ünde görevi çözdü veya imkânsız olduğunu doğru biçimde belirledi; benzer görünen harflerin karıştırılması vakaların %13’ünü, harflerin yanlış yönde durması ise %15’ini oluşturdu.

Üçüncü bir ajan deneyinde sistemin, beklenmedik beceri davranışlarını sınamasına ve elde ettiği sonuçlara göre yeni beceri açıklamaları yazmasına izin verildi. Ai2, bu yolla öğrenilen açıklamaların başarı oranını varsayılan açıklamalarla elde edilen %24’ten %63’e yükselttiğini ve bir insan uzmanın yazdığı açıklamalarla ulaşılan %36’yı aştığını bildiriyor.

Fiziksel Robot Testleri ve Sınırları

Fiziksel değerlendirmede, yalnızca ToyBlocks simülasyon verileriyle eğitilen modeller, gerçek dünyadan alınmış eğitim örnekleri kullanılmadan Robotiq tutuculu bir Franka FR3 kolunda çalıştırıldı. 30 sahne yapılandırmasında, eğitim sırasında görülen 4–10 blok yer aldı. Bir bölüm ancak ilgili bloklar çarpışma yaşanmadan hedef pozlarına ulaştığında başarılı sayıldı; güvenli olmayan hareket nedeniyle operatörün müdahale etmesi ise başarısızlık olarak değerlendirildi.

Simülasyondan gerçek dünyaya aktarım farkını azaltmak için Ai2, simüle edilmiş eklem sürtünmesini ve kol ataletini gerçek yörüngelere göre ayarladı. Veri üretimi sırasında nesne boyutu, sürtünme ve masa yüksekliğinin yanı sıra aydınlatma, arka planlar, malzemeler ve kamera parametreleri de rastgeleleştirildi.

Ai2, ManiFlow’un atomik becerilerdeki başarı oranının simülasyonda %80,0, fiziksel robot kolunda ise %81,1 olduğunu bildiriyor. Hiyerarşik Molmo 2–ManiFlow sistemi, simüle edilmiş epizotların %55,5’inde (200 epizodun 111’inde) ve fiziksel epizotların %50,0’sinde (30 epizodun 15’inde) başarılı oldu.

Ai2, bu sonuçlara iki açıdan ihtiyat payı koyuyor. Fiziksel hiyerarşi değerlendirmesinde, blok karakterlerinin görünür ve dik konumda olduğu en kolay simülasyon yapılandırması kullanıldı; görevler genelinde istatistiksel güven düzeyini belirlemek için daha fazla deneme yapılması gerekiyor. ManiFlow kartında ayrıca, simülasyon ve toplu çıkarım bit düzeyinde deterministik olmadığından, aynı 128 simüle edilmiş epizodun dört çalıştırmasında başarı oranlarının %54 ile %59 arasında değiştiği kaydediliyor.

Ai2, daha büyük bir veri kümesi, daha fazla beceri ve daha kapsamlı kıyaslamaların yanı sıra mevcut pakette bulunmayan, pekiştirmeli öğrenme eğitiminin tamamen entegre edildiği ikinci bir sürüm yayımlamayı planlıyor. Daha uzun vadeli hedefler arasında iki kolla nesne manipülasyonu, kuvvet ve dokunma algılayıcılarına sahip becerikli eller ve yapılandırılmamış blok yığınlarıyla etkileşim yer alıyor.

Dolayısıyla ToyBlocks’un ilk aşamadaki katkısı deneysel kontrol olanağı sunması: Araştırmacılar eğitim karışımlarını değiştirebilir, planlamayı uygulamadan ayırabilir ve başarısızlıkları veri üretimine geri yönlendirebilir. İlk sonuçlar aynı zamanda sistemin sınırlarını da ortaya koyuyor: Simülasyonda genellemenin zayıf, fiziksel değerlendirmenin ise dar kapsamlı olması, bu erken aktarım oranlarının robotların blok dünyasının ötesinde öğrenebileceklerine ilişkin ortaya koyduklarını sınırlıyor.