mimic robotiği FLUX-mimic’i Tanıtıyor ve Audi’nin Fabrika Zeminine Video-Eylem Modellerini Getiriyor

mimic robotiği FLUX-mimic’i tanıttı, endüstriyel robotların komplex manipülasyon görevlerini önemli ölçüde daha küçük demonstration veri miktarlarından öğrenmelerine yardımcı olmak üzere tasarlanmış yeni bir Video-Eylem Modeli.

Visual AI şirketi Black Forest Labs ile birlikte geliştirilen sistem, Audi ile birlikte already test ediliyor ve üretim görevlerinde kullanılıyor. Bu görevler, tarihsel olarak otomasyon için zor olan esnek malzemeler, değişen parça konfigürasyonları ve kesin manipülasyon gibi görevleri içeriyor.

Duyuru, fiziksel AI alanında bir değişimin habercisi olabilir. FLUX-mimic, büyük demonstration veri koleksiyonlarına güvenmek yerine, bir generative video modeli tarafından öğrenilen bilgileri fiziksel makineleri kontrol edebilecek bir sisteme aktarmaya çalışıyor.

Robot Öğrenmesine Yeni Bir Yaklaşım

Bugünün birçok genel amaçlı robotik sistemi, Görme-Dil-Eylem modelleri olarak bilinen VLAlara dayanmaktadır. Bu sistemler, bir görüntü ve dil modeli ile bir hareket tahmini bileşeni birleştirir.

Bu yaklaşım, robotlara nesneleri tanıma veya yazılı talimatları yorumlama gibi bir düzeyde semantik anlama sağlar. Ancak statik görüntüler, nesnelerin nasıl büküldüğünü, hareket ettiğini, çarpıştığını veya fiziksel temasla nasıl tepki verdiğini tam olarak yakalamaz.

Kayıp bilgi, bu nedenle robot demonstrationlarından öğrenilmelidir. Her demonstration, fiziksel bir robot, bir operatör, uygun bir çalışma alanı ve dikkatli bir şekilde kaydedilen eylem verisi gerektirir.

FLUX-mimic farklı bir yol izler. Black Forest Labs’in FLUX 3 modeli tarafından üretilen görsel temsilleri, bir görevin zaman içinde nasıl gelişeceği konusunda tahminler yapmak için kullanır. FLUX 3, statik görüntü oluşturma ile sınırlı bir sistem değil, görsel, video, ses ve eylem üretebilen bir multimodal model olarak tanımlanır.

Bir eylem kodlayıcı, modelin görsel tahminini bir robota uygulanabilecek komutlara çevirir. Pratik olarak, sistem önce bir görevi başarılı bir şekilde tamamlamanın nasıl görünmesi gerektiğini tahmin eder, ardından bu sonucu elde etmek için gereken fiziksel hareketleri belirler.

mimic-video Mimarisi Üzerine Kurulma

FLUX-mimic, şirketin daha önce pretrained video modellerini robotik kontrol için temel olarak kullandığı mimic-video araştırmalarına dayanmaktadır.

Bir geleneksel görme-dil modelinin individual çerçevelerden hareketi çıkarmak yerine, mimic-video bir görevin nasıl gelişebileceği konusunda bir iç görsel plan oluşturur. Bir eylem kodlayıcı, bu iç temsiliyeti kullanarak robot hareketleri üretir.

Şirketin araştırma makalesinde, mimic-video’nun yaklaşık on kat daha fazla örnek verimliliği ve iki kat daha hızlı eğitim birleşmesi sağladığı bildirildi. Gerçek dünya sistemi, yaklaşık 500 traijektory ile eğitildi.

FLUX-mimic, bu kavramı FLUX 3 mimarisini ve fiziksel AI için özel olarak tasarlanmış bir tasarım kullanarak genişletir.

Şirketin raporlarına göre, daha önce 30 saat veya daha fazla robot demonstrationı gerektiren görevler, sadece 30 dakika veri ile üretim-ready performansına ulaşabilir. Bu rakam, şirketin rapor ettiği sonuçları temsil etmekte ve sonunda daha geniş bir fabrika, donanım konfigürasyonu ve üretim koşullarında değerlendirilmelidir.

Ancak, veri gereksinimini bu düzeyde azaltmak, endüstriyel robotiğin ekonomisini önemli ölçüde değiştirebilir. Çoğu zaman, robotun kendisinden daha fazla kaynak, programlama, entegrasyon, simülasyon, test ve yeniden mühendislik için harcanır.

Audi Zorlu Endüstriyel Test Sağlıyor

Audi, FLUX-mimic’i gerçek üretim ortamlarında test etmek ve değerlendirmek için mimic robotiği ile birlikte çalışıyor. Otomasyon sistemleri, ürün varyasyonu, sıkı üretim gereksinimleri ve tekrarlanamayan hareketleri içeren görevlerle başa çıkmak zorundadır.

Otomobil üreticisi, robotların esnek malzemelerle komplex manipülasyon işlemlerini gerçekleştirdiğini, bu işlemlerin geleneksel robotik ile çok zor olacağını belirtti. Esnek malzemeler, özellikle şekillerinin elleme sırasında değişmesi nedeniyle zorlu bir görevdir, bu da her hareketi sabit koordinatlar veya kurallarla tanımlamayı zorlaştırır.

Audi’nin daha geniş otomasyon araştırmaları, neden esneklik giderek daha önemli hale geldiğini gösteriyor. Böllinger Höfe tesisinde, şirket yapay zeka, mobil robotlar, bilgisayar görme ve yeni toplama teknolojilerini gerçek bir laboratuvar ortamında test ediyor. Audi, e-tron GT gibi araçlardaki yüksek düzeyde özelleştirme nedeniyle karmaşık lojistik süreçleri ve çok sayıda farklı parça olduğunu belirtti.

Geleneksel endüstriyel robotlar, yapılandırılmış bir ortamda ve her nesne öngörülebilir bir konumda olduğunda yüksek verimlilik sağlar. Ancak parçalar, malzemeler veya ürün varyasyonları sık sık değiştiğinde, tekrar tekrar mühendislik çalışmaları gerektirir.

Öğrenme tabanlı sistemler, bu düşük hacimli ve yüksek varyasyonlu süreçleri daha pratik bir şekilde otomasyona açık hale getirebilir. Üreticiler, her görev için yeni bir program yazmak yerine, istedikleri davranışı gösterip sistemi buna göre öğrenmesine izin verebilir.

Modelleri, Donanımı ve İnsan Demonstrationlarını Birleştirme

Model, mimic robotiği tarafından geliştirilen daha geniş bir full-stack robotik platformunun parçasıdır.

Şirket, kendi dexterous robotic el donanımını, giyilebilir veri toplama ekipmanını, robot öğrenme modellerini ve dağıtım altyapısını oluşturuyor. Giyilebilir sistemi, şirketin robotic ellerine daha doğrudan aktarılabilen bir formatta insan el hareketlerini kaydetmek üzere tasarlandı.

Ellere odaklanma, tam humanoid robotlar yerine daha hedeflenmiş bir endüstriyel otomasyon yaklaşımını yansıtıyor. Dexterous eller, zaten fabrikalarda kullanılan geleneksel robotic kollara takılabiliyor, bu da yeni bir robot form faktörünün tanıtılma ihtiyacını azaltıyor. ETH Zurich, bu yaklaşımı insan benzeri manipülasyon ile endüstriyel donanımı birleştirerek, adaptasyon ve self-correction gerektiren görevleri ele alma olarak tanımlıyor.

2024 yılında ETH Zurich spin-off olarak kurulan mimic robotiği, Zurich ve San Francisco’da 50’den fazla çalışanıyla büyümüştür. Ekibi, model araştırması, robotik, donanım geliştirme, veri operasyonları ve endüstriyel dağıtımdan oluşmaktadır.

Fabrika Otomasyonu için Daha Geniş Anlam

FLUX-mimic’in önemi, izole demonstrationlardan ziyade, teknolojinin binlerce üretim döngüsü boyunca yüksek başarı oranlarını sürdürebilmesiyle ilgili olacaktır.

Fabrikalar, tutarlı performans, öngörülebilir döngü süreleri, çalışanlar etrafında güvenli operasyon ve mevcut üretim sistemleriyle entegrasyon gerektirir. Hızlı öğrenen ancak öngörülemez davranan bir model, geleneksel otomasyondan daha fazla avantaj sağlamaz.

Ancak, video-eylem modelleri, endüstriyel güvenilirlik gereksinimlerini karşılarken rapor edilen veri verimliliğini koruyabilirse, robotları, önceden programlamak için çok değişken veya pahalı olan iş kategorilerine genişletebilir.

Bu, esnek bileşenleri monte etme, karışık envanteri işleme, düzensiz nesneleri sıralama, sık değişen ürünleri paketleme ve çalışanları fiziksel olarak zorlayıcı süreçlerde destekleme gibi görevleri içerebilir.

Uzun vadeli fırsat, sadece daha yetenekli bir robotic el değil, makineleri önceden tanımlanmış hareketler yerine demonstration yoluyla öğretme modelidir.

Audi’nin katılımı, FLUX-mimic’in bu yaklaşımın kontrol edilen araştırma ortamlarının ötesine geçebileceğini kanıtlama fırsatını sunuyor. Otomotiv fabrika zemininde başarı, generative video modellerinin dijital medya oluşturma araçlarından daha fazlasına dönüşebileceğini, fiziksel dünyada makineleri kontrol eden zeka katmanının bir parçası olabileceğini gösteren önemli bir işaret olacaktır.