FLEX Mengajarkan Robot Membuat Generalisasi dari Koreksi Manusia

Para peneliti dari MIT dan New York University mengembangkan FLEX, sebuah sistem yang menggunakan koreksi dalam percakapan untuk memperbarui fitur lingkungan yang memandu gerakan robot. MIT mengumumkan penelitian ini pada 9 November 2026, menjelang pemaparannya di Conference on Robot Learning pada November 2026.

FLEX mengatasi salah satu kelemahan robotika yang dipandu bahasa: ketika robot pembawa kopi diberi tahu agar tidak menumpahkan kopi ke laptop, objek itu bisa saja ditambahkan ke daftar rintangannya tanpa memahami alasan laptop tersebut perlu dihindari. Sistem ini menyimpulkan preferensi yang lebih luas untuk menghindari perangkat elektronik, sehingga lengan robot dalam simulasi mengubah lintasannya untuk menghindari laptop dan ponsel di dekatnya tanpa perlu instruksi khusus untuk ponsel.

Mengubah Hal yang Dilacak Robot

Makalah tersebut menyebut FLEX sebagai Flexible Feature Editing Pipeline. Sistem ini memisahkan penentuan fitur dari optimasi reward: koreksi dalam bahasa mengidentifikasi karakteristik terukur pada suatu adegan yang penting, sedangkan demonstrasi menentukan seberapa besar karakteristik tersebut harus memengaruhi lintasan. Pemisahan ini menyasar representasi yang tidak lengkap, terlalu terperinci dengan fitur yang tidak relevan, atau diabstraksikan pada tingkat yang keliru.

Setiap koreksi diproses melalui ADD, GENERALIZE, dan MASK. ADD memeriksa apakah fitur yang sudah ada dapat menjelaskan koreksi tersebut; jika tidak, model bahasa mengusulkan fitur yang belum ada dan menghasilkan kode untuk menghitungnya. GENERALIZE mengganti fitur yang terlalu spesifik dengan fitur yang berkaitan dengan maksud yang disimpulkan. Dalam contoh bola boling dari MIT, batasan khusus untuk cangkir berubah menjadi instruksi untuk menghindari benda rapuh. MASK menghapus fitur yang tidak lagi relevan.

Dengan menjalankan MASK terakhir, penilaian relevansi diterapkan pada fitur setelah proses generalisasi. Eksperimen menggunakan GPT-4o, dan MIT melaporkan bahwa seluruh interaksi tiga langkah itu memerlukan waktu sekitar lima detik.

Andreea Bobu, yang memimpin penelitian ini dan mengepalai Collaborative Learning and Autonomy Research Lab di MIT, mengaitkan rancangan tersebut dengan penggunaan di rumah: “Setiap rumah berbeda, dan setiap orang peduli pada hal yang berbeda. Karena itu, tidak ada robot yang sejak awal tahu apa yang penting bagi Anda. Yang membuat saya antusias dengan FLEX adalah kemampuannya menangkap hal itu dari satu atau dua kalimat, alih-alih meminta Anda menjelaskan setiap aturan—dan itulah perbedaan antara robot yang sekadar ditoleransi orang dan robot yang benar-benar mereka inginkan di rumah.”

Hasil Simulasi dan Penilaian Manusia

Para peneliti menguji FLEX pada kisi navigasi 9×9 dan tugas meja Franka tujuh derajat kebebasan dalam simulasi yang melibatkan kopi, lilin menyala, dan bola boling. Skenario lengan robot menggunakan rangkaian koreksi lima tahap. Susunan objek diubah di setiap tahap agar fitur yang sebelumnya berguna dapat menjadi tidak relevan atau ketidakselarasan yang tersembunyi dapat terungkap.

Perbandingan mencakup ALGAE yang hanya menambahkan fitur, Mask-From-Exhaustive (MFE) yang hanya menyamarkan fitur, serta metode dasar tanpa panduan yang meminta model bahasa menyusun seluruh rangkaian fitur yang diperbarui dalam satu kueri. Metrik reward ternormalisasi yang digunakan memberikan nilai 1 untuk perilaku optimal dan 0 untuk lintasan terburuk.

Makalah tersebut melaporkan bahwa FLEX meraih rata-rata reward ternormalisasi tertinggi dalam ketujuh skenario navigasi. Dalam skenario yang memerlukan ketiga operasi, rata-rata FLEX adalah 0,99, dibandingkan dengan 0,69 untuk ALGAE, 0,83 untuk MFE, dan 0,78 untuk metode dasar tanpa panduan.

Dalam simulasi lengan robot berurutan, para penulis melaporkan bahwa FLEX umumnya mempelajari reward sasaran setelah satu atau dua koreksi dan mempertahankan kinerja pada konfigurasi sebelumnya maupun berikutnya. Metode pembanding memerlukan lebih banyak koreksi dan kinerjanya menurun seiring bertambahnya fitur yang tidak relevan atau representasinya terlalu disesuaikan dengan tahap tertentu.

Studi tatap muka terpisah melibatkan 12 peserta. Masing-masing memberikan koreksi tertulis dalam tiga rangkaian lima tahap dengan menggunakan FLEX, ALGAE, dan MFE. Para peneliti melaporkan bahwa FLEX memperoleh nilai rata-rata tertinggi pada kelima dimensi kuesioner. Untuk pemahaman maksud pada skala tujuh poin, nilai rata-ratanya adalah 6,3 untuk FLEX, 5,0 untuk ALGAE, dan 4,5 untuk MFE. Perbedaan nilai FLEX dengan kedua metode dasar signifikan secara statistik setelah penyesuaian untuk perbandingan berganda. Perbedaan dalam kemudahan penggunaan dan kolaborativitas tidak signifikan secara statistik.

Batasan Bukti dan Status Pengembangan

Studi pada manusia tidak menguji sistem dalam kendali loop tertutup pada robot fisik. Peserta menyaksikan lintasan simulasi karena beberapa metode dasar menghasilkan gerakan lengan yang tidak menentu. Secara terpisah, tim menggabungkan koreksi mereka dengan demonstrasi ahli yang dikumpulkan menggunakan Franka fisik untuk pembelajaran offline. Para penulis menyebut pengujian perangkat keras tersebut sebagai pemeriksaan kelayakan untuk mendukung studi simulasi.

Saat ini, FLEX terbatas pada manipulasi kuasi-statis benda tegar yang karakteristik relevannya dapat dijelaskan dengan bahasa; tugas dinamis dan benda yang dapat berubah bentuk mungkin memerlukan modalitas tambahan. Para penulis mengatakan bahwa pengetahuan umum model bahasa dapat mengakomodasi preferensi yang dianut luas, tetapi mungkin gagal menangani preferensi pribadi atau yang berlawanan dengan intuisi. Permintaan untuk menjaga jarak yang lebih jauh dari laptop juga mengungkapkan tingkat kekuatan preferensi, yang belum dapat ditangkap oleh formulasi saat ini.

Halaman proyek para penulis masih berstatus dalam pengerjaan dan mencantumkan bahwa kode serta ketersediaan set data akan segera diumumkan.

Untuk robot rumah tangga dan robot bantu, lebih sedikit koreksi hanya bermanfaat jika preferensi yang disimpulkan sesuai dengan hal yang benar-benar dipedulikan pengguna. Pertanyaan utama yang masih terbuka adalah apakah generalisasi model bahasa dapat mengakomodasi preferensi individual yang khas dengan konsistensi yang sama selama pengoperasian robot fisik dalam sistem loop tertutup.