Kami Mengajar Robot untuk Bergerak. Sekarang Kami Mengajar Mereka untuk Hidup

Robotika modern telah mencapai titik di mana pergerakan tidak lagi menjadi tantangan utama – mesin sudah dapat menavigasi, menggenggam, dan beroperasi di ruang dengan presisi yang mengesankan. Namun, memungkinkan mereka untuk benar-benar “hidup” dan berfungsi di dunia nyata masih merupakan masalah yang belum terpecahkan.

Dalam proses ini, peran kunci dimainkan oleh apa yang bisa disebut “sumsum tulang belakang” : sistem yang bertanggung jawab atas reaksi dasar, perilaku, dan interaksi dengan lingkungan.

Ketika Anda melihat evolusi robot melalui lensa ini, menjadi jelas bahwa urutan tahap ini – di mana sistem belajar sesuatu yang baru di setiap langkah, dari pergerakan sederhana ke tindakan yang kompleks dan sadar konteks – sangat mirip dengan perkembangan manusia.

Dan tepat dalam evolusi ini – dari “perangkat keras” yang “kosong” ke perilaku yang bermakna – pergeseran utama dalam kecerdasan buatan fisik terjadi hari ini. Menarik untuk mempelajari lebih dalam.

Dasar robotika: tahap yang jarang dibahas

Apa itu robot dalam arti praktis? Ini adalah perangkat fisik yang awalnya dibuat sebagai platform universal. Pada dasarnya, ini adalah “blank” yang kemudian harus disesuaikan dengan tugas-tugas tertentu, dilatih untuk beroperasi dalam lingkungan tertentu, dan diajarkan untuk melakukan tindakan yang diperlukan.

Jika kita melampaui skenario sehari-hari dan mempertimbangkan aplikasi masa depan yang lebih realistis, menjadi jelas bahwa adopsi penuh robot akan terutama terjadi di lingkungan industri dan potensial berbahaya. Ini, pada gilirannya, mengimplikasikan persyaratan yang jauh lebih tinggi untuk perilaku, kekuatan, dan kualitas pelatihan mereka.

Proses ini dimulai dengan langkah dasar – membangun perangkat itu sendiri. Robot dirakit dari beberapa komponen, termasuk aktuator, motor, sensor, kamera, LiDARs. Ini bisa humanoid, beroda, bipedal, atau quadrupedal – faktor bentuk sekunder. Yang penting adalah bahwa, pada tahap ini, kita berakhir dengan perangkat yang berfungsi tetapi masih “kosong”.

Tahap berikutnya adalah menginstal model dasar yang berfungsi sebagai dasar untuk perilakunya. Dalam arti luas, “model” adalah lapisan kontrol fungsional seluruhnya. Ini bertanggung jawab atas kemampuan inti: mempertahankan keseimbangan, berdiri dan bergerak, menavigasi dari titik A ke titik B, menghindari hambatan, tidak merusak lingkungan, dan berinteraksi dengan aman dengan manusia.

Inilah di mana pembelajaran penguatan datang. Dalam sistem seperti itu, miliaran simulasi dijalankan. Kita sering melihat video robot “belajar” dalam lingkungan yang kompleks: sebagian besar dari mereka jatuh, kehilangan keseimbangan, atau gagal menyelesaikan tugas. Tetapi mereka yang berhasil tetap tegak dan terus bergerak adalah mereka yang maju.

Inilah inti dari pembelajaran penguatan: memilih perilaku yang sukses. Algoritma mereka yang “bertahan” menjadi dasar untuk iterasi berikutnya. Sebagai hasilnya, setelah jumlah lari yang sangat besar, model muncul yang dapat dengan percaya diri menangani hambatan. Algoritma ini kemudian ditransfer ke perangkat fisik.

Ini adalah tahap yang berprinsip yet sangat penting – sering melibatkan sedikit atau tidak ada penglihatan komputer, yang tidak diperlukan pada titik ini. Apa yang kita hadapi di sini adalah fisika dan mekanika dasar yang harus ditanamkan ke dalam sistem dari awal.

Bagaimana robot mulai “merasakan” dunia

Jadi, kita sudah memiliki “perangkat keras” – robot dengan model dasar terinstal: itu dapat berdiri, berjalan, dan mempertahankan keseimbangan. Tetapi apakah ini cukup untuk tugas dunia nyata, misalnya, di lingkungan industri? Jelas tidak.

Tahap berikutnya dimulai di sini. Kami mengintegrasikan sensor dan melatih model untuk bertindak berdasarkan input sensorik. Lapisan baru kemampuan inti muncul – sudah jauh lebih kompleks daripada pergerakan sederhana.

Analagi dengan perkembangan manusia berguna di sini. Pada tahap pertama, kita membawa sistem ke tingkat sekitar anak berusia satu tahun: itu dapat berdiri, mengambil langkah pertama, dan mempertahankan keseimbangan tanpa jatuh. Langkah berikutnya lebih sejalan dengan tingkat anak berusia delapan tahun.

Pada usia ini, anak secara aktif menggunakan “sensor” mereka: mereka dapat merasakan risiko dan menilai konsekuensi dari tindakan mereka. Mereka memahami untuk tidak menyentuh sesuatu yang panas atau memasukkan sesuatu yang sangat dingin ke mulut mereka. Mereka dapat memanjat ke atas meja, mengendarai sepeda, dan berinteraksi dengan objek. Mereka mampu menggenggam, membawa, dan memanipulasi barang dan melakukan tindakan perawatan diri dasar.

Kami menyebut tahap ini pra-pelatihan. Dan pada titik ini, simulasi saja tidak lagi cukup.

Ya, beberapa skenario masih dapat dimodelkan secara efektif: bagaimana mengambil gelas, atau mengganti baterai, misalnya, menghapus satu komponen, meletakkannya di pengisi daya, mengambil yang lain, dan memasangnya kembali.

Tetapi secara keseluruhan, keseimbangan bergeser: sekitar 80% pelatihan masih dapat terjadi dalam simulasi, sementara sekitar 20% data harus berasal dari dunia nyata. Dan inilah di mana kita mulai membahas data egosentris.

Data egosentris sebagai dasar pemahaman lingkungan

Hari ini, data egosentris dikumpulkan dalam skala besar di seluruh dunia – karena tanpa itu, tidak mungkin untuk berpindah dari mekanika dasar ke interaksi yang bermakna dengan dunia nyata. Seorang rekan kerja saya, yang menjalankan jaringan bengkel mobil, memiliki karyawan yang menggunakan kamera yang dipasang di kepala untuk merekam proses perbaikan mobil. Pemilik bangunan di New York City telah menerapkan pendekatan serupa: staf kebersihan mengenakan kamera yang dipasang di dahi yang merekam bagaimana mereka membersihkan ruang dan mempertahankan area sanitasi.

Secara bertahap, rekaman ini menjadi produk mandiri – mereka dipaket dan dijual. Nilai utama mereka terletak pada kesesuaiannya untuk tahap pra-pelatihan, membantu membangun pemahaman dasar tentang lingkungan dan urutan tindakan.

Contohnya, layanan seperti ini ada di Keymakr, di mana tim secara independen menciptakan koleksi lengkap data egosentris dari skenario sederhana seperti mencuci piring hingga skenario yang lebih kompleks.

Mengapa ini sangat penting? Karena data seperti ini menyediakan sesuatu yang simulasi murni tidak bisa – keragaman lingkungan dunia nyata. Kantor, bengkel mobil, situs konstruksi, restoran, dan hotel – masing-masing menambahkan konteks, skenario, dan nuansa mereka sendiri. Bersama-sama, mereka membentuk dataset yang memungkinkan sistem tidak hanya “melihat”, tetapi secara bertahap mulai memahami dinamika dunia nyata.

Pada tahap ini, tujuan tidak lagi mengajar robot untuk mengeksekusi tindakan tertentu dengan sempurna. Yang lebih penting adalah memungkinkan mereka untuk mengorientasikan diri dalam lingkungan mereka terlebih dahulu.

Hari ini, hampir semua perusahaan yang bekerja di bidang robotika – dari Tesla hingga Unitree Robotics dan Figure AI – fokus pada tahap ini. Tujuan mereka adalah membangun model dasar yang kemampuannya pertama kali menyerupai kemampuan “anak berusia delapan tahun”, dan kemudian maju menuju “anak berusia dua belas tahun”. Ini juga yang kami fokuskan di Introspector – mempersiapkan data yang diperlukan untuk pra-pelatihan, fase paling kritis dalam “pendewasaan” robotika modern.

Mil terakhir pelatihan: di mana universalitas berakhir, dan spesialisasi dimulai

Bayangkan robot telah menyelesaikan pra-pelatihan dan diproduksi dari awal dengan pemahaman dasar tentang dunia dan kumpulan keterampilan yang setara dengan keterampilan remaja. Tetapi bahkan ini tidak cukup untuk kasus penggunaan bisnis yang sebenarnya. Perusahaan tidak membutuhkan robot “umum” – mereka membutuhkan spesialis.

Ambil contoh manufaktur otomotif. Beberapa tugas masih dilakukan oleh manusia karena mereka memerlukan kepekaan, presisi, dan kontrol visual terus-menerus. Otomatisasi tradisional bergelut di sini. Manipulator industri unggul dalam tugas yang berulang dan kaku – “ambil, pindahkan, letakkan.” Tetapi tugas yang memerlukan adaptabilitas, penginderaan tekanan, dan penyesuaian waktu nyata tetap berada di domain manusia.

Inilah di mana permintaan baru muncul: untuk melatih robot untuk melakukan operasi tertentu tepat seperti pekerja terampil di lini produksi. Dengan kata lain, setelah pelatihan dasar, datanglah tingkat berikutnya: pelatihan untuk profesi dan skenario tertentu.

Pada titik ini, pertanyaan praktis muncul: apa yang diperlukan untuk tingkat pelatihan ini? Jika kita ingin robot meniru kinerja manusia, kita perlu menangkap perilaku manusia tersebut dengan seakurat mungkin. Contohnya, spesialis di lantai pabrik perlu mengenakan kamera dan, selama periode yang lama, merekam bagaimana mereka melakukan tugas.

Apa yang diperlukan agar robot “hidup” di dunia manusia

Kamera saja tidak cukup. Perlu untuk menangkap tidak hanya perspektif visual tetapi juga fisika gerakan. Ini dilakukan menggunakan sarung tangan khusus dengan sensor taktil yang mengukur tekanan, gaya yang diterapkan, dan sifat interaksi dengan objek. Ini sangat penting karena objek itu sendiri dapat bervariasi secara signifikan. Misalnya, strip penyegelan mungkin berbeda dalam kekakuan oleh model mobil, yang secara langsung mempengaruhi bagaimana tugas tersebut dilakukan.

Berikutnya adalah pelacakan kinematik. Marker – visual atau berbasis sensor – ditempatkan pada pergelangan tangan, siku, dan terkadang bahu. Ini dapat mencakup, misalnya, gelang dengan marker yang dapat diidentifikasi (mirip dengan kode QR) yang memungkinkan sistem untuk melacak posisi tangan di ruang dari video. Sensor tambahan, seperti giroskop, digunakan untuk menangkap gerakan sendi.

Tujuan akhir adalah untuk sepenuhnya merekonstruksi mekanika gerakan: bagaimana bahu bergerak, bagaimana siku membengkok, bagaimana pergelangan tangan berputar. Semua ini menjadi penting untuk tahap berikutnya – pasca-pelatihan.

Jika, selama pra-pelatihan, kita masih bisa sebagian bergantung pada simulasi, pada tahap ini, itu tidak lagi berhasil. “Mil terakhir” ini hampir mustahil untuk dimodelkan dengan akurat. Anda tidak bisa sepenuhnya mensimulasikan, misalnya, bagaimana seorang juru masak menggulung adonan – gaya yang diterapkan, bagaimana tekanan didistribusikan, bagaimana bahan dirasakan.

Itulah mengapa, selama pasca-pelatihan, hampir semua data harus berasal dari dunia nyata. Dan inilah di mana menjadi jelas: tantangan utama bergeser ke domain praktis – bagaimana untuk mendapatkan data seperti itu dalam kenyataan. Mengumpulkan data egosentris pada tingkat ini adalah proses yang kompleks dan multi-langkah yang melibatkan akses ke lingkungan, peralatan khusus, partisipasi pekerja terampil, dan persiapan data selanjutnya.

Di luar teori, inilah di mana robot benar-benar “hidup” – setelah kita berhasil mengatur proses ini, mengatasi keterbatasan yang dihadapi tim di berbagai industri, dan menandai dataset seperti itu dalam skala. Ini akan dibahas dalam bagian berikutnya, di mana kita akan melihat lebih dekat semua tantangan yang muncul selama pelabelan dan persiapan.