Biaya Sebenarnya dari Pelatihan Robot

Di bagian pertama, kita membahas bagaimana robot berkembang dari mekanik dasar ke pemahaman lingkungan. Pada tahap “mil terakhir” – ketika robot menjalani pelatihan pascapengetesan untuk tugas khusus dan kustom – sebuah hambatan yang tidak terduga muncul. Ini terkait dengan data: pengumpulannya, organisasinya, dan penskalaannya dalam kondisi dunia nyata.

Ini adalah tahap di mana kesenjangan antara konsep dan implementasi menjadi paling jelas. Apa saja hambatan utama, dan bagaimana mereka dapat diatasi dengan gesekan minimal?

Mengapa ribuan jam data berubah menjadi tahun kerja

Jadi, mari kita bayangkan kita sudah memiliki robot yang terlatih yang telah menjalani pra-pelatihan. Ia dapat menavigasi sekitarnya, bergerak, menghindari hambatan, dan berinteraksi dengan objek. Ini seperti “anak berusia sepuluh tahun” yang umumnya mampu bertindak mandiri. Langkah selanjutnya adalah mengajarkannya untuk melakukan tindakan spesifik dalam kondisi spesifik, misalnya, memasang panel kaca dan strip penyegelan pada lini produksi otomotif.

Pada pandangan pertama, tugasnya tampak lebih sederhana. Ini melibatkan menguasai satu skenario, dan volume data yang diperlukan jauh lebih kecil daripada selama pra-pelatihan. Sementara pelatihan dasar mungkin memerlukan ratusan ribu jam, pelatihan pascapengetesan mungkin hanya membutuhkan ribuan jam. Namun, angka-angka ini menyesatkan.

Ketika diterjemahkan ke dalam waktu nyata, prosesnya mengungkap kompleksitas sebenarnya. Di bawah jadwal kerja standar, seseorang bekerja sekitar 160 jam per bulan. Namun, ini tidak berarti semua waktu itu dapat digunakan untuk perekaman.

Di praktiknya, gangguan konstan terjadi: baterai habis, kamera bergeser, sensor gagal. Semakin kompleks pengaturan peralatan, semakin tinggi kemungkinan masalah. Bahkan kegagalan sederhana seperti sensor pada sarung tangan berhenti berfungsi dapat menghentikan proses dan mengakibatkan waktu yang hilang.

Sebagai hasilnya, kecepatan pengumpulan data yang sebenarnya 2-3 kali lebih rendah. Satu jam perekaman berkualitas tinggi dapat memerlukan hingga tiga jam kerja nyata. Ini secara radikal mengubah perhitungan: 5.000 jam data diterjemahkan menjadi sekitar 15.000 jam kerja.

Lapisan demi lapisan kompleksitas

Selama pra-pelatihan, mungkin cukup memberikan seseorang kamera dan meminta mereka merekam kegiatan sehari-hari. Namun, pada tahap ini, akses ke lingkungan spesifik diperlukan, seperti pabrik, situs konstruksi, atau fasilitas produksi khusus.

Ini segera memperkenalkan kendala praktis. Misalnya, di situs konstruksi, pekerja diharuskan mengenakan helm keselamatan, yang berarti peralatan khusus harus dikembangkan: helm dengan kamera terintegrasi yang tahan debu, kelembaban, dan dampak.

Kemudian datang akses ke situs itu sendiri. Perjanjian harus dibuat dengan pemilik situs, izin diperoleh, dan kondisi dinegosiasikan. Ini hampir selalu melibatkan biaya tambahan: perusahaan mengharapkan kompensasi, dan pekerja mengharapkan dibayar untuk partisipasi.

Asuransi dan kepatuhan keselamatan juga menjadi perhatian kritis. Jika peralatan tidak memenuhi standar yang diperlukan, asuransi mungkin dibatalkan, memaksa proses seluruhnya untuk direstrukturisasi.

Even pada tingkat operasional sehari-hari, tantangan berlanjut. Kamera harus dihidupkan, dipantau, dan dipelihara. Pekerja beroperasi dengan sarung tangan dan kondisi yang keras. Peralatan menjadi kotor, aus, dan rusak. Kamera mungkin mati setelah beberapa menit, dan orang mungkin tidak menyadari.

Ini menciptakan kebutuhan bagi peserta untuk melatih diri mereka sendiri – mereka harus memahami cara menggunakan peralatan. Selain itu, pengawasan terus-menerus diperlukan – seseorang harus memastikan bahwa perekaman sedang berlangsung dan perangkat berfungsi dengan baik.

Dari video mentah ke data pelatihan

Setelah perekaman, tahap berikutnya dimulai: pengumpulan data, pengunggahan, pengaturan, validasi kualitas, dan pelabelan.

Setiap data mentah terdiri dari sinyal video dan sensor. Untuk mengubahnya menjadi bahan pelatihan, data harus diatur: objek perlu diidentifikasi, tindakan ditangkap, dan keadaan, gerakan, dan interaksi dengan lingkungan dijelaskan. Ini adalah tempat di mana anotasi masuk. Pertanyaan logis muncul – apa standar emas untuk alur kerja anotasi seperti itu?

Di beberapa kasus, kotak pembatas sederhana cukup untuk mengidentifikasi objek dalam bingkai. Di lain, anotasi temporal diperlukan untuk menjelaskan urutan tindakan selama waktu. Dalam skenario tertentu, titik kunci dan model kerangka digunakan untuk menangkap gerakan tubuh. Dalam kasus yang lebih kompleks, mesh 3D atau pelacakan pose tangan diperlukan untuk secara akurat merepresentasikan mekanika interaksi. Sensor tambahan, seperti akselerometer, sering digunakan untuk menangkap dinamika gerakan dan gaya yang diterapkan.

Proyek seperti ini juga sering memerlukan penskalaan tim. Pelabelan adalah tugas besar dan kompleks yang membutuhkan waktu, keahlian, dan sumber daya manusia yang substansial. Ini adalah tempat di mana penyedia solusi data dengan tim anotasi internal masuk. Seperti Keymakr, yang terbukti sangat efektif berkat kemampuan untuk menskalakan tim untuk mencocokkan volume data apa pun, dari satu spesialis hingga ratusan anotator.

Belum ada pendekatan yang tepat untuk pelatihan

Industri masih dalam fase eksplorasi, karena belum ada kesepakatan tentang kombinasi data mana yang menghasilkan hasil terbaik. Banyak pendekatan divalidasi secara empiris karena mereka bekerja dalam eksperimen tertentu. Sebagai hasilnya, tim yang berbeda terus mengandalkan teknologi yang berbeda, yang dibentuk oleh pengalaman, tugas, dan kendala mereka sendiri.

Di tingkat akademis dan terapan, ini menyebabkan fragmentasi: laboratorium dan perusahaan bergerak dalam arah yang berbeda. Situasinya mirip dengan hari-hari awal mengemudi otonom ketika Tesla bertaruh pada pendekatan berbasis visi tanpa LiDAR, sementara sebagian besar pemain lain memilih LiDAR sebagai sensor inti.

Hari ini, sistem berbasis LiDAR cenderung menunjukkan kinerja yang lebih stabil, namun pendekatan Tesla terus berkembang. Perbedaannya adalah bahwa dalam mengemudi otonom, pasar telah sebagian besar matang: arsitektur yang stabil telah muncul, keterbatasan dipahami dengan baik, dan keahlian yang signifikan telah dikumpulkan.

Dalam kontras, untuk Pelatihan Fisik AI dan pelatihan model serupa, tingkat kematangan ini belum tercapai. Pasar masih terbentuk, standar belum ada, dan banyak kemajuan didorong oleh eksperimen. Metode baru untuk melatih model, meningkatkan efisiensi, dan beradaptasi dengan skenario dunia nyata terus muncul, menunjukkan bahwa terobosan paling penting dalam bidang ini masih di depan.

Manusia sebagai sistem penguatan

Pelabelan tidak ada dalam isolasi, atau hanya untuk model. Ini berfungsi sebagai alat untuk insinyur yang membangun model tersebut. Melalui itu, mereka memformalkan kenyataan, mengidentifikasi parameter kunci, dan mendefinisikan aturan perilaku sistem.

Tugas insinyur adalah mengajarkan sistem untuk melakukan tindakan dengan benar dalam kondisi dunia nyata. Misalnya, skenario dasar mungkin terdiri dari empat tindakan: mengambil gelas, menyalakan keran, mengisi, dan menutup keran. Namun, dalam kenyataan, deviasi terjadi – gelas meluap.

Pada saat itu, model diharapkan untuk menyelesaikan skenario dan melakukan tindakan tambahan: menghentikan aliran air, menyesuaikan tingkat air, dan mencegah kebocoran. Ini adalah logika perilaku berdasarkan pemahaman kontekstual.

Insinyur mengikuti siklus: mengannotasi data, melatih model, mengujinya. Jika sistem bekerja, hipotesis dikonfirmasi. Jika tidak, analisis dimulai.

Pada suatu titik, mungkin menjadi jelas bahwa model tersebut kehilangan parameter penting, seperti tingkat pengisian gelas. Sebelumnya, data mungkin telah mencakup anotasi untuk objek (gelas, keran, pegangan) dan tindakan (membuka, mengisi, menutup), tetapi tidak memiliki anotasi untuk keadaan, seperti derajat kekosongan.

Lapisan baru kemudian ditambahkan ke proses: mengannotasi tingkat pengisian, diikuti dengan formalisasi, misalnya, mendefinisikan apa pun di atas 85% sebagai keadaan kritis.

Ini menyebabkan iterasi berikutnya dari pelatihan. Anda dapat memiliki ratusan iterasi seperti itu.

Tidak ada yang menganggap sistem akan bekerja dengan benar segera. Sebaliknya, prosesnya dibangun di sekitar aproksimasi berturut-turut: pertama, versi baseline dibuat; kemudian diuji dalam kondisi nyata atau hampir nyata; celah diidentifikasi; dan sistem diperbarui. Ini adalah sesuatu yang saya sering diskusikan dengan klien di Introspector, dengan siapa kita melalui seluruh perjalanan Pelatihan Fisik AI bersama.

Pada titik tertentu, hasil yang diinginkan dicapai. Namun, nilainya tidak hanya terletak pada sistem yang mulai bekerja, tetapi pada pengalaman yang terkumpul yang memungkinkan hasil ini untuk direproduksi dengan lebih dapat diprediksi.

Ekonomi yang semua orang lupakan

Selama setahun terakhir, saya telah menyadari bahwa kesalahan terbesar yang dilakukan perusahaan saat bekerja dengan data egosentris memiliki sedikit hubungan dengan teknologi.

Masalah intinya sebenarnya adalah dalam memahami ekonomi proyek.

Pada tahap ide, teknologi menjadi pusat perhatian – model apa yang digunakan, bagaimana melatihnya, dan pendekatan apa yang diterapkan. Anda mempelajari, melakukan penelitian, mendiskusikan arsitektur, dan menguji hipotesis. Ini adalah hal yang alami: teknologi terasa seperti bagian paling nyata dan jelas dari masalah.

Namun, jauh lebih sedikit tim yang bertanya pertanyaan langsung dan praktis pada tahap ini: berapa biayanya?

Ketika proyek berpindah dari teori ke implementasi, menjadi jelas bahwa di balik setiap model ada puluhan ribu jam data. Mengumpulkan data ini memerlukan waktu, akses ke lingkungan nyata, dan keterlibatan spesialis. Pelabelan menambahkan lapisan kompleksitas dan biaya lain. Sebagai hasilnya, angka-angka akhir seringkali jauh lebih tinggi dari yang diharapkan.

Ini tidak berarti proyek seperti itu tidak boleh dikejar. Sebaliknya, mereka adalah yang mendorong industri maju.

Namun, yang penting adalah memahami skala tantangan dari awal. Mengenali bahwa dalam pelatihan model, di balik setiap algoritma yang luar biasa ada pekerjaan data yang kompleks dan intensif sumber daya.

Even ide yang kuat gagal mencapai implementasi penuh ketika biaya data mulai meningkat jauh di atas tujuh angka.

Dan mungkin pergeseran paling penting yang terjadi dalam robotika hari ini terkait dengan pemahaman ini. Masa depan sistem ini akan ditentukan oleh seberapa “cerdas” mereka dan seberapa efektif dan presisi seluruh pipa data dibangun – dari pengumpulan data hingga interpretasi akhir.