Pengontrol Humanoid Bertopeng Intel: Pendekatan Baru untuk Generasi Gerakan Manusia yang Realistis dan Dapat Diarahkan Secara Fisik

Peneliti dari Lab Intel, bekerja sama dengan para pakar akademis dan industri, telah memperkenalkan teknik inovatif untuk menghasilkan gerakan manusia yang realistis dan dapat diarahkan dari input multi-moda yang jarang. Pekerjaan mereka, yang disorot di Konferensi Eropa tentang Visi Komputer (ECCV 2024), berfokus pada upaya mengatasi tantangan dalam menghasilkan perilaku manusia alami berbasis fisik pada karakter humanoid berdimensi tinggi. Penelitian ini merupakan bagian dari inisiatif Intel Labs yang lebih luas untuk memajukan visi komputer dan pembelajaran mesin.

Intel Labs dan mitranya baru-baru ini mempresentasikan enam makalah mutakhir di ECCV 2024, sebuah konferensi perdana yang diselenggarakan oleh Asosiasi Visi Komputer Eropa (ECVA).

Kertas Menghasilkan Gerakan Manusia yang Realistis Secara Fisik dan Dapat Diarahkan dari Input Multi-Modal memamerkan inovasi termasuk strategi pertahanan baru untuk melindungi model teks-ke-gambar dari serangan red teaming berbasis prompt dan pengembangan kumpulan data skala besar yang dirancang untuk meningkatkan konsistensi spasial dalam model ini. Di antara kontribusi ini, makalah ini menyoroti dedikasi Intel untuk memajukan pemodelan generatif sambil memprioritaskan AI yang bertanggung jawab praktik.

Menghasilkan Gerakan Manusia yang Realistis Menggunakan Input Multi-Modal

Pengontrol Humanoid Bertopeng (MHC) Intel adalah sistem terobosan yang dirancang untuk menghasilkan gerakan mirip manusia dalam lingkungan fisika simulasi. Tidak seperti metode tradisional yang sangat bergantung pada data penangkapan gerakan yang sangat terperinci, MHC dibuat untuk menangani data masukan yang jarang, tidak lengkap, atau sebagian dari berbagai sumber. Sumber-sumber ini dapat mencakup pengontrol VR, yang mungkin hanya melacak gerakan tangan atau kepala; masukan joystick yang hanya memberikan perintah navigasi tingkat tinggi; pelacakan video, di mana bagian tubuh tertentu mungkin terhalang; atau bahkan instruksi abstrak yang berasal dari perintah teks.

Inovasi teknologi ini terletak pada kemampuannya untuk menafsirkan dan mengisi celah di mana data hilang atau tidak lengkap. Hal ini dicapai melalui apa yang disebut Intel sebagai Kejar, Gabungkan, dan Selesaikan (CCC) kemampuan:

• Saus tomat: Fitur ini memungkinkan MHC untuk memulihkan dan menyinkronkan kembali gerakannya saat terjadi gangguan, seperti saat sistem dimulai dalam keadaan gagal, seperti karakter humanoid yang terjatuh. Sistem dapat dengan cepat mengoreksi gerakannya dan melanjutkan gerakan alami tanpa pelatihan ulang atau penyesuaian manual.
• Menggabungkan: MHC dapat memadukan rangkaian gerakan yang berbeda, seperti menggabungkan gerakan tubuh bagian atas dari satu tindakan (misalnya, melambaikan tangan) dengan gerakan tubuh bagian bawah dari tindakan lain (misalnya, berjalan). Fleksibilitas ini memungkinkan pembuatan perilaku yang sama sekali baru dari data gerakan yang ada.
• Menyelesaikan: Saat diberikan masukan yang jarang, seperti data gerakan tubuh parsial atau arahan tingkat tinggi yang samar, MHC dapat secara cerdas menyimpulkan dan menghasilkan bagian gerakan yang hilang. Misalnya, jika hanya gerakan lengan yang ditentukan, MHC dapat secara otomatis menghasilkan gerakan kaki yang sesuai untuk menjaga keseimbangan fisik dan realisme.

Hasilnya adalah sistem pembangkitan gerakan yang sangat adaptif yang dapat menciptakan gerakan yang halus, realistis, dan akurat secara fisik, bahkan dengan arahan yang tidak lengkap atau kurang spesifik. Hal ini menjadikan MHC ideal untuk aplikasi dalam permainan, robotika, realitas virtual, dan skenario apa pun yang memerlukan gerakan seperti manusia berkualitas tinggi tetapi data input terbatas.

Dampak MHC pada Model Gerak Generatif

Masked Humanoid Controller (MHC) adalah bagian dari upaya yang lebih luas oleh Intel Labs dan kolaboratornya untuk secara bertanggung jawab membangun model generatif, termasuk yang mendukung konversi teks ke gambar dan generasi 3D tugas. Seperti yang dibahas di ECCV 2024, pendekatan ini memiliki implikasi signifikan bagi industri seperti robotika, realitas virtual, permainan, dan simulasi, di mana pembuatan gerakan manusia yang realistis sangat penting. Dengan menggabungkan input multi-moda dan memungkinkan pengontrol untuk bertransisi dengan lancar di antara gerakan, MHC dapat menangani kondisi dunia nyata di mana data sensor mungkin berisik atau tidak lengkap.

Karya Intel Labs ini berdiri berdampingan dengan penelitian canggih lainnya yang dipresentasikan di ECCV 2024, seperti pertahanan baru mereka untuk model teks-ke-gambar dan pengembangan teknik untuk meningkatkan konsistensi spasial dalam pembuatan gambar. Bersama-sama, kemajuan ini menunjukkan kepemimpinan Intel di bidang visi komputer, dengan fokus pada pengembangan teknologi AI yang aman, terukur, dan bertanggung jawab.

Kesimpulan

Masked Humanoid Controller (MHC), yang dikembangkan oleh Intel Labs dan kolaborator akademis, merupakan langkah maju yang penting dalam bidang pembangkitan gerakan manusia. Dengan mengatasi masalah kontrol yang rumit dalam menghasilkan gerakan realistis dari input multimoda, MHC membuka jalan bagi aplikasi baru dalam VR, game, robotika, dan simulasi. Penelitian ini, yang ditampilkan di ECCV 2024, menunjukkan komitmen Intel untuk memajukan AI yang bertanggung jawab dan pemodelan generatif, yang berkontribusi pada teknologi yang lebih aman dan lebih adaptif di berbagai domain.