Pengendali Humanoid Bermasker Intel: Pendekatan Baru untuk Pembangkitan Gerakan Manusia yang Realistis dan Dapat Diarahkan

Peneliti dari Intel Labs (INTC ), bekerja sama dengan ahli akademis dan industri, telah memperkenalkan teknik revolusioner untuk menghasilkan gerakan manusia yang realistis dan dapat diarahkan dari input multi-modal yang langka. Karya mereka, yang disoroti di Konferensi Eropa tentang Penglihatan Komputer (ECCV 2024), berfokus pada mengatasi tantangan menghasilkan perilaku manusia alami yang berbasis fisik di karakter humanoid berdimensi tinggi. Penelitian ini merupakan bagian dari inisiatif yang lebih luas dari Intel Labs untuk memajukan penglihatan komputer dan pembelajaran mesin.

Intel Labs dan mitranya baru-baru ini mempresentasikan enam makalah canggih di ECCV 2024, konferensi utama yang diselenggarakan oleh Asosiasi Penglihatan Komputer Eropa (ECVA).

Makalah Menghasilkan Gerakan Manusia yang Realistis dan Dapat Diarahkan dari Input Multi-Modal menampilkan inovasi termasuk strategi pertahanan baru untuk melindungi model teks-ke-gambar dari serangan tim merah berbasis prompt dan pengembangan dataset skala besar yang dirancang untuk meningkatkan konsistensi spasial dalam model ini. Di antara kontribusi ini, makalah tersebut menyoroti komitmen Intel untuk memajukan pemodelan generatif sambil memprioritaskan praktik AI yang bertanggung jawab.

Menghasilkan Gerakan Manusia Realistis Menggunakan Input Multi-Modal

Pengendali Humanoid Bermasker Intel (MHC) adalah sistem inovatif yang dirancang untuk menghasilkan gerakan manusia seperti di lingkungan fisika yang disimulasikan. Tidak seperti metode tradisional yang sangat bergantung pada data pengambilan gerakan yang lengkap, MHC dibangun untuk menangani data input yang langka, tidak lengkap, atau sebagian dari berbagai sumber. Sumber-sumber ini dapat mencakup pengendali VR, yang mungkin hanya melacak gerakan tangan atau kepala; input joystick yang memberikan perintah navigasi tingkat tinggi; pelacakan video, di mana bagian tubuh tertentu mungkin terhalang; atau bahkan instruksi abstrak yang diperoleh dari prompt teks.

Inovasi teknologi ini terletak pada kemampuannya untuk menafsirkan dan mengisi celah di mana data hilang atau tidak lengkap. Ini dicapai melalui apa yang Intel sebut sebagai kemampuan Tangkap, Gabung, dan Lengkapi (Catch-up, Combine, and Complete):

• Tangkap: Fitur ini memungkinkan MHC untuk pulih dan menyelaraskan kembali gerakannya ketika gangguan terjadi, seperti ketika sistem dimulai dalam keadaan gagal, seperti karakter humanoid yang jatuh. Sistem dapat dengan cepat memperbaiki gerakannya dan melanjutkan gerakan alami tanpa perlu pelatihan ulang atau penyesuaian manual.
• Gabung: MHC dapat menggabungkan urutan gerakan yang berbeda, seperti menggabungkan gerakan tubuh atas dari satu tindakan (misalnya, melambai) dengan gerakan tubuh bawah dari tindakan lain (misalnya, berjalan). Fleksibilitas ini memungkinkan untuk menghasilkan perilaku baru sepenuhnya dari data gerakan yang ada.
• Lengkapi: Ketika diberikan input yang langka, seperti data gerakan tubuh sebagian atau direktif tingkat tinggi yang samar, MHC dapat dengan cerdas menginferensi dan menghasilkan bagian gerakan yang hilang. Misalnya, jika hanya gerakan lengan yang ditentukan, MHC dapat secara otonom menghasilkan gerakan kaki yang sesuai untuk mempertahankan keseimbangan fisik dan realisme.

Hasilnya adalah sistem pembangkitan gerakan yang sangat adaptif yang dapat menciptakan gerakan yang halus, realistis, dan akurat secara fisik, bahkan dengan direktif yang tidak lengkap atau tidak spesifik. Ini membuat MHC ideal untuk aplikasi dalam permainan, robotika, realitas virtual, dan setiap skenario di mana gerakan manusia seperti yang berkualitas tinggi diperlukan tetapi data input terbatas.

Dampak MHC pada Model Gerakan Generatif

Pengendali Humanoid Bermasker (MHC) merupakan bagian dari upaya yang lebih luas oleh Intel Labs dan mitranya untuk membangun model generatif yang bertanggung jawab, termasuk model yang memuat teks-ke-gambar dan pembangkitan 3D. Seperti yang dibahas di ECCV 2024, pendekatan ini memiliki implikasi signifikan untuk industri seperti robotika, realitas virtual, permainan, dan simulasi, di mana pembangkitan gerakan manusia yang realistis sangat penting. Dengan mengintegrasikan input multi-modal dan memungkinkan pengendali untuk bertransisi secara mulus antara gerakan, MHC dapat menangani kondisi dunia nyata di mana data sensor mungkin berisik atau tidak lengkap.

Penelitian ini oleh Intel Labs berdiri bersama dengan penelitian canggih lain yang dipresentasikan di ECCV 2024, seperti pertahanan novel untuk model teks-ke-gambar dan pengembangan teknik untuk meningkatkan konsistensi spasial dalam pembangkitan gambar. Bersama, kemajuan ini menunjukkan kepemimpinan Intel di bidang penglihatan komputer, dengan fokus pada mengembangkan teknologi AI yang aman, scalable, dan bertanggung jawab.

Kesimpulan

Pengendali Humanoid Bermasker (MHC), dikembangkan oleh Intel Labs dan kolaborator akademis, merupakan langkah penting ke depan dalam bidang pembangkitan gerakan manusia. Dengan menangani masalah kontrol kompleks pembangkitan gerakan realistis dari input multi-modal, MHC membuka jalan bagi aplikasi baru di VR, permainan, robotika, dan simulasi. Penelitian ini, yang ditampilkan di ECCV 2024, menunjukkan komitmen Intel untuk memajukan AI yang bertanggung jawab dan pemodelan generatif, menyumbang pada teknologi yang lebih aman dan adaptif di berbagai domain.