NVIDIA Cosmos: Mengaktifkan AI Fisik dengan Simulasi

Pengembangan sistem AI fisik, seperti robot di lantai pabrik dan kendaraan otonom di jalan, sangat bergantung pada dataset besar dan berkualitas tinggi untuk pelatihan. Namun, mengumpulkan data dunia nyata sangat mahal, memakan waktu, dan sering terbatas pada beberapa perusahaan teknologi besar. NVIDIA’s Cosmos platform mengatasi tantangan ini dengan menggunakan simulasi fisika canggih untuk menghasilkan data sintetis realistis pada skala besar. Ini memungkinkan insinyur untuk melatih model AI tanpa biaya dan keterlambatan yang terkait dengan mengumpulkan data dunia nyata. Artikel ini membahas bagaimana Cosmos meningkatkan akses ke data pelatihan esensial dan mempercepat pengembangan AI yang aman dan dapat diandalkan untuk aplikasi dunia nyata.

Mengenal AI Fisik

AI Fisik merujuk pada sistem kecerdasan buatan yang dapat memahami, dan bertindak dalam dunia fisik. Tidak seperti AI tradisional, yang mungkin menganalisis teks atau gambar, AI fisik harus berurusan dengan kompleksitas dunia nyata seperti hubungan spasial, gaya fisik, dan lingkungan dinamis. Misalnya, mobil self-driving perlu mengenali pejalan kaki, memprediksi gerakan mereka, dan menyesuaikan jalur mereka secara real-time, sambil mempertimbangkan faktor seperti cuaca dan kondisi jalan. Demikian pula, robot di gudang harus menavigasi hambatan dan memanipulasi objek dengan presisi.

Mengembangkan AI fisik sangat menantang karena memerlukan jumlah data yang besar untuk melatih model pada skenario dunia nyata yang beragam. Mengumpulkan data ini, apakah itu jam-jam footage mengemudi atau demonstrasi tugas robot, dapat memakan waktu dan mahal. Selain itu, menguji AI di dunia nyata dapat berisiko, karena kesalahan dapat menyebabkan kecelakaan. NVIDIA Cosmos mengatasi tantangan ini dengan menggunakan simulasi berbasis fisika untuk menghasilkan data sintetis realistis. Pendekatan ini menyederhanakan dan mempercepat pengembangan sistem AI fisik.

Apa itu Model Fondasi Dunia?

Di inti NVIDIA Cosmos adalah koleksi model AI yang disebut model fondasi dunia (WFMs). Model AI ini dirancang khusus untuk mensimulasikan lingkungan virtual yang menyerupai dunia fisik. Dengan menghasilkan video atau skenario yang sadar fisika, WFMs mensimulasikan bagaimana objek berinteraksi berdasarkan hubungan spasial dan hukum fisika. Misalnya, WFM bisa mensimulasikan mobil yang mengemudi melalui badai hujan, menunjukkan bagaimana air mempengaruhi traksi atau bagaimana lampu depan memantulkan permukaan basah.

WFMs sangat penting untuk AI fisik karena mereka menyediakan ruang yang aman dan terkendali untuk melatih dan menguji sistem AI. Alih-alih mengumpulkan data dunia nyata, pengembang dapat menggunakan WFMs untuk menghasilkan data sintetis—simulasi realistis dari lingkungan dan interaksi. Pendekatan ini tidak hanya mengurangi biaya tetapi juga mempercepat proses pengembangan dan memungkinkan pengujian skenario yang kompleks dan jarang (seperti situasi lalu lintas yang tidak biasa) tanpa risiko yang terkait dengan pengujian dunia nyata. WFMs adalah model umum yang dapat disesuaikan untuk aplikasi tertentu, mirip dengan bagaimana model bahasa besar disesuaikan untuk tugas seperti terjemahan atau chatbot.

Mengenalkan NVIDIA Cosmos

NVIDIA Cosmos adalah platform yang dirancang untuk memungkinkan pengembang membangun dan menyesuaikan WFMs untuk aplikasi AI fisik, terutama di kendaraan otonom (AVs) dan robotika. Cosmos mengintegrasikan model generatif canggih, alat pemrosesan data, dan fitur keamanan untuk mengembangkan sistem AI yang berinteraksi dengan dunia fisik. Platform ini adalah open source, dengan model yang tersedia di bawah lisensi permissive.

Komponen kunci platform ini termasuk:

• Model Fondasi Dunia Generatif (WFMs): Model pra-dilatih yang mensimulasikan lingkungan fisik dan interaksi.
• Tokenizer Canggih: Alat yang mengompresi dan memproses data dengan efisien untuk pelatihan model yang lebih cepat.
• Pipeline Pemrosesan Data yang Dipercepat: Sistem untuk menangani dataset besar, didukung oleh infrastruktur komputasi NVIDIA.

Inovasi kunci dari Cosmos adalah model penalaran untuk AI fisik. Model ini memberikan pengembang kemampuan untuk membuat dan memodifikasi dunia virtual. Mereka dapat menyesuaikan simulasi untuk kebutuhan spesifik, seperti menguji kemampuan robot untuk mengambil objek atau menilai respons AV terhadap hambatan tiba-tiba.

Fitur Kunci NVIDIA Cosmos

NVIDIA Cosmos menyediakan berbagai komponen untuk mengatasi tantangan spesifik dalam pengembangan AI fisik:

• Cosmos Transfer WFMs: Model ini mengambil input video terstruktur, seperti peta segmentasi, peta kedalaman, atau pemindaian lidar, dan menghasilkan output video yang realistis dan terkendali. Kemampuan ini sangat berguna untuk membuat data sintetis untuk melatih AI persepsi, seperti sistem yang membantu AV mengidentifikasi objek atau robot mengenali lingkungannya.
• Cosmos Predict WFMs: Cosmos Predict model menghasilkan keadaan dunia virtual berdasarkan input multimodal, termasuk teks, gambar, dan video. Mereka dapat memprediksi skenario masa depan, seperti bagaimana suatu adegan mungkin berkembang seiring waktu, dan mendukung generasi multi-frame untuk urutan yang kompleks. Pengembang dapat menyesuaikan model ini menggunakan dataset AI fisik NVIDIA untuk memenuhi kebutuhan spesifik mereka, seperti memprediksi gerakan pejalan kaki atau tindakan robot.
• Cosmos Reason WFM: Model Cosmos Reason adalah WFM yang sepenuhnya dapat disesuaikan dengan kesadaran spasial-waktu. Kemampuan penalaran memungkinkan untuk memahami baik hubungan spasial dan bagaimana mereka berubah seiring waktu. Model ini menggunakan penalaran berantai untuk menganalisis data video dan memprediksi hasil, seperti apakah seseorang akan melangkah ke zebra cross atau apakah kotak akan jatuh dari rak.

Aplikasi dan Kasus Penggunaan

NVIDIA Cosmos sudah memiliki dampak signifikan di industri, dengan beberapa perusahaan terkemuka yang mengadopsi platform untuk proyek AI fisik mereka. Pengadopsi awal ini menyoroti fleksibilitas dan dampak praktis Cosmos di berbagai sektor:

• 1X: Menggunakan Cosmos untuk robotika canggih untuk meningkatkan kemampuan mereka dalam mengembangkan robot yang didorong oleh AI.
• Agility Robotics: Memperluas kemitraan mereka dengan NVIDIA untuk menggunakan Cosmos untuk sistem robot humanoid.
• Figure AI: Menggunakan Cosmos untuk meningkatkan robotika humanoid, dengan fokus pada AI yang dapat melakukan tugas kompleks.
• Foretellix: Menggunakan Cosmos dalam simulasi kendaraan otonom untuk menghasilkan berbagai skenario pengujian.
• Skild AI: Menggunakan Cosmos untuk mengembangkan solusi yang didorong oleh AI untuk berbagai aplikasi.
• Uber: Mengintegrasikan Cosmos ke dalam pengembangan kendaraan otonom mereka untuk meningkatkan data pelatihan untuk sistem self-driving.
• Oxa: Menggunakan Cosmos untuk mempercepat otomatisasi mobilitas industri.
• Virtual Incision: Menjelajahi Cosmos untuk robotika bedah untuk meningkatkan presisi dalam perawatan kesehatan.

Kasus penggunaan ini menunjukkan bagaimana Cosmos dapat memenuhi berbagai kebutuhan, dari transportasi hingga perawatan kesehatan, dengan menyediakan data sintetis untuk melatih sistem AI fisik.

Implikasi Masa Depan

Peluncuran NVIDIA Cosmos sangat penting untuk pengembangan sistem AI fisik. Dengan menawarkan platform open source dengan alat dan model yang kuat, NVIDIA membuat pengembangan AI fisik lebih mudah diakses oleh berbagai pengembang dan organisasi. Ini dapat menyebabkan kemajuan signifikan di beberapa area.

Dalam transportasi otonom, data pelatihan dan simulasi yang ditingkatkan dapat menyebabkan kendaraan self-driving yang lebih aman dan dapat diandalkan. Dalam robotika, pengembangan robot yang lebih cepat yang dapat melakukan tugas kompleks dapat mengubah industri seperti manufaktur, logistik, dan perawatan kesehatan. Dalam perawatan kesehatan, teknologi seperti robotika bedah, yang dijelajahi oleh Virtual Incision, dapat meningkatkan presisi dan hasil prosedur medis.

Ringkasan

NVIDIA Cosmos memainkan peran penting dalam pengembangan AI fisik. Platform ini memungkinkan pengembang untuk menghasilkan data sintetis berkualitas tinggi dengan menyediakan model fondasi dunia pra-dilatih (WFMs) untuk membuat simulasi realistis. Dengan akses open source, fitur canggih, dan pengawasan etis, Cosmos memungkinkan pengembangan AI yang lebih cepat dan efisien. Platform ini sudah menggerakkan kemajuan besar di industri seperti transportasi, robotika, dan perawatan kesehatan, dengan menyediakan data sintetis untuk membangun sistem cerdas yang berinteraksi dengan dunia fisik.