NVIDIA Cosmos: Fysieke AI mogelijk maken met simulaties

De ontwikkeling van fysieke AI-systemen, zoals robots op fabrieksvloeren en autonome voertuigen op de weg, is sterk afhankelijk van grote, hoge kwaliteit datasets voor training. Het verzamelen van real-world data is echter kostbaar, tijdrovend en vaak beperkt tot een paar grote technologiebedrijven. NVIDIA’s Cosmos platform lost dit probleem op door geavanceerde fysica-simulaties te gebruiken om realistische synthetische data op grote schaal te genereren. Dit stelt engineers in staat om AI-modellen te trainen zonder de kosten en vertraging die verbonden zijn aan het verzamelen van real-world data. Dit artikel bespreekt hoe Cosmos de toegang tot essentiële trainingsdata verbetert en de ontwikkeling van veilige, betrouwbare AI voor real-world toepassingen versnelt.

Fysieke AI begrijpen

Fysieke AI verwijst naar kunstmatige intelligentie-systemen die kunnen waarnemen, begrijpen en handelen in de fysieke wereld. In tegenstelling tot traditionele AI, die mogelijk tekst of afbeeldingen analyseert, moet fysieke AI omgaan met real-world complexiteiten zoals ruimtelijke relaties, fysieke krachten en dynamische omgevingen. Bijvoorbeeld, een zelfrijdende auto moet voetgangers herkennen, hun bewegingen voorspellen en zijn route in real-time aanpassen, rekening houdend met factoren zoals weer en wegcondities. Vergelijkbaar moet een robot in een magazijn obstakels navigeren en objecten met precisie manipuleren.

Het ontwikkelen van fysieke AI is uitdagend omdat het enorme hoeveelheden data vereist om modellen te trainen op diverse real-world scenario’s. Het verzamelen van deze data, of het nu gaat om uren aan rijbeelden of robotische taakdemonstraties, kan tijdrovend en duur zijn. Bovendien kan het testen van AI in de real-world riskant zijn, omdat fouten kunnen leiden tot ongevallen. NVIDIA Cosmos lost deze uitdagingen op door fysica-gebaseerde simulaties te gebruiken om realistische synthetische data te genereren. Deze aanpak vereenvoudigt en versnelt de ontwikkeling van fysieke AI-systemen.

Wat zijn World Foundation Models?

Aan de basis van NVIDIA Cosmos ligt een collectie van AI-modellen genaamd world foundation models (WFMs). Deze AI-modellen zijn specifiek ontworpen om virtuele omgevingen te simuleren die de fysieke wereld nauwkeurig nabootsen. Door fysica-gevoelige video’s of scenario’s te genereren, simuleren WFMs hoe objecten interactief zijn op basis van ruimtelijke relaties en fysieke wetten. Bijvoorbeeld, een WFM kan een auto simuleren die door een regenstorm rijdt, waarbij wordt getoond hoe water de grip beïnvloedt of hoe koplampen reflecteren op natte oppervlakken.

WFMs zijn cruciaal voor fysieke AI omdat ze een veilige, controleerbare ruimte bieden om AI-systemen te trainen en te testen. In plaats van real-world data te verzamelen, kunnen ontwikkelaars WFMs gebruiken om synthetische data te genereren – realistische simulaties van omgevingen en interacties. Deze aanpak vermindert niet alleen de kosten, maar versnelt ook het ontwikkelingsproces en stelt ontwikkelaars in staat om complexe, zeldzame scenario’s (zoals ongebruikelijke verkeerssituaties) te testen zonder de risico’s die verbonden zijn aan real-world testen. WFMs zijn algemene modellen die kunnen worden aangepast voor specifieke toepassingen, vergelijkbaar met hoe grote taalmodellen worden aangepast voor taken zoals vertaling of chatbots.

NVIDIA Cosmos onthullen

NVIDIA Cosmos is een platform ontworpen om ontwikkelaars in staat te stellen om WFMs te bouwen en aan te passen voor fysieke AI-toepassingen, met name in autonome voertuigen (AVs) en robotica. Cosmos integreert geavanceerde generatieve modellen, dataprocessor tools en veiligheidsfuncties om AI-systemen te ontwikkelen die interactief zijn met de fysieke wereld. Het platform is open source, met modellen beschikbaar onder permissive licenties.

Sleutelcomponenten van het platform zijn:

• Generatieve World Foundation Models (WFMs): Pre-getrainde modellen die fysieke omgevingen en interacties simuleren.
• Geavanceerde Tokenizers: Tools die data efficiënt comprimeren en verwerken voor snellere modeltraining.
• Accelerated Data Processing Pipeline: Een systeem voor het verwerken van grote datasets, aangedreven door NVIDIA’s rekeninfrastructuur.

Een sleutelinnovatie van Cosmos is zijn redenemodel voor fysieke AI. Dit model biedt ontwikkelaars de mogelijkheid om virtuele werelden te creëren en aan te passen. Ze kunnen simulaties aanpassen aan specifieke behoeften, zoals het testen van een robot’s vermogen om objecten op te pakken of het beoordelen van een AV’s reactie op een plotseling obstakel.

Sleutelfuncties van NVIDIA Cosmos

NVIDIA Cosmos biedt verschillende componenten om specifieke uitdagingen in fysieke AI-ontwikkeling aan te pakken:

• Cosmos Transfer WFMs: Deze modellen nemen gestructureerde video-inputs, zoals segmentatiemaps, dieptemaps of lidar-scans, en genereren controleerbare, fotorealistische video-outputs. Deze functionaliteit is bijzonder nuttig voor het creëren van synthetische data om perceptie-AI te trainen, zoals systemen die autonome voertuigen helpen om objecten te identificeren of robots om hun omgeving te herkennen.
• Cosmos Predict WFMs: Cosmos Predict-modellen genereren virtuele wereldstaten op basis van multimodale inputs, inclusief tekst, afbeeldingen en video. Ze kunnen toekomstige scenario’s voorspellen, zoals hoe een scène zich over tijd kan ontwikkelen, en ondersteunen multi-frame generatie voor complexe sequenties. Ontwikkelaars kunnen deze modellen aanpassen met NVIDIA’s fysieke AI-dataset om aan hun specifieke behoeften te voldoen, zoals het voorspellen van voetgangersbewegingen of robotische acties.
• Cosmos Reason WFM: Het Cosmos Reason-model is een volledig aanpasbaar WFM met ruimtelijke en temporele bewustzijn. Zijn redenatievermogen stelt het in staat om zowel ruimtelijke relaties als hoe ze veranderen over tijd te begrijpen. Het model gebruikt keten van gedachten redenatie om video-data te analyseren en resultaten te voorspellen, zoals of een persoon een zebrapad zal oversteken, of een doos van een plank zal vallen.

Toepassingen en use cases

NVIDIA Cosmos heeft al een significante impact op de industrie, met verschillende toonaangevende bedrijven die het platform adopteren voor hun fysieke AI-projecten. Deze vroege adoptanten benadrukken de veelzijdigheid en praktische impact van Cosmos in verschillende sectoren:

• 1X: Gebruikt Cosmos voor geavanceerde robotica om hun vermogen te verbeteren om AI-gestuurde robots te ontwikkelen.
• Agility Robotics: Uitbreidt hun partnership met NVIDIA om Cosmos te gebruiken voor humanoïde robotische systemen.
• Figure AI: Gebruikt Cosmos om humanoïde robotica te verbeteren, met een focus op AI die complexe taken kan uitvoeren.
• Foretellix: Past Cosmos toe in autonome voertuigsimulatie om een breed scala aan testscenario’s te genereren.
• Skild AI: Gebruikt Cosmos om AI-gestuurde oplossingen te ontwikkelen voor verschillende toepassingen.
• Uber: Integreert Cosmos in hun autonome voertuigontwikkeling om trainingsdata voor zelfrijdende systemen te verbeteren.
• Oxa: Gebruikt Cosmos om industriële mobiliteitsautomatisering te versnellen.
• Virtual Incision: Onderzoekt Cosmos voor chirurgische robotica om precisie in de gezondheidszorg te verbeteren.

Deze use cases demonstreren hoe Cosmos een breed scala aan behoeften kan vervullen, van transport tot gezondheidszorg, door synthetische data te bieden voor het trainen van deze fysieke AI-systemen.

Toekomstige implicaties

De lancering van NVIDIA Cosmos is belangrijk voor de ontwikkeling van fysieke AI-systemen. Door een open-source platform met krachtige tools en modellen aan te bieden, maakt NVIDIA fysieke AI-ontwikkeling toegankelijker voor een bredere range aan ontwikkelaars en organisaties. Dit kan leiden tot significante vooruitgang in verschillende gebieden.

In autonome transport, kunnen verbeterde trainingsdata en simulaties leiden tot veiligere en betrouwbaardere zelfrijdende auto’s. In robotica kan de snellere ontwikkeling van robots die complexe taken kunnen uitvoeren, industrieën zoals fabricage, logistiek en gezondheidszorg transformeren. In de gezondheidszorg kunnen technologieën zoals chirurgische robotica, zoals onderzocht door Virtual Incision, de precisie en resultaten van medische procedures verbeteren.

De bottom line

NVIDIA Cosmos speelt een vitale rol in de ontwikkeling van fysieke AI. Dit platform stelt ontwikkelaars in staat om hoge kwaliteit synthetische data te genereren door vooraf getrainde, fysica-gebaseerde world foundation models (WFMs) te bieden voor het creëren van realistische simulaties. Met zijn open-source toegang, geavanceerde functies en ethische waarborgen, maakt Cosmos snellere, efficiëntere AI-ontwikkeling mogelijk. Het platform heeft al een significante impact op de industrie, met verschillende toonaangevende bedrijven die het platform adopteren voor hun fysieke AI-projecten.