NVIDIA Cosmos: Physikalische KI mit Simulationen ermöglichen

Die Entwicklung von physikalischen KI-Systemen, wie z.B. Robotern auf Fabrikböden und autonomen Fahrzeugen auf den Straßen, hängt stark von großen, hochwertigen Datensätzen für die Ausbildung ab. Die Erfassung von Echtzeit-Daten ist jedoch teuer, zeitaufwändig und oft auf einige große Technologieunternehmen beschränkt. NVIDIA’s Cosmos-Plattform geht dieses Problem durch den Einsatz von fortschrittlichen physikalischen Simulationen an, um realistische synthetische Daten im großen Maßstab zu generieren. Dies ermöglicht es Ingenieuren, KI-Modelle ohne die Kosten und Verzögerungen zu trainieren, die mit der Erfassung von Echtzeit-Daten verbunden sind. Dieser Artikel diskutiert, wie Cosmos den Zugang zu wesentlichen Trainingsdaten verbessert und die Entwicklung von sicheren, zuverlässigen KI-Systemen für Echtzeit-Anwendungen beschleunigt.

Physikalische KI verstehen

Physikalische KI bezieht sich auf künstliche Intelligenz-Systeme, die die physische Welt wahrnehmen, verstehen und beeinflussen können. Im Gegensatz zu traditioneller KI, die möglicherweise Text oder Bilder analysiert, muss physikalische KI mit realen Welt-Komplexitäten wie räumlichen Beziehungen, physikalischen Kräften und dynamischen Umgebungen umgehen. Zum Beispiel muss ein selbstfahrendes Auto Fußgänger erkennen, ihre Bewegungen vorhersagen und seinen Pfad in Echtzeit anpassen, während er Faktoren wie Wetter und Straßenbedingungen berücksichtigt. Ebenso muss ein Roboter in einem Lagerhaus Hindernisse navigieren und Objekte mit Präzision manipulieren.

Die Entwicklung von physikalischer KI ist herausfordernd, da sie enorme Mengen an Daten erfordert, um Modelle auf diverse Echtzeit-Szenarien zu trainieren. Die Erfassung dieser Daten, sei es Stunden von Fahrvideo oder robotischen Aufgaben-Demonstrationen, kann zeitaufwändig und teuer sein. Darüber hinaus kann die Erprobung von KI in der realen Welt riskant sein, da Fehler zu Unfällen führen können. NVIDIA Cosmos geht diese Herausforderungen durch den Einsatz von physikalischen Simulationen an, um realistische synthetische Daten zu generieren. Dieser Ansatz vereinfacht und beschleunigt die Entwicklung von physikalischen KI-Systemen.

Was sind Welt-Grundmodell-Modelle?

Im Kern von NVIDIA Cosmos befindet sich eine Sammlung von KI-Modellen, die als Welt-Grundmodell-Modelle (WFMs) bezeichnet werden. Diese KI-Modelle sind speziell dafür entwickelt, virtuelle Umgebungen zu simulieren, die der physischen Welt sehr ähnlich sind. Durch die Generierung von physikalisch-bewussten Videos oder Szenarien simulieren WFMs, wie Objekte aufgrund von räumlichen Beziehungen und physikalischen Gesetzen interagieren. Zum Beispiel könnte ein WFM ein Auto simulieren, das durch einen Regensturm fährt, und zeigen, wie Wasser die Traktion beeinflusst oder wie Scheinwerfer von nassen Oberflächen reflektiert werden.

WFMs sind für physikalische KI von entscheidender Bedeutung, da sie einen sicheren, kontrollierbaren Raum bieten, um KI-Systeme zu trainieren und zu testen. Anstatt Echtzeit-Daten zu sammeln, können Entwickler WFMs verwenden, um synthetische Daten zu generieren – realistische Simulationen von Umgebungen und Interaktionen. Dieser Ansatz reduziert nicht nur die Kosten, sondern beschleunigt auch die Entwicklung und ermöglicht es, komplexe, seltene Szenarien (wie ungewöhnliche Verkehrssituationen) ohne die Risiken der Echtzeit-Testung zu testen. WFMs sind allgemein gültige Modelle, die für spezifische Anwendungen feinjustiert werden können, ähnlich wie große Sprachmodelle für Aufgaben wie Übersetzung oder Chatbots adaptiert werden.

Vorstellung von NVIDIA Cosmos

NVIDIA Cosmos ist eine Plattform, die es Entwicklern ermöglicht, WFMs für physikalische KI-Anwendungen, insbesondere in autonomen Fahrzeugen (AVs) und Robotik, zu erstellen und anzupassen. Cosmos integriert fortschrittliche generative Modelle, Datenverarbeitungstools und Sicherheitsfunktionen, um KI-Systeme zu entwickeln, die mit der physischen Welt interagieren. Die Plattform ist Open-Source, mit Modellen, die unter permissiven Lizenzen verfügbar sind.

Wichtige Komponenten der Plattform sind:

• Generative Welt-Grundmodell-Modelle (WFMs): Vorgefertigte Modelle, die physische Umgebungen und Interaktionen simulieren.
• Erweiterte Tokenizer: Tools, die Daten effizient komprimieren und verarbeiten, um das Modell-Training zu beschleunigen.
• Beschleunigte Datenverarbeitungspipeline: Ein System für die Verarbeitung großer Datensätze, das von NVIDIA’s Recheninfrastruktur angetrieben wird.

Eine wichtige Neuerung von Cosmos ist sein Vernunft-Modell für physikalische KI. Dieses Modell bietet Entwicklern die Möglichkeit, virtuelle Welten zu erstellen und zu modifizieren. Sie können Simulationen an ihre spezifischen Bedürfnisse anpassen, wie z.B. das Testen der Fähigkeit eines Roboters, Objekte aufzunehmen, oder die Bewertung der Reaktion eines AVs auf ein plötzliches Hindernis.

Schlüsselmerkmale von NVIDIA Cosmos

NVIDIA Cosmos bietet verschiedene Komponenten, um spezifische Herausforderungen in der Entwicklung von physikalischer KI anzugehen:

• Cosmos-Transfer-WFMs: Diese Modelle nehmen strukturierte Video-Eingaben, wie z.B. Segmentierungs-Karten, Tiefen-Karten oder Lidar-Scans, und generieren kontrollierbare, photorealistische Video-Ausgaben. Diese Fähigkeit ist besonders nützlich für die Erstellung von synthetischen Daten zum Trainieren von Wahrnehmungs-KI, wie z.B. Systemen, die AVs helfen, Objekte zu identifizieren oder Robotern, ihre Umgebung zu erkennen.
• Cosmos-Predict-WFMs: Cosmos-Predict-Modelle generieren virtuelle Welt-Zustände basierend auf multimodalen Eingaben, einschließlich Text, Bildern und Video. Sie können zukünftige Szenarien vorhersagen, wie z.B. wie eine Szene im Laufe der Zeit evolviert, und unterstützen die Generierung von komplexen Sequenzen. Entwickler können diese Modelle mithilfe von NVIDIA’s physikalischer KI-Datensatz an ihre spezifischen Bedürfnisse anpassen, wie z.B. die Vorhersage von Fußgänger-Bewegungen oder robotischen Aktionen.
• Cosmos-Reason-WFM: Das Cosmos-Reason-Modell ist ein vollständig anpassbares WFM mit räumlich-zeitlicher Bewusstsein. Seine Vernunft-Fähigkeit ermöglicht es, sowohl räumliche Beziehungen als auch ihre Veränderung im Laufe der Zeit zu verstehen. Das Modell verwendet eine Kette von Vernunft-Schritten, um Video-Daten zu analysieren und Ergebnisse vorherzusagen, wie z.B. ob eine Person in eine Fußgängerzone eintritt oder ein Karton von einem Regal fällt.

Anwendungen und Einsatzgebiete

NVIDIA Cosmos hat bereits einen bedeutenden Einfluss auf die Branche, mit mehreren führenden Unternehmen, die die Plattform für ihre physikalischen KI-Projekte adoptieren. Diese frühen Adoptierer unterstreichen die Vielseitigkeit und praktische Auswirkung von Cosmos in verschiedenen Branchen:

• 1X: Verwenden von Cosmos für fortschrittliche Robotik, um ihre Fähigkeit zur Entwicklung von KI-getriebenen Robotern zu verbessern.
• Agility Robotics: Erweiterung ihrer Partnerschaft mit NVIDIA, um Cosmos für humanoid-robotische Systeme zu nutzen.
• Figure AI: Nutzen von Cosmos, um humanoid-robotische Systeme zu verbessern, mit Fokus auf KI, die komplexe Aufgaben ausführen kann.
• Foretellix: Anwendung von Cosmos in der autonomen Fahrzeug-Simulation, um eine Vielzahl von Test-Szenarien zu generieren.
• Skild AI: Verwenden von Cosmos, um KI-getriebene Lösungen für verschiedene Anwendungen zu entwickeln.
• Uber: Integration von Cosmos in die Entwicklung von autonomen Fahrzeugen, um Trainingsdaten für selbstfahrende Systeme zu verbessern.
• Oxa: Verwenden von Cosmos, um die industrielle Mobilitäts-Automatisierung zu beschleunigen.
• Virtual Incision: Erforschung von Cosmos für chirurgische Robotik, um die Präzision in der Gesundheitsversorgung zu verbessern.

Diese Einsatzgebiete zeigen, wie Cosmos eine Vielzahl von Bedürfnissen decken kann, von Transport bis Gesundheitswesen, indem es synthetische Daten für die Ausbildung dieser physikalischen KI-Systeme bereitstellt.

Zukünftige Auswirkungen

Der Start von NVIDIA Cosmos ist wichtig für die Entwicklung von physikalischen KI-Systemen. Durch die Bereitstellung einer Open-Source-Plattform mit leistungsstarken Tools und Modellen macht NVIDIA die Entwicklung von physikalischer KI für eine breitere Palette von Entwicklern und Organisationen zugänglich. Dies könnte zu bedeutenden Fortschritten in mehreren Bereichen führen.

In der autonomen Transportation könnten verbesserte Trainingsdaten und Simulationen zu sichereren und zuverlässigeren selbstfahrenden Autos führen. In der Robotik könnte die schnellere Entwicklung von Robotern, die komplexe Aufgaben ausführen können, Branchen wie Fertigung, Logistik und Gesundheitswesen transformieren. In der Gesundheitsversorgung könnten Technologien wie chirurgische Robotik, wie von Virtual Incision erforscht, die Präzision und Ergebnisse von medizinischen Eingriffen verbessern.

Fazit

NVIDIA Cosmos spielt eine wichtige Rolle bei der Entwicklung von physikalischer KI. Diese Plattform ermöglicht es Entwicklern, hochwertige synthetische Daten durch die Bereitstellung von vorgefertigten, physikalischen Welt-Grundmodell-Modellen (WFMs) für die Erstellung realistischer Simulationen zu generieren. Mit seinem Open-Source-Zugang, fortschrittlichen Funktionen und ethischen Sicherheitsvorkehrungen ermöglicht Cosmos eine schnellere, effizientere KI-Entwicklung. Die Plattform treibt bereits bedeutende Fortschritte in Branchen wie Transport, Robotik und Gesundheitswesen voran, indem sie synthetische Daten für die Entwicklung intelligenter Systeme bereitstellt, die mit der physischen Welt interagieren.