KI-Modelle und Plattformen
Meta und NVIDIA entwickeln gemeinsam einen AI-Supercomputer
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Meta und NVIDIA (NVDA ) haben angekündigt, dass sie an der Entwicklung eines massiven AI-Supercomputers arbeiten. Der AI Research SuperCluster (RSC) wird derzeit für die Ausbildung neuer Modelle zur Weiterentwicklung von KI eingesetzt.
Der RSC soll einmal die größte Kundeninstallation von NVIDIA DGX A100-Systemen sein, wenn er vollständig ausgebaut ist. Er soll noch in diesem Jahr fertiggestellt werden und wird für die Ausbildung von KI-Modellen mit über einer Billion Parametern eingesetzt. Der Supercomputer wird in vielen verschiedenen Bereichen wie der Verarbeitung von natürlicher Sprache (NLP) nützlich sein.
Laut Meta konzentriert sich das Unternehmen auf die Aktivierung von Leistung im großen Maßstab und auf extreme Zuverlässigkeit, Sicherheit, Datenschutz und die Flexibilität, um verschiedene KI-Modelle zu verarbeiten.
Eigenschaften des RSC
Der RSC verwendet 760 NVIDIA DGX A100-Systeme als Recheneinheiten und verfügt über 6.080 NVIDIA A100-GPUs, die über ein NVIDIA Quantum 200Gb/s InfiniBand-Netzwerk verbunden sind. All dies ermöglicht es, 1.895 Petaflops TF32-Leistung zu liefern.
Der RSC benötigte nur 18 Monate, um zu einem funktionierenden AI-Supercomputer zu werden, was angesichts der Auswirkungen der COVID-19-Pandemie auf die Entwicklung beeindruckend ist.
Frühe Benchmarks des RSC im Vergleich zu Metas Legacy-Produktions- und Forschungsinfrastruktur haben gezeigt, dass er Computer-Vision-Workflows bis zu 20-mal schneller ausführen kann. Er kann auch die NVIDIA Collective Communication Library (NCCL) über neunmal schneller ausführen und große NLP-Modelle dreimal schneller trainieren. Mit anderen Worten könnte ein Modell mit zig Milliarden Parametern in drei Wochen fertig trainiert werden, im Vergleich zu den vorherigen neun Wochen.
Was der RSC ermöglichen wird
Der RSC wird es Meta-KI-Forschern ermöglichen, neue KI-Modelle zu erstellen, die aus Billionen von Beispielen lernen können. Forscher werden auch in der Lage sein, in Hunderten von verschiedenen Sprachen zu arbeiten; Text, Bilder und Videos zusammen zu analysieren; neue Augmented-Reality-Tools zu entwickeln und vieles mehr.
Meta hofft, dass der RSC es dem Unternehmen ermöglichen wird, Echtzeit-Sprachübersetzungen für große Gruppen von Menschen zu ermöglichen, auch wenn jeder eine andere Sprache spricht. Dies wird es extrem vielfältigen Teams ermöglichen, an Forschungsprojekten zusammenzuarbeiten.
„Wir hoffen, dass der RSC uns helfen wird, völlig neue KI-Systeme zu entwickeln, die beispielsweise Echtzeit-Sprachübersetzungen für große Gruppen von Menschen ermöglichen, die jeweils eine andere Sprache sprechen, damit sie reibungslos an einem Forschungsprojekt oder einem AR-Spiel zusammenarbeiten können“, sagte Meta.
Diese neue Zusammenarbeit wird einen großen Schritt in der Entwicklung eines der nächsten State-of-the-Art-AI-Supercomputer darstellen, der in einer Vielzahl von Branchen eingesetzt werden kann.
