Nutzen von Silizium: Wie interne Chips die Zukunft von KI prägen

Künstliche Intelligenz, wie jede andere Software, basiert auf zwei grundlegenden Komponenten: den KI-Programmen, oft als Modelle bezeichnet, und der Rechenhardware, oder Chips, die diese Programme antreiben. Bisher lag der Fokus in der KI-Entwicklung auf der Verfeinerung der Modelle, während die Hardware in der Regel als Standardkomponente von Drittanbietern angesehen wurde. In letzter Zeit hat sich dieser Ansatz jedoch geändert. Große KI-Unternehmen wie Google, Meta und Amazon haben begonnen, ihre eigenen KI-Chips zu entwickeln. Die interne Entwicklung von benutzerdefinierten KI-Chips kündigt eine neue Ära in der KI-Entwicklung an. Dieser Artikel wird die Gründe hinter diesem Wechsel in der Vorgehensweise untersuchen und die neuesten Entwicklungen in diesem sich entwickelnden Bereich hervorheben.

Warum interne KI-Chip-Entwicklung?

Der Trend zur internen Entwicklung von benutzerdefinierten KI-Chips wird von mehreren kritischen Faktoren angetrieben, darunter:

Erhöhte Nachfrage nach KI-Chips

Die Erstellung und Verwendung von KI-Modellen erfordert erhebliche Rechenressourcen, um große Datenmengen effektiv zu verarbeiten und präzise Vorhersagen oder Erkenntnisse zu generieren. Traditionelle Computerchips sind nicht in der Lage, die Rechenanforderungen zu bewältigen, wenn auf Billionen von Datenpunkten trainiert wird. Diese Einschränkung hat zur Entwicklung von hochentwickelten KI-Chips geführt, die speziell für die hohen Leistungs- und Effizienzanforderungen moderner KI-Anwendungen konzipiert sind. Da die KI-Forschung und -Entwicklung weiter wachsen, wächst auch die Nachfrage nach diesen speziellen Chips.
Nvidia, ein Marktführer in der Produktion von fortschrittlichen KI-Chips und weit vor seinen Wettbewerbern, sieht sich mit Herausforderungen konfrontiert, da die Nachfrage seine Produktionskapazität übersteigt. Diese Situation hat zu einer Warteliste für Nvidias KI-Chips von mehreren Monaten, einer Verzögerung, die weiter ansteigt, da die Nachfrage nach ihren KI-Chips steigt. Darüber hinaus sieht sich der Chip-Markt, der große Spieler wie Nvidia und Intel umfasst, mit Herausforderungen bei der Chip-Produktion konfrontiert. Dieses Problem resultiert aus ihrer Abhängigkeit von dem taiwanesischen Hersteller TSMC für die Chip-Montage. Diese Abhängigkeit von einem einzigen Hersteller führt zu langen Lieferzeiten für die Herstellung dieser fortschrittlichen Chips.

Machung von KI-Rechnen energieeffizient und nachhaltig

Die aktuelle Generation von KI-Chips, die für schwere Rechenaufgaben konzipiert sind, neigen dazu, viel Energie zu verbrauchen und erhebliche Wärme zu erzeugen. Dies hat erhebliche Umweltauswirkungen für die Ausbildung und Verwendung von KI-Modellen. OpenAI-Forscher weisen darauf hin, dass seit 2012 die Rechenleistung, die für die Ausbildung von fortschrittlichen KI-Modellen erforderlich ist, alle 3,4 Monate verdoppelt wurde, was darauf hindeutet, dass die Emissionen des Informations- und Kommunikationstechnologie-Sektors (IKT) bis 2040 14 % der globalen Emissionen ausmachen könnten. Eine weitere Studie zeigte, dass die Ausbildung eines einzelnen groß angelegten Sprachmodells bis zu 284.000 kg CO2 emittieren kann, was in etwa dem Energieverbrauch von fünf Autos über ihre gesamte Lebensdauer entspricht. Darüber hinaus wird geschätzt, dass der Energieverbrauch von Rechenzentren bis 2030 um 28 Prozent ansteigen wird. Diese Ergebnisse unterstreichen die Notwendigkeit, einen Ausgleich zwischen KI-Entwicklung und Umweltverantwortung zu finden. Als Reaktion darauf investieren viele KI-Unternehmen nun in die Entwicklung von energieeffizienteren Chips, um KI-Ausbildung und -Betrieb nachhaltiger und umweltfreundlicher zu machen.

Chips für spezielle Aufgaben anpassen

Verschiedene KI-Prozesse haben unterschiedliche Rechenanforderungen. Zum Beispiel erfordert die Ausbildung von Deep-Learning-Modellen erhebliche Rechenleistung und hohe Durchsatzraten, um große Datenmengen zu verarbeiten und komplexe Berechnungen schnell auszuführen. Chips, die für die Ausbildung konzipiert sind, sind optimiert, um diese Operationen zu verbessern, die Geschwindigkeit und Effizienz zu erhöhen. Andererseits erfordert der Inferenzprozess, bei dem ein Modell sein erlerntes Wissen anwendet, um Vorhersagen zu treffen, schnelle Verarbeitung mit minimaler Energieverbrauch, insbesondere in Edge-Geräten wie Smartphones und IoT-Geräten. Chips für die Inferenz sind so konzipiert, dass sie die Leistung pro Watt optimieren, um prompte Reaktionsfähigkeit und Batterieschonung zu gewährleisten. Diese spezifische Anpassung von Chip-Designs für Ausbildungs- und Inferenzaufgaben ermöglicht es jedem Chip, genau für seine beabsichtigte Rolle anzupassen, die Leistung über verschiedene Geräte und Anwendungen hinweg zu verbessern. Diese Art von Spezialisierung unterstützt nicht nur robustere KI-Funktionen, sondern fördert auch eine größere Energieeffizienz und Kosteneffizienz im Allgemeinen.

Reduzierung finanzieller Belastungen

Die finanzielle Belastung für die Rechnung von KI-Modellausbildung und -betrieb bleibt erheblich. OpenAI beispielsweise verwendet seit 2020 einen umfangreichen Supercomputer, der von Microsoft erstellt wurde, sowohl für die Ausbildung als auch für die Inferenz. Es kostete OpenAI etwa 12 Millionen US-Dollar, sein GPT-3-Modell auszubilden, und die Kosten stiegen auf 100 Millionen US-Dollar für die Ausbildung von GPT-4. Laut einem Bericht von SemiAnalysis benötigt OpenAI ungefähr 3.617 HGX-A100-Server, insgesamt 28.936 GPUs, um ChatGPT zu unterstützen, was die durchschnittlichen Kosten pro Abfrage auf etwa 0,36 US-Dollar bringt. Angesichts dieser hohen Kosten sucht Sam Altman, CEO von OpenAI, angeblich nach erheblichen Investitionen, um ein weltweites Netz von KI-Chip-Produktionsanlagen zu bauen, wie in einem Bloomberg-Bericht zu lesen ist.

Nutzen von Kontrolle und Innovation

KI-Chips von Drittanbietern sind oft mit Einschränkungen verbunden. Unternehmen, die auf diese Chips angewiesen sind, können sich durch Standardlösungen eingeschränkt sehen, die nicht vollständig mit ihren einzigartigen KI-Modellen oder Anwendungen übereinstimmen. Die interne Chip-Entwicklung ermöglicht eine Anpassung, die auf spezifische Anwendungsfälle zugeschnitten ist. Ob es sich um autonome Fahrzeuge oder mobile Geräte handelt, die Kontrolle über die Hardware ermöglicht es Unternehmen, ihre KI-Algorithmen voll auszunutzen. Benutzerdefinierte Chips können bestimmte Aufgaben verbessern, die Latenz reduzieren und die Gesamtleistung verbessern.

Neueste Fortschritte in der KI-Chip-Entwicklung

Dieser Abschnitt geht auf die neuesten Schritte von Google, Meta und Amazon in der Entwicklung von KI-Chip-Technologie ein.

Googles Axion-Prozessoren

Google hat seit der Einführung der Tensor Processing Unit (TPU) im Jahr 2015 stetig Fortschritte in der KI-Chip-Technologie gemacht. Aufbauend auf dieser Grundlage hat Google kürzlich die Axion-Prozessoren vorgestellt, seine ersten benutzerdefinierten CPUs, die speziell für Rechenzentren und KI-Workloads konzipiert sind. Diese Prozessoren basieren auf der Arm-Architektur, die für ihre Effizienz und kompakte Gestaltung bekannt ist. Die Axion-Prozessoren zielen darauf ab, die Effizienz von CPU-basiertem KI-Training und -Schlussfolgern zu verbessern, während die Energieeffizienz erhalten bleibt. Diese Weiterentwicklung markiert auch eine erhebliche Leistungssteigerung für verschiedene allgemeine Workloads, einschließlich Web- und App-Servern, containerisierten Microservices, Open-Source-Datenbanken, In-Memory-Caches, Data-Analytics-Engines, Medienverarbeitung und mehr.

Metas MTIA

Meta treibt die KI-Chip-Technologie mit seinem Meta Training and Inference Accelerator (MTIA) voran. Dieses Tool ist darauf ausgelegt, die Effizienz von Training- und Inferenzprozessen zu verbessern, insbesondere für Ranking- und Empfehlungs-Algorithmen. Meta hat kürzlich dargelegt, wie der MTIA ein wichtiger Teil seiner Strategie ist, seine KI-Infrastruktur über GPUs hinaus zu stärken. Ursprünglich für 2025 geplant, hat Meta bereits beide Versionen des MTIA in die Produktion gebracht, was einen schnelleren Schritt in seinen Chip-Entwicklungsplänen zeigt. Während der MTIA derzeit auf die Ausbildung bestimmter Arten von Algorithmen fokussiert ist, plant Meta, seine Verwendung auf die Ausbildung von generativer KI, wie seinem Llama-Sprachmodell, auszudehnen.

Amazons Trainium und Inferentia

Seit der Einführung seines benutzerdefinierten Nitro-Chips im Jahr 2013 hat Amazon seine KI-Chip-Entwicklung erheblich ausgebaut. Das Unternehmen hat kürzlich zwei innovative KI-Chips, Trainium und Inferentia, vorgestellt. Trainium ist speziell für die KI-Modellausbildung konzipiert und soll in EC2 UltraClusters integriert werden. Diese Cluster, die bis zu 100.000 Chips aufnehmen können, sind für die Ausbildung von Grundmodellen und großen Sprachmodellen in energieeffizienter Weise optimiert. Inferentia hingegen ist für Inferenzaufgaben konzipiert, bei denen KI-Modelle aktiv angewendet werden, und konzentriert sich auf die Reduzierung der Latenz und der Kosten während der Inferenz, um besser auf die Bedürfnisse von Millionen von Benutzern zu reagieren, die mit KI-gesteuerten Diensten interagieren.

Fazit

Die Bewegung hin zur internen Entwicklung von benutzerdefinierten KI-Chips durch große Unternehmen wie Google, Microsoft und Amazon spiegelt eine strategische Verschiebung wider, um den zunehmenden Rechenanforderungen von KI-Technologien gerecht zu werden. Diese Tendenz unterstreicht die Notwendigkeit von Lösungen, die speziell auf die effiziente Unterstützung von KI-Modellen zugeschnitten sind und die einzigartigen Anforderungen dieser fortschrittlichen Systeme erfüllen. Da die Nachfrage nach KI-Chips weiter ansteigt, werden Branchenführer wie Nvidia wahrscheinlich einen erheblichen Anstieg des Marktwerts erleben, was die wichtige Rolle unterstreicht, die benutzerdefinierte Chips bei der Weiterentwicklung von KI-Innovationen spielen. Durch die Entwicklung ihrer eigenen Chips verbessern diese Technologie-Riesen nicht nur die Leistung und Effizienz ihrer KI-Systeme, sondern fördern auch eine nachhaltigere und kosteneffizientere Zukunft. Diese Entwicklung setzt neue Standards in der Branche, treibt den technologischen Fortschritt und den Wettbewerbsvorteil in einem sich schnell verändernden globalen Markt voran.