Destillierte Riesen: Warum wir die Entwicklung von Small AI neu überdenken müssen

In den letzten Jahren hat der Wettlauf, immer größere KI-Modelle zu entwickeln, die Tech-Industrie begeistert. Diese Modelle mit ihren Milliarden von Parametern versprechen bahnbrechende Fortschritte in verschiedenen Bereichen, von der Sprachverarbeitung bis zur Bilderkennung. Allerdings kommt dieser unerbittliche Wettlauf um die Größe mit erheblichen Nachteilen in Form von hohen Kosten und signifikantem Umweltimpact. Während Small AI eine vielversprechende Alternative bietet, die Effizienz und geringeren Energieverbrauch bietet, erfordert der aktuelle Ansatz zur Erstellung von Small AI immer noch erhebliche Ressourcen. Wenn wir Small AI und nachhaltige KI verfolgen, ist es entscheidend, neue Strategien zu erforschen, die diese Einschränkungen effektiv angehen.

Small AI: Eine nachhaltige Lösung für hohe Kosten und Energiebedarf

Die Entwicklung und Wartung von großen KI-Modellen ist ein teures Unterfangen. Schätzungen deuten darauf hin, dass die Ausbildung von GPT-3 über 4 Millionen US-Dollar kostet, wobei fortschrittlichere Modelle möglicherweise hohe Millionenbeträge erreichen. Diese Kosten, einschließlich notwendiger Hardware, Speicher, Rechenleistung und menschlicher Ressourcen, sind für viele Organisationen, insbesondere kleinere Unternehmen und Forschungseinrichtungen, prohibitiv. Diese finanzielle Barriere schafft ein ungleiches Spielfeld, das den Zugang zu Spitzenleistungs-KI-Technologie einschränkt und die Innovation behindert.

Darüber hinaus sind die Energiebedürfnisse, die mit der Ausbildung von großen KI-Modellen verbunden sind, atemberaubend. Beispielsweise wird die Ausbildung eines großen Sprachmodells wie GPT-3 auf etwa 1.300 Megawattstunden (MWh) Elektrizität geschätzt – was dem jährlichen Stromverbrauch von 130 US-Haushalten entspricht. Trotz dieser erheblichen Ausbildungskosten verursacht jede ChatGPT-Anfrage einen Schätzwert von 2,9 Wattstunden. Die IEA schätzt, dass der gesamte Energiebedarf von KI, Rechenzentren und Kryptowährungen fast 2 Prozent des globalen Energiebedarfs ausmacht. Dieser Bedarf soll bis 2026 verdoppelt werden und könnte den gesamten Stromverbrauch Japans erreichen. Der hohe Energieverbrauch erhöht nicht nur die Betriebskosten, sondern trägt auch zum Kohlenstoff-Fußabdruck bei und verschärft die Umweltkrise. Um dies in Perspektive zu setzen, schätzen Forscher, dass die Ausbildung eines einzelnen großen KI-Modells über 626.000 Pfund CO2 emittieren kann, was den Emissionen von fünf Autos über ihre Lebenszeit entspricht.

Inmitten dieser Herausforderungen bietet Small AI eine praktikable Lösung. Es ist darauf ausgelegt, effizienter und skalierbarer zu sein und erfordert viel weniger Daten und Rechenleistung. Dies reduziert die Gesamtkosten und macht fortschrittliche KI-Technologie für kleinere Organisationen und Forschungsteams zugänglicher. Darüber hinaus haben Small-AI-Modelle geringere Energiebedürfnisse, was die Betriebskosten senkt und den Umweltimpact verringert. Durch die Verwendung optimierter Algorithmen und Methoden wie Transfer Learning kann Small AI hohe Leistung mit weniger Ressourcen erzielen. Dieser Ansatz macht KI nicht nur erschwinglicher, sondern unterstützt auch die Nachhaltigkeit, indem sowohl der Energieverbrauch als auch die Kohlenstoffemissionen minimiert werden.

Wie Small-AI-Modelle heute aufgebaut werden

Die Vorteile von Small AI erkennend, haben große Tech-Unternehmen wie Google (GOOGL ), OpenAI und Meta ihre Aufmerksamkeit auf die Entwicklung kompakter Modelle verlagert. Diese Verschiebung hat zur Entwicklung von Modellen wie Gemini Flash, GPT-4o Mini und Llama 7B geführt. Diese kleineren Modelle werden hauptsächlich mithilfe einer Technik namens Wissensdestillation entwickelt.

Zum Kern gehört die Destillation die Übertragung des Wissens eines großen, komplexen Modells in ein kleineres, effizienteres Modell. In diesem Prozess wird ein “Lehrer”-Modell – ein großes KI-Modell – auf umfangreichen Datensätzen trainiert, um komplexe Muster und Nuancen zu erlernen. Dieses Modell generiert dann Vorhersagen oder “weiche Labels”, die sein tiefes Verständnis verkörpern.

Das “Schüler”-Modell, das ein Small-AI-Modell ist, wird trainiert, diese weichen Labels nachzuahmen. Indem es das Verhalten des Lehrers nachahmt, erfasst das Schülermodell viel von seinem Wissen und seiner Leistung, während es mit wesentlich weniger Parametern operiert.

Warum wir über die Destillation von Large AI hinausgehen müssen

Obwohl die Destillation von Large AI in kleinere, handlichere Versionen eine beliebte Methode zur Erstellung von Small AI geworden ist, gibt es mehrere überzeugende Gründe, warum dieser Ansatz möglicherweise nicht für alle Herausforderungen in der Entwicklung von Large AI eine Lösung ist.

• Weiterhin Abhängigkeit von großen Modellen: Während die Destillation kleinere, effizientere KI-Modelle schafft und die Rechen- und Energieeffizienz bei der Inferenzzeit verbessert, hängt sie immer noch stark von der Ausbildung großer KI-Modelle ab. Dies bedeutet, dass die Erstellung von Small-AI-Modellen immer noch erhebliche Rechenressourcen und Energie erfordert, was zu hohen Kosten und Umweltimpact führt, bevor die Destillation überhaupt stattfindet. Die Notwendigkeit, große Modelle wiederholt für die Destillation zu trainieren, verlagert die Ressourcenbelastung, eliminiert sie jedoch nicht. Obwohl die Destillation darauf abzielt, die Größe und die Kosten von KI-Modellen zu reduzieren, eliminiert sie nicht die erheblichen anfänglichen Kosten, die mit der Ausbildung der großen “Lehrer”-Modelle verbunden sind. Diese Vorabinvestitionen können insbesondere für kleinere Organisationen und Forschungsgruppen besonders herausfordernd sein. Darüber hinaus kann der Umweltimpact der Ausbildung dieser großen Modelle einige der Vorteile der Verwendung kleinerer, effizienterer Modelle aufheben, da der Kohlenstoff-Fußabdruck aus der anfänglichen Trainingsphase erheblich bleibt.
• Begrenzter Innovationsbereich: Die Abhängigkeit von der Destillation kann die Innovation verlangsamen, indem sie sich auf die Nachbildung bestehender großer Modelle konzentriert, anstatt neue Ansätze zu erforschen. Dies kann die Entwicklung neuer KI-Architekturen oder Methoden verlangsamen, die bessere Lösungen für bestimmte Probleme bieten könnten. Die Abhängigkeit von Large AI beschränkt die Entwicklung von Small AI in den Händen weniger ressourcenreicher Unternehmen. Als Ergebnis werden die Vorteile von Small AI nicht gleichmäßig verteilt, was die breitere technologische Fortschrittlichkeit behindern und die Chancen für Innovation begrenzen kann.
• Generalisierungs- und Anpassungsherausforderungen: Small-AI-Modelle, die durch Destillation erstellt werden, haben oft Schwierigkeiten mit neuen, unbekannten Daten. Dies geschieht, weil der Destillationsprozess möglicherweise nicht vollständig die Fähigkeit des größeren Modells zur Generalisierung erfasst. Als Ergebnis können diese kleineren Modelle zwar auf vertrauten Aufgaben gut performen, haben aber oft Schwierigkeiten, wenn sie mit neuen Situationen konfrontiert werden. Darüber hinaus erfordert die Anpassung von destillierten Modellen an neue Modalitäten oder Datensätze oft das erneute Training oder Feintuning des größeren Modells. Dieser iterative Prozess kann komplex und ressourcenintensiv sein, was es schwierig macht, Small-AI-Modelle schnell an sich schnell verändernde technologische Bedürfnisse oder neue Anwendungen anzupassen.

Das Fazit

Obwohl die Destillation von großen KI-Modellen in kleinere eine praktische Lösung zu sein scheint, hängt sie immer noch von den hohen Kosten der Ausbildung großer Modelle ab. Um wirklich in Small AI voranzukommen, müssen wir innovative und nachhaltige Praktiken erforschen. Dies bedeutet die Erstellung von Modellen, die für spezifische Anwendungen konzipiert sind, die Verbesserung der Trainingsmethoden, um sie kostengünstiger und energieeffizienter zu machen, und die Konzentration auf die Umweltverträglichkeit. Durch die Verfolgung dieser Strategien können wir die KI-Entwicklung auf eine Weise vorantreiben, die sowohl verantwortungsvoll als auch vorteilhaft für die Industrie und den Planeten ist.