KI-Trainingskosten sinken kontinuierlich

Hohe KI-Trainingskosten waren ein erhebliches Hindernis für die Einführung von KI, was viele Unternehmen daran hinderte, KI-Technologie umzusetzen. Laut einem Bericht von Forrester Consulting aus dem Jahr 2017 nannten 48 % der Unternehmen hohe Technologie-Kosten als einen der Hauptgründe für die Nichtumsetzung von KI-gesteuerten Lösungen.

Neue Entwicklungen haben jedoch gezeigt, dass die KI-Trainingskosten rapide sinken und dieser Trend voraussichtlich in Zukunft anhalten wird. Laut dem ARK Invest Big Ideas 2023-Bericht sind die Trainingskosten für ein großes Sprachmodell mit einer Leistung ähnlich wie GPT-3 von 4,6 Millionen US-Dollar im Jahr 2020 auf 450.000 US-Dollar im Jahr 2022 gesunken, was einem Rückgang von 70 % pro Jahr entspricht.

Lassen Sie uns diesen Trend der sinkenden KI-Trainingskosten genauer betrachten und die Faktoren diskutieren, die zu diesem Rückgang beitragen.

Wie haben sich die KI-Trainingskosten im Laufe der Zeit entwickelt?

Laut der jüngsten ARK Invest-Forschung aus dem Jahr 2020 verbessert sich die Kostenstruktur für das Training von Deep-Learning-Modellen 50-mal schneller als Moores Gesetz. Tatsächlich hat sich der Aufwand, der mit dem Betrieb eines KI-System für Inferenzen verbunden ist, für zahlreiche Anwendungsfälle auf nahezu vernachlässigbare Niveaus reduziert.

Darüber hinaus haben sich die Trainingskosten im Laufe der letzten Jahre um das Zehnfache pro Jahr reduziert. So betrug beispielsweise die Kosten für das Training eines Bildklassifizierungsmodells wie ResNet-50 auf einer öffentlichen Cloud im Jahr 2017 etwa 1.000 US-Dollar, während diese Kosten bis 2019 auf etwa 10 US-Dollar gesunken waren.

Diese Ergebnisse stimmen mit einem Bericht von OpenAI aus dem Jahr 2020 überein, der feststellte, dass die für das Training eines KI-Modells erforderliche Rechenleistung um den Faktor zwei alle 16 Monate seit 2012 gesunken ist.

Des Weiteren hebt der ARK-Bericht die sinkenden KI-Trainingskosten hervor. Der Bericht prognostiziert, dass die Trainingskosten für ein Modell mit einer Leistung ähnlich wie GPT-3 bis 2030 von 450.000 US-Dollar im Jahr 2022 auf 30 US-Dollar sinken werden.

Kosten für das Training eines Modells mit einer Leistung ähnlich wie GPT-3 – ARK Invest Big Ideas 2023

Faktoren, die zu den sinkenden KI-Trainingskosten beitragen

Das Training von KI-Modellen wird billiger und einfacher, da die KI-Technologien kontinuierlich verbessert werden und somit für ein breiteres Spektrum an Unternehmen zugänglich werden. Mehrere Faktoren, darunter Hardware- und Softwarekosten sowie Cloud-basierte KI, haben zu den sinkenden KI-Trainingskosten beigetragen.

Lassen Sie uns diese Faktoren genauer betrachten.

1. Hardware

KI erfordert spezielle, teure Hardware, um große Datenmengen und Berechnungen zu verarbeiten. Unternehmen wie NVIDIA (NVDA ), IBM und Google (GOOGL ) bieten GPUs und TPUs an, um Hochleistungsrechnungen (HPC) auszuführen. Hohe Hardwarekosten erschweren es, KI auf große Scale zu demokratisieren.

Da die Technologie jedoch fortschreitet, sinken die Hardwarekosten. Laut dem ARK Invest-Bericht 2023 prognostiziert Wrights Gesetz, dass die Produktionskosten für KI-relevante Recheneinheiten (RCU), also die Hardwarekosten für KI-Training, um 57 % pro Jahr sinken sollten, was zu einer Reduzierung der KI-Trainingskosten um 70 % bis 2030 führen würde, wie in der folgenden Grafik gezeigt.

KI-Trainingshardwarekosten – ARK Invest Big Ideas 2023

2. Software

KI-Software-Trainingskosten können durch eine Steigerung der Effizienz und Skalierbarkeit um 47 % pro Jahr gesenkt werden. Software-Frameworks wie TensorFlow und PyTorch ermöglichen es Entwicklern, komplexe Deep-Learning-Modelle auf verteilten Systemen mit hoher Leistung zu trainieren, was Zeit und Ressourcen spart.

Darüber hinaus helfen große vorgefertigte Modelle wie Inceptionv3 oder ResNet und Techniken des Transfer-Learnings, die Kosten zu senken, indem sie es Entwicklern ermöglichen, bestehende Modelle zu feinjustieren, anstatt sie von Grund auf zu trainieren.

KI-Software-Trainingskosten – ARK Invest Big Ideas 2023

3. Cloud-basierte künstliche Intelligenz

Cloud-basiertes KI-Training reduziert die Kosten, indem es skalierbare Rechenressourcen auf Abruf bereitstellt. Mit dem pay-as-you-go-Modell zahlen Unternehmen nur für die von ihnen genutzten Rechenressourcen. Außerdem bieten Cloud-Anbieter vorkonfigurierte KI-Dienste an, die das KI-Training beschleunigen.

Zum Beispiel ist Azure Machine Learning ein cloud-basiertes Dienst für Predictive Analytics, das eine schnelle Modellentwicklung und -implementierung ermöglicht. Es bietet flexible Rechenressourcen und Speicher. Benutzer können ihre Rechenleistung schnell auf Tausende von GPUs skalieren, um ihre Rechenleistung zu erhöhen. Es ermöglicht Benutzern, in ihren Webbrowsern auf vorkonfigurierten KI-Umgebungen zu arbeiten, wodurch der Aufwand für die Einrichtung und Installation entfällt.

Auswirkungen der sinkenden KI-Trainingskosten

Die sinkenden KI-Trainingskosten haben erhebliche Auswirkungen auf verschiedene Branchen und Bereiche, was zu verbesserter Innovation und Wettbewerbsfähigkeit führt.

Lassen Sie uns einige dieser Auswirkungen genauer betrachten.

1. Massenadoption von fortschrittlichen KI-Chatbots

KI-Chatbots sind aufgrund der sinkenden KI-Kosten auf dem Vormarsch. Insbesondere nach der Entwicklung von OpenAIs ChatGPT und GPT-4 (Generative Pre-trained Transformer) ist ein deutlicher Anstieg der Zahl von Unternehmen zu verzeichnen, die KI-Chatbots mit ähnlichen oder besseren Fähigkeiten entwickeln möchten.

So hatte ChatGPT beispielsweise fünf Tage nach seiner Veröffentlichung im November 2022 bereits 1 Million Benutzer. Obwohl die Kosten für den Betrieb des Modells im großen Maßstab derzeit etwa 0,01 US-Dollar pro Abfrage betragen, prognostiziert Wrights Gesetz, dass bis 2030 Chatbot-Anwendungen ähnlich wie ChatGPT auf massive Scale zum Einsatz kommen können, was zu einer Schätzung von 650 US-Dollar für den Betrieb von 1 Milliarde Abfragen führen würde, mit dem Potenzial, 8,5 Milliarden Suchanfragen pro Tag zu verarbeiten, was dem Volumen von Google Search entspricht.

Kosten für die Ausführung von KI-Abfragen pro Milliarde Abfragen – ARK Invest Big Ideas 2023

2. Erhöhte Nutzung von generativer KI

Die sinkenden KI-Trainingskosten haben zu einem Anstieg der Entwicklung und Implementierung von generativer KI-Technologie geführt. Im Jahr 2022 gab es einen deutlichen Anstieg der Nutzung von generativer KI, der durch die Einführung innovativer generativer KI-Tools wie DALL-E 2, Meta Make-A-Video und Stable Diffusion getrieben wurde. Im Jahr 2023 haben wir bereits ein bahnbrechendes Modell in Form von GPT-4 gesehen.

Abgesehen von der Bild- und Textgenerierung hilft generative KI Entwicklern auch beim Schreiben von Code. Programme wie GitHub Copilot können dabei helfen, eine Codieraufgabe in halber Zeit zu erledigen.

Zeit für die Erledigung von Codieraufgaben – ARK Invest Big Ideas 2023

3. Bessere Nutzung von Trainingsdaten

Die gesunkenen KI-Trainingskosten werden voraussichtlich zu einer besseren Nutzung von Machine-Learning-Trainingsdaten führen. So prognostiziert der ARK Invest-Bericht 2023, dass bis 2030 die Kosten für das Training eines Modells mit 57-mal mehr Parametern und 720-mal mehr Token als GPT-3 (175 Milliarden Parameter) von 17 Milliarden US-Dollar auf 600.000 US-Dollar sinken werden.

Die Verfügbarkeit und Qualität der Daten werden in dieser Welt mit geringen Rechenkosten der primäre limitierende Faktor für die Entwicklung von fortschrittlichen Machine-Learning-Modellen sein. Allerdings würden die Trainingsmodelle die Fähigkeit entwickeln, geschätzte 162 Billionen Wörter oder 216 Billionen Token zu verarbeiten.

Die Zukunft von KI sieht sehr vielversprechend aus. Um mehr über die neuesten Trends und Forschungsergebnisse im Bereich der künstlichen Intelligenz zu erfahren, besuchen Sie Unite.ai.