Die Kosten für die KI-Ausbildung sinken weiter

Hohe KI-Schulungskosten stellten ein erhebliches Hindernis für die Einführung von KI dar und hinderten viele Unternehmen daran, KI-Technologie zu implementieren. Laut a Forrester Consulting-Bericht 201748 % der Unternehmen nannten hohe Technologiekosten als einen der Hauptgründe dafür, keine KI-gesteuerten Lösungen zu implementieren.

Jüngste Entwicklungen haben jedoch gezeigt, dass die Kosten für die KI-Schulung rapide sinken und dieser Trend voraussichtlich auch in Zukunft anhalten wird. Entsprechend der Bericht ARK Invest Big Ideas 2023, sind die Schulungskosten eines großen Sprachmodells, das der Leistung auf GPT-3-Niveau ähnelt, von 4.6 Millionen US-Dollar im Jahr 2020 auf 450,000 US-Dollar im Jahr 2022 gesunken, was einem Rückgang von 70 % pro Jahr entspricht.

Lassen Sie uns diesen Trend sinkender KI-Schulungskosten weiter untersuchen und die Faktoren diskutieren, die zu diesem Rückgang beitragen.

Wie haben sich die Kosten für die KI-Schulung im Laufe der Zeit verändert?

Nach den jüngsten ARK Invest 2020-ForschungDie Kosten für das Training von Deep-Learning-Modellen verbessern sich 50-mal schneller als das Mooresche Gesetz. Tatsächlich haben sich die Kosten für den Betrieb eines KI-Inferenzsystems für zahlreiche Anwendungsfälle drastisch auf ein nahezu vernachlässigbares Niveau reduziert.

Darüber hinaus sind die Schulungskosten in den letzten Jahren jährlich um das Zehnfache gesunken. Beispielsweise kostete das Training eines Bildklassifizierers wie ResNet-2017 in einer öffentlichen Cloud im Jahr 50 etwa 1,000 US-Dollar, doch bis 2019 waren die Kosten deutlich auf etwa 10 US-Dollar gesunken.

Diese Befunde stimmen mit a überein Bericht 2020 von OpenAIDabei wurde festgestellt, dass die Menge an Rechenleistung, die erforderlich ist, um ein KI-Modell für die Ausführung derselben Aufgabe zu trainieren, seit 16 alle 2012 Monate um den Faktor zwei gesunken ist.

Darüber hinaus ARK-Bericht unterstreicht die sinkenden Kosten für die KI-Schulung. Der Bericht prognostiziert, dass die Schulungskosten für ein GPT-2030-Level-Modell bis 3 auf 30 US-Dollar sinken werden, verglichen mit 450,000 US-Dollar im Jahr 2022.

Kosten für das Training der Leistung auf GPT-3-Niveau – ARK Invest Big Ideas 2023

Faktoren, die zu sinkenden KI-Schulungskosten beitragen

Das Training von KI-Modellen wird mit der fortschreitenden Verbesserung der KI-Technologien kostengünstiger und einfacher, wodurch sie für ein breiteres Spektrum von Unternehmen zugänglicher werden. Mehrere Faktoren, darunter Hardware- und Softwarekosten sowie cloudbasierte KI, haben zu sinkenden KI-Schulungskosten beigetragen.

Lassen Sie uns diese Faktoren im Folgenden untersuchen.

1. Hardware

KI erfordert spezielle, teure High-End-Hardware, um große Datenmengen und Berechnungen zu verarbeiten. Organisationen wie NVIDIA, IBM und Google bieten GPUs und TPU zur Ausführung von High-Performance-Computing (HPC)-Workloads. Hohe Hardwarekosten erschweren eine großflächige Demokratisierung von KI.

Mit fortschreitender Technologie sinken jedoch die Hardwarekosten. Entsprechend der ARK Invest 2023-BerichtLaut Wrights Gesetz sollten die Produktionskosten für KI-bezogene Recheneinheiten (RCUs), also die Kosten für KI-Trainingshardware, jährlich um 57 % sinken, was bis 70 zu einer Reduzierung der KI-Trainingskosten um 2030 % führen würde, wie in der folgenden Grafik dargestellt.

Kosten für KI-Trainingshardware – ARK Invest Big Ideas 2023

2. Software

Die Schulungskosten für KI-Software können gesenkt werden 47% jährlich durch erhöhte Effizienz und Skalierbarkeit. Software-Frameworks wie TensorFlow und PyTorch ermöglichen es Entwicklern, komplexe Deep-Learning-Modelle auf verteilten Systemen mit hoher Leistung zu trainieren und so Zeit und Ressourcen zu sparen.

Darüber hinaus mögen große vorab trainierte Modelle Inceptionv3 or ResNet und Transfer-Lerntechniken tragen auch dazu bei, Kosten zu senken, indem sie es Entwicklern ermöglichen, bestehende Modelle zu verfeinern, anstatt sie von Grund auf zu trainieren.

Schulungskosten für KI-Software – ARK Invest Big Ideas 2023

3. Cloudbasierte künstliche Intelligenz

Cloudbasiertes KI-Training senkt die Kosten, indem es skalierbare Computerressourcen nach Bedarf bereitstellt. Beim Pay-as-you-go-Modell zahlen Unternehmen nur für ihre Rechenressourcen. Darüber hinaus bieten Cloud-Anbieter vorgefertigte KI-Dienste an, die das KI-Training beschleunigen.

Azure Machine Learning beispielsweise ist ein Cloud-basierter Dienst für prädiktive Analysen, der eine schnelle Modellentwicklung und -implementierung ermöglicht. Er bietet flexible Rechenressourcen und Speicher. Benutzer können ihre Rechenleistung schnell auf Tausende von GPUs hochskalieren. Benutzer können über ihren Webbrowser in vorkonfigurierten KI-Umgebungen arbeiten, wodurch der Einrichtungs- und Installationsaufwand entfällt.

Die Auswirkungen sinkender KI-Schulungskosten

Die sinkenden Kosten für die KI-Schulung haben erhebliche Auswirkungen auf verschiedene Branchen und Bereiche und führen zu verbesserter Innovation und Wettbewerbsfähigkeit.

Lassen Sie uns unten einige davon besprechen.

1. Masseneinführung hochentwickelter KI-Chatbots

KI-Chatbots sind aufgrund sinkender KI-Kosten auf dem Vormarsch. Insbesondere nach der Entwicklung von OpenAIs ChatGPT und GPT-4 (Generative Pre-trained Transformer) ist die Zahl der Unternehmen, die KI-Chatbots mit ähnlichen oder besseren Fähigkeiten entwickeln möchten, spürbar gestiegen.

So verzeichnete ChatGPT beispielsweise fünf Tage nach seiner Veröffentlichung im November 2022 eine Million Nutzer. Obwohl die Kosten für den Einsatz des Modells im großen Maßstab heute bei etwa 1 US-Dollar pro Abfrage liegen, prognostiziert Wrights Gesetz, dass Chatbot-Anwendungen wie ChatGPT bis 01 in großem Maßstab und deutlich günstiger eingesetzt werden können (schätzungsweise 2030 US-Dollar für die Ausführung von einer Milliarde Abfragen) und das Potenzial haben, 650 Milliarden Suchanfragen pro Tag zu verarbeiten – das entspricht der Google-Suche.

Kosten für die Ausführung von KI-Schlussfolgerungen pro Milliarde Abfragen – ARK Invest Big Ideas 2023

2. Verstärkter Einsatz generativer KI

Die sinkenden Kosten für die KI-Ausbildung haben zu einem Anstieg der Entwicklung und Implementierung generativer KI-Technologien geführt. Im Jahr 2022 kam es zu einem deutlichen Anstieg des Einsatzes generativer KI, angetrieben durch die Einführung innovativer generativer KI-Tools wie DALL-E 2, Meta Make-A-Video und Stable Diffusion. Im Jahr 2023 haben wir mit GPT-4 bereits ein bahnbrechendes Modell erlebt.

Neben der Bild- und Textgenerierung hilft generative KI Entwicklern beim Schreiben von Code. Programme wie GitHub Copilot können dabei helfen, eine Codierungsaufgabe in der Hälfte der Zeit zu erledigen.

Zeit, Codierungsaufgaben zu erledigen – ARK Invest Big Ideas 2023

3. Bessere Nutzung von Trainingsdaten

Es wird erwartet, dass geringere KI-Trainingskosten eine bessere Nutzung der Trainingsdaten für maschinelles Lernen ermöglichen. Zum Beispiel, ARK Invest 2023-Bericht geht davon aus, dass die Kosten für das Training eines Modells mit 2030-mal mehr Parametern und 57-mal mehr Token als GPT-720 (3 Milliarden Parameter) bis 175 von 17 Milliarden US-Dollar auf 600,000 US-Dollar sinken werden.

Datenverfügbarkeit und -qualität werden in dieser kostengünstigen Computerwelt der wichtigste limitierende Faktor für die Entwicklung fortschrittlicher Modelle für maschinelles Lernen sein. Allerdings würden Trainingsmodelle die Fähigkeit entwickeln, schätzungsweise 162 Billionen Wörter oder 216 Billionen Token zu verarbeiten.

Die Zukunft der KI sieht sehr vielversprechend aus. Um mehr über die neuesten Trends und Forschungen im Bereich der künstlichen Intelligenz zu erfahren, besuchen Sie Unite.ai.