DeepMind stellt JEST-Algorithmus vor: Machen Sie die Ausbildung von KI-Modellen schneller, günstiger und umweltfreundlicher

Die generative KI macht enorme Fortschritte und verändert Bereiche wie Medizin, Bildung, Finanzen, Kunst, Sport usw. Diese Fortschritte resultieren hauptsächlich aus der verbesserten Fähigkeit der KI, aus größeren Datensätzen zu lernen und komplexere Modelle mit Milliarden von Parametern zu erstellen. Obwohl diese Fortschritte bedeutende wissenschaftliche Entdeckungen ermöglichten, neue Geschäftschancen schufen und zu industriellem Wachstum führten, haben sie auch einen hohen Preis, insbesondere wenn man die finanziellen und umweltbedingten Auswirkungen der Ausbildung dieser groß angelegten Modelle betrachtet. Die Lernalgorithmen benötigen erhebliche Rechenleistung, um generative KI-Modelle mit großen Datensätzen auszubilden, was zu hohem Energieverbrauch und einem bemerkenswerten CO2-Fußabdruck führt.

Während frühere Bemühungen, die generative KI nachhaltig zu machen, sich auf die Verbesserung der Hardware-Effizienz für die KI-Ausbildung und die Entwicklung kleinerer Modelle mit weniger Parametern konzentrierten, hat Google DeepMind einen innovativen Ansatz verfolgt, um die Effizienz des generativen KI-Trainingsalgorithmus zu verbessern. Sie haben einen neuen Algorithmus entwickelt, JEST (Joint Example Selection), der 13-mal schneller und zehnmal energiesparender ist als aktuelle Techniken.

In diesem Artikel erkunden wir die Herausforderungen der KI-Ausbildung und wie JEST diese Probleme angeht. Darüber hinaus betrachten wir die weiteren Auswirkungen und Forschungsrichtungen für den JEST-Algorithmus und seine möglichen Auswirkungen auf die Verbesserung der Modellleistung, die Reduzierung von Voreingenommenheit, die Förderung von Innovation und die Förderung inklusiver KI-Entwicklung.

Herausforderungen der KI-Ausbildung: Hohe Kosten und Umweltauswirkungen

Die Ausbildung von generativen KI-Modellen stellt erhebliche Herausforderungen dar, insbesondere aufgrund der hohen Kosten und des erheblichen Umweltbedürfnisses.

• Finanzielle Kosten: Die Ausbildung von generativen KI-Modellen ist ein teures Unterfangen. Neuere Schätzungen deuten darauf hin, dass die Ausbildung eines einzelnen großen Modells, wie OpenAIs GPT-3 mit 175 Milliarden Parametern, etwa 4,6 Millionen Dollar kosten kann. Die Ausbildung von ChatGPT-4 wird auf etwa 100 Millionen Dollar geschätzt. Diese Ausgaben sind größtenteils auf die enormen Rechenressourcen, die umfangreiche Datenverarbeitung und die langen Ausbildungszeiten zurückzuführen.
• Energieverbrauch: Die Ausbildung von generativen KI-Modellen ist extrem energieintensiv. Die Ausbildung dieser Modelle erfordert Tausende von GPUs und verbraucht mehrere Gigawattstunden Energie, was den Prozess extrem energieintensiv macht. Rechenzentren, in denen die Recheninfrastruktur für die KI-Ausbildung untergebracht ist, verbrauchen etwa 200 Terawattstunden (TWh) Strom pro Jahr, was etwa 1% des globalen Strombedarfs entspricht. Ein Bericht von McKinsey geht davon aus, dass der Stromverbrauch von Rechenzentren in den USA von 17 Gigawatt (GW) im Jahr 2017 auf 35 GW bis 2030 ansteigen könnte, was den Bau von neun Hoover-Dämmen erfordern würde, um den zusätzlichen Bedarf zu decken.
• CO2-Fußabdruck: Der hohe Energieverbrauch der Ausbildung von generativen KI-Modellen trägt erheblich zu den Treibhausgasemissionen bei und verschärft den Klimawandel. Eine Studie der University of Massachusetts Amherst fand heraus, dass die Ausbildung eines großen KI-Modells so viel Kohlendioxid emittieren kann wie fünf Autos über ihre gesamte Lebensdauer. Insbesondere kann die Ausbildung eines einzelnen KI-Modells mehr als 626.000 Pfund CO2 emittieren, was dem CO2-Fußabdruck von 315 transamerikanischen Flügen entspricht.

Diese Herausforderungen resultieren hauptsächlich aus zwei Hauptquellen: der Abhängigkeit von energieintensiven Rechenhardware und der Ineffizienz der aktuellen Trainingsalgorithmen. Während die KI-Gemeinschaft Fortschritte bei der Entwicklung energiesparender Hardware gemacht hat, muss mehr Wert auf die Schaffung intelligenterer Algorithmen gelegt werden, die den Datenverbrauch optimieren und die Ausbildungszeiten reduzieren können. Google’s kürzlich vorgestellter JEST-Algorithmus ist ein Pionier in der Forschung, um die Trainingsalgorithmen intelligenter zu machen. Durch die intelligente Auswahl der relevanten Daten verbessert JEST die Effizienz der KI-Ausbildung erheblich und ebnet den Weg für eine nachhaltigere und kostengünstigere Ausbildung von generativen KI-Modellen.

Verständnis des JEST-Algorithmus

JEST ist ein Lernalgorithmus, der für die effizientere Ausbildung von multimodalen generativen KI-Modellen entwickelt wurde. Um zu verstehen, wie JEST funktioniert, kann man die KI-Ausbildung als das Lösen eines komplexen Puzzles betrachten, bei dem jedes Teil (Datenpunkt) dazu beiträgt, das vollständige Bild (KI-Modell) zu erstellen. JEST agiert wie ein erfahrener Puzzlespieler, der den Prozess effizienter macht. Genau wie ein Puzzlespieler die wichtigsten und einzigartigen Teile auswählt, identifiziert und selektiert JEST die wertvollsten Datenbatches aus dem Datensatz, um sicherzustellen, dass jeder Batch eine entscheidende Rolle bei der KI-Entwicklung spielt.

JEST verwendet ein kleineres KI-Modell, um die Qualität der Datenbatches zu bewerten. Diese Batches werden dann basierend auf ihrer Effektivität bei der Modellausbildung bewertet. Mit diesen sorgfältig ausgewählten Batches assembliert JEST sie strategisch, um das Modell auszubilden. Ähnlich wie ein Puzzlespieler die Puzzleteile anordnet, um Effizienz und Kohärenz zu maximieren, beschleunigt JEST den Ausbildungsprozess erheblich, indem es die informativsten Batches priorisiert und auswählt.

Ein wichtiger Teil von JESTs Ansatz ist das multimodale kontrastive Lernen. Diese Technik konzentriert sich auf das Lernen der Korrespondenz zwischen verschiedenen Datentypen, wie Text und Bildern. JEST verwendet eine multimodale kontrastive Lernmethode, um die Effektivität einer multimodalen Datenprobe bei der Modellausbildung zu bewerten. Neben der Effektivität einzelner Datenproben bewertet JEST auch die kollektive Lernfähigkeit von Datenproben, um eine kleine Batch von Daten aus einer größeren “Super-Batch” auszuwählen. Dieser Prozess hilft JEST, Batches auszuwählen und zu priorisieren, die Herausforderungen und reiche Lernmöglichkeiten bieten.

Blick in die Zukunft: JEST jenseits von schneller, günstiger und umweltfreundlicher KI-Ausbildung

Wenn wir die zukünftigen Auswirkungen von JEST (Joint Example Selection) erkunden, wird deutlich, dass seine Beiträge über die bloße Beschleunigung der KI-Ausbildung, die Reduzierung der Kosten und die Förderung der Umweltfreundlichkeit hinausgehen. Hier gehen wir auf die Möglichkeiten ein, wie JEST die KI-Entwicklung weiter verbessern und transformieren kann:

• Verbesserte Modellleistung und Genauigkeit: JESTs innovativer Ansatz zur Datenauswahl und -priorisierung führt zu schnelleren Ausbildungszeiten und verbesserter Modellleistung. Durch die Konzentration auf die informativsten Datenbatches stellt JEST sicher, dass die KI-Modelle mit hochwertigen Eingaben ausgebildet werden, was ihre Genauigkeit und Robustheit verbessert. Dieser Vorteil ist in Anwendungen, in denen Präzision und Zuverlässigkeit von entscheidender Bedeutung sind, wie medizinische Diagnose, Finanzprognose und autonome Systeme, von entscheidender Bedeutung.
• Identifizierung und Minderung von Voreingenommenheit in Daten: KI-Systeme neigen zu voreingenommenen Datensätzen, in denen bestimmte Gruppen oder Perspektiven unterrepräsentiert oder falsch dargestellt sind. JESTs Ansatz zur Datenauswahl beinhaltet die Bewertung der Qualität und Informativität von Datenbatches. Durch die Priorisierung von vielfältigen und repräsentativen Datenproben kann JEST dazu beitragen, dass KI-Systeme aus einem ausgewogeneren Datensatz lernen, was die Voreingenommenheit in den Trainingsdaten reduziert. Beispielsweise kann JEST in KI-Anwendungen im Gesundheitswesen Datenbatches auswählen, die verschiedene demografische Faktoren umfassen, um sicherzustellen, dass medizinische Diagnosemodelle auf einer vielfältigen Patientenpopulation ausgebildet werden. Diese Auswahl reduziert das Risiko von Voreingenommenheit, die bestimmte Gruppen aufgrund von Rasse, Geschlecht oder sozioökonomischem Status unverhältnismäßig beeinträchtigen könnte.
• Förderung von Innovation und Forschung: Durch die erhebliche Reduzierung der Rechenressourcen und der Zeit, die für die KI-Modellausbildung benötigt werden, senkt JEST die Einstiegshürden für Forscher und Innovatoren. Diese Zugänglichkeit fördert ein lebendigeres Ökosystem der KI-Entwicklung, in dem kleinere Teams und Organisationen experimentieren und fortschrittliche KI-Lösungen einsetzen können. Darüber hinaus ermöglichen die Effizienzgewinne, die JEST bietet, die Umverteilung von Ressourcen, die für die Erforschung neuer Grenzen in der KI, wie neuartige Architekturen, fortschrittliche Algorithmen und ethische KI-Rahmen, eingesetzt werden können.
• Förderung inklusiver KI-Entwicklung: Die KI-Entwicklung sollte diverse Perspektiven und Eingaben umfassen, um Voreingenommenheit und ethische Bedenken effektiv zu mindern. JESTs Fähigkeit, Daten basierend auf ihrem informativen Wert und ihrer Repräsentativität auszuwählen, fördert inklusive Praktiken bei der Datenauswahl. KI-Entwickler können sicherstellen, dass JEST Voreingenommenheit und ethische Bedenken effektiv angeht, indem sie multidisziplinäre Teams bei der Definition von Datenauswahlkriterien einbeziehen, einschließlich Experten aus den Bereichen Ethik, Sozialwissenschaften und fachspezifischen Feldern. Dieser kooperative Ansatz fördert eine inklusivere und verantwortungsvollere Entwicklung von KI-Technologien.

Das Fazit

Die Einführung des JEST-Algorithmus durch DeepMind stellt einen bedeutenden Schritt in der KI-Entwicklung dar. Durch die erhebliche Beschleunigung der Ausbildungsprozesse und die Reduzierung des Energieverbrauchs bietet JEST erhebliche Kosteneinsparungen und geht auf Umweltbedenken im Zusammenhang mit der KI-Entwicklung ein. Darüber hinaus hat JEST das Potenzial, die Modellgenauigkeit zu verbessern, Voreingenommenheit in den Daten zu reduzieren, Innovation zu fördern und eine inklusivere KI-Entwicklung zu unterstützen. Die laufende Verbesserung und Anwendung von JEST sind darauf ausgerichtet, die Zukunft der KI neu zu definieren und fortschrittlichere, nachhaltigere und ethisch verantwortungsvollere KI-Lösungen zu entwickeln.