Warum Microsofts Orca-2-KI-Modell einen bedeutenden Schritt in Richtung nachhaltige KI darstellt?

Trotz der bemerkenswerten Fortschritte, die die künstliche Intelligenz im letzten Jahrzehnt gemacht hat, darunter die Niederlage von Menschen in strategischen Spielen wie Schach und Go und die Vorhersage der 3D-Struktur von Proteinen, markiert die weite Verbreitung von großen Sprachmodellen (LLMs) einen Paradigmenwechsel. Diese Modelle, die darauf abzielen, die menschliche Computernutzung zu revolutionieren, sind in verschiedenen Branchen unverzichtbar geworden, darunter Bildung, Kundenservice, Informationsabruf, Softwareentwicklung, Medien und Gesundheitswesen. Während diese technologischen Fortschritte wissenschaftliche Durchbrüche ermöglichen und industrielles Wachstum fördern, gibt es einen bemerkenswerten Nachteil für den Planeten.

Der Prozess des Trainings und Einsatzes von LLMs verbraucht eine enorme Menge an Energie, was zu einem erheblichen Umweltauswirkungen führt, gekennzeichnet durch eine erhöhte Kohlenstoffbilanz und Treibhausgasemissionen. Eine kürzliche Studie des College of Information and Computer Sciences an der University of Massachusetts Amherst ergab, dass das Training von LLMs über 626.000 Pfund Kohlendioxid emittieren kann, was in etwa den Lebenszeitemissionen von fünf Autos entspricht. Hugging Face, ein KI-Startup, fand heraus, dass das Training von BLOOM, einem großen Sprachmodell, das zu Beginn des Jahres gestartet wurde, zu 25 Tonnen Kohlendioxidemissionen führte. Ähnlich verhält es sich mit Facebooks KI-Modell Meena, das eine Kohlenstoffbilanz aufweist, die der Umweltauswirkung von über 240.000 Meilen Autofahrt während seines Trainingsprozesses entspricht.

Trotz des Trainings von LLMs trägt die Nachfrage nach Cloud-Computing, die für LLMs von entscheidender Bedeutung ist, nun mehr zu den Emissionen bei als die gesamte Luftfahrtindustrie. Ein einzelnes Rechenzentrum kann so viel Energie verbrauchen wie 50.000 Haushalte. Eine weitere Studie hebt hervor, dass das Training eines einzelnen großen Sprachmodells so viel CO2 freisetzen kann wie fünf Autos, die während ihrer gesamten Lebenszeit Energie verbrauchen. Prognosen deuten darauf hin, dass die KI-Emissionen bis 2025 um 300 % ansteigen werden, was die Dringlichkeit unterstreicht, den Fortschritt der KI mit der Umweltverantwortung in Einklang zu bringen und Initiativen zu fördern, um die KI umweltfreundlicher zu machen. Um die negativen Umweltauswirkungen der KI-Fortschritte zu bekämpfen, gewinnt die nachhaltige KI als ein wichtiger Forschungsbereich an Bedeutung.

Nachhaltige KI

Nachhaltige KI stellt einen Paradigmenwechsel in der Entwicklung und dem Einsatz von künstlichen Intelligenzsystemen dar, mit dem Ziel, die Umweltauswirkungen zu minimieren, ethische Überlegungen zu berücksichtigen und langfristige gesellschaftliche Vorteile zu fördern. Der Ansatz zielt darauf ab, intelligente Systeme zu schaffen, die energieeffizient, umweltfreundlich und mit menschlichen Werten vereinbar sind. Nachhaltige KI konzentriert sich auf die Verwendung von sauberer Energie für Computer, intelligente Algorithmen, die weniger Leistung verbrauchen, und die Einhaltung ethischer Richtlinien, um faire und transparente Entscheidungen zu gewährleisten. Es ist wichtig zu beachten, dass es einen Unterschied zwischen KI für Nachhaltigkeit und nachhaltiger KI gibt; Erstere kann die Verwendung von KI zur Optimierung bestehender Prozesse beinhalten, ohne notwendigerweise die Umweltauswirkungen oder gesellschaftlichen Konsequenzen zu berücksichtigen, während Letztere die Prinzipien der Nachhaltigkeit in jede Phase der KI-Entwicklung integriert, von der Konzeption bis zur Implementierung, um einen positiven und langfristigen Einfluss auf den Planeten und die Gesellschaft zu erzielen.

Von LLMs zu Small Language Models (SLMs)

Im Rahmen der nachhaltigen KI arbeitet Microsoft (MSFT ) an der Entwicklung von Small Language Models (SLMs), um die Fähigkeiten von Large Language Models (LLMs) zu erreichen. In diesem Zusammenhang hat Microsoft kürzlich Orca-2 vorgestellt, das wie GPT-4 reasonieren soll. Im Gegensatz zu seinem Vorgänger Orca-1, der 13 Milliarden Parameter aufweist, enthält Orca-2 7 Milliarden Parameter und verwendet zwei wichtige Techniken.

1. Anweisungstuning: Orca-2 verbessert sich durch das Lernen aus Beispielen, wodurch die Inhaltsqualität, die Fähigkeiten zur Null-Shot-Erkennung und die Argumentationsfähigkeiten bei verschiedenen Aufgaben gesteigert werden.
2. Erklärungstuning: Durch die Erkennung der Einschränkungen des Anweisungstunings führt Orca-2 das Erklärungstuning ein. Dies beinhaltet die Erstellung detaillierter Erklärungen für Lehrmodelle, die Anreicherung von Argumentationsignalen und die Verbesserung des Gesamtbildes.

Orca-2 nutzt diese Techniken, um eine hocheffiziente Argumentation zu erreichen, die mit der von LLMs mit vielen mehr Parametern vergleichbar ist. Die Hauptidee besteht darin, das Modell in die Lage zu versetzen, die beste Methode zur Lösung eines Problems zu finden, sei es durch eine schnelle Antwort oder durch schrittweises Nachdenken. Microsoft bezeichnet dies als “vorsichtiges Argumentieren”.

Um Orca-2 zu trainieren, erstellt Microsoft eine neue Trainingsdatensammlung mithilfe von FLAN-Anmerkungen, Orca-1 und dem Orca-2-Datensatz. Sie beginnen mit einfachen Fragen, fügen einige schwierige hinzu und verwenden dann Daten von sprechenden Modellen, um es noch intelligenter zu machen.

Orca-2 wird einer gründlichen Bewertung unterzogen, die Argumentation, Textvervollständigung, Grundierung, Wahrhaftigkeit und Sicherheit abdeckt. Die Ergebnisse zeigen das Potenzial für die Verbesserung der Argumentationsfähigkeiten von SLMs durch spezielles Training auf synthetischen Daten. Trotz einiger Einschränkungen zeigen die Orca-2-Modelle vielversprechende Ergebnisse für zukünftige Verbesserungen in Argumentation, Kontrolle und Sicherheit, was die Wirksamkeit der strategischen Anwendung von synthetischen Daten bei der Verfeinerung des Modells nach dem Training unterstreicht.

Bedeutung von Orca-2 für die nachhaltige KI

Orca-2 stellt einen bedeutenden Schritt in Richtung nachhaltiger KI dar, indem es die vorherrschende Meinung in Frage stellt, dass nur größere Modelle, die einen erheblichen Energieverbrauch aufweisen, die KI-Fähigkeiten wirklich vorantreiben können. Dieses kleine Sprachmodell bietet eine alternative Perspektive, die nahelegt, dass die Erreichung von Exzellenz in Sprachmodellen nicht unbedingt die Notwendigkeit von enormen Datensätzen und umfangreicher Rechenleistung erfordert. Stattdessen unterstreicht es die Bedeutung von intelligentem Design und effektiver Integration.

Dieser Durchbruch eröffnet neue Möglichkeiten, indem er eine Verschiebung des Fokus von der bloßen Vergrößerung der KI hin zur Konzentration auf die Art und Weise betont, wie wir sie entwerfen. Dies markiert einen entscheidenden Schritt auf dem Weg zu einer breiteren Verfügbarkeit von fortschrittlicher KI, die sicherstellt, dass Innovationen inklusiv sind und eine breitere Palette von Menschen und Organisationen erreichen.

Orca-2 hat das Potenzial, die Entwicklung von zukünftigen Sprachmodellen erheblich zu beeinflussen. Ob es sich um die Verbesserung von Aufgaben im Zusammenhang mit der natürlichen Sprachverarbeitung oder die Ermöglichung von komplexeren KI-Anwendungen in verschiedenen Branchen handelt, sind diese kleineren Modelle darauf vorbereitet, wesentliche positive Veränderungen herbeizuführen. Darüber hinaus dienen sie als Pioniere bei der Förderung nachhaltigerer KI-Praktiken, die den technologischen Fortschritt mit einem Engagement für Umweltverantwortung in Einklang bringen.

Fazit:

Microsofts Orca-2 stellt einen bahnbrechenden Schritt in Richtung nachhaltiger KI dar, indem es die Meinung in Frage stellt, dass nur große Modelle die KI vorantreiben können. Durch die Priorisierung von intelligentem Design gegenüber Größe eröffnet Orca-2 neue Möglichkeiten und bietet einen inklusiveren und umweltfreundlicheren Ansatz für die Entwicklung von fortschrittlicher KI. Diese Verschiebung markiert einen bedeutenden Schritt in Richtung eines neuen Paradigmas im Design intelligenter Systeme.