Die pocketgroße Powerhouse: Vorstellung von Microsofts Phi-3, dem Sprachmodell, das in Ihr Telefon passt

Im rasch sich entwickelnden Bereich der künstlichen Intelligenz hat sich der Trend oft auf größere und komplexere Modelle konzentriert, während Microsoft (MSFT ) mit seinem Phi-3 Mini einen anderen Ansatz verfolgt. Dieses kleine Sprachmodell (SLM), jetzt in seiner dritten Generation, packt die robusten Fähigkeiten größerer Modelle in ein Framework, das innerhalb der strengen Ressourcenbeschränkungen von Smartphones passt. Mit 3,8 Milliarden Parametern entspricht das Phi-3 Mini die Leistung von großen Sprachmodellen (LLMs) bei verschiedenen Aufgaben, einschließlich Sprachverarbeitung, Argumentation, Codierung und Mathematik, und ist für eine effiziente Ausführung auf mobilen Geräten durch Quantisierung ausgelegt.

Herausforderungen großer Sprachmodelle

Die Entwicklung von Microsofts Phi-SLMs ist eine Reaktion auf die erheblichen Herausforderungen, die von LLMs aufgeworfen werden, die mehr Rechenleistung erfordern, als auf Consumer-Geräten typischerweise verfügbar ist. Diese hohe Nachfrage erschwert ihre Verwendung auf Standard-Computern und mobilen Geräten, wirft Umweltbedenken aufgrund ihres Energieverbrauchs während des Trainings und der Ausführung auf und riskiert, Vorurteile mit ihren großen und komplexen Trainingsdatensätzen zu perpetuieren. Diese Faktoren können auch die Reaktionsfähigkeit der Modelle in Echtzeit-Anwendungen beeinträchtigen und Updates erschweren.

Phi-3 Mini: Streamlining von KI auf persönlichen Geräten für verbesserte Privatsphäre und Effizienz

Das Phi-3 Mini ist strategisch konzipiert, um eine kostengünstige und effiziente Alternative für die Integration von fortschrittlicher KI direkt auf persönlichen Geräten wie Telefonen und Laptops anzubieten. Dieses Design ermöglicht schnellere, unmittelbarere Antworten, verbessert die Benutzerinteraktion mit Technologie in alltäglichen Szenarien.

Das Phi-3 Mini ermöglicht es, fortschrittliche KI-Funktionen direkt auf mobilen Geräten zu verarbeiten, was die Abhängigkeit von Cloud-Diensten reduziert und die Echtzeit-Datenverarbeitung verbessert. Diese Fähigkeit ist von entscheidender Bedeutung für Anwendungen, die eine unmittelbare Datenverarbeitung erfordern, wie z. B. mobile Gesundheitsversorgung, Echtzeit-Sprachübersetzung und personalisierte Bildung, und ermöglicht Fortschritte in diesen Bereichen. Die Kosteneffizienz des Modells reduziert nicht nur die Betriebskosten, sondern erweitert auch das Potenzial für die Integration von KI in verschiedenen Branchen, einschließlich aufstrebender Märkte wie Wearable-Technologie und Hausautomation. Das Phi-3 Mini ermöglicht die Datenverarbeitung direkt auf lokalen Geräten, was die Benutzerprivatsphäre verbessert. Dies kann für die Verwaltung sensibler Informationen in Bereichen wie persönlicher Gesundheit und Finanzdienstleistungen von entscheidender Bedeutung sein. Darüber hinaus tragen die geringen Energieanforderungen des Modells zu umweltfreundlichen KI-Betrieben bei und stimmen mit globalen Nachhaltigkeitsbemühungen überein.

Design-Philosophie und Evolution von Phi

Die Design-Philosophie von Phi basiert auf dem Konzept des Curriculum-Lernens, das sich von dem pädagogischen Ansatz inspirieren lässt, bei dem Kinder durch zunehmend schwierigere Beispiele lernen. Die Hauptidee besteht darin, das Training von KI mit einfacheren Beispielen zu beginnen und allmählich die Komplexität der Trainingsdaten zu erhöhen, während der Lernprozess fortschreitet. Microsoft hat diese pädagogische Strategie umgesetzt, indem es einen Datensatz aus Lehrbüchern erstellt hat, wie in ihrer Studie “Lehrbücher sind alles, was Sie benötigen” beschrieben. Die Phi-Serie wurde im Juni 2023 mit Phi-1 gestartet, einem kompakten Modell mit 1,3 Milliarden Parametern. Dieses Modell hat sich schnell als effektiv erwiesen, insbesondere bei Python-Codierungsaufgaben, bei denen es größere, komplexere Modelle übertraf. Aufbauend auf diesem Erfolg entwickelte Microsoft später Phi-1.5, das die gleiche Anzahl von Parametern beibehielt, aber seine Fähigkeiten in Bereichen wie allgemeinem Verständnis und Sprachverständnis erweiterte. Die Serie übertraf mit der Veröffentlichung von Phi-2 im Dezember 2023. Mit 2,7 Milliarden Parametern zeigte Phi-2 beeindruckende Fähigkeiten in Argumentation und Sprachverständnis und positionierte sich als starker Wettbewerber gegenüber wesentlich größeren Modellen.

Phi-3 im Vergleich zu anderen kleinen Sprachmodellen

Das Phi-3 Mini erweitert die Fortschritte von Phi-2, indem es andere SLMs wie Google’s Gemma, Mistrals Mistral, Meta’s Llama3-Instruct und GPT 3.5 in verschiedenen industriellen Anwendungen übertrifft. Diese Anwendungen umfassen Sprachverständnis und Inferenz, allgemeines Wissen, allgemeines Verständnis, Rechenprobleme in der Grundschule und medizinische Fragebeantwortung, wobei es eine überlegene Leistung im Vergleich zu diesen Modellen zeigt. Das Phi-3 Mini wurde auch offline auf einem iPhone 14 für verschiedene Aufgaben getestet, einschließlich Inhaltserschaffung und der Bereitstellung von Aktivitätssuggestions, die auf bestimmte Orte zugeschnitten sind. Zu diesem Zweck wurde das Phi-3 Mini auf 1,8 GB verkleinert, indem ein Prozess namens Quantisierung verwendet wurde, der das Modell für Geräte mit begrenzten Ressourcen optimiert, indem die numerischen Daten des Modells von 32-Bit-Gleitkommazahlen in kompaktere Formate wie 4-Bit-Ganzzahlen umgewandelt werden. Dies reduziert nicht nur den Speicherbedarf des Modells, sondern verbessert auch die Verarbeitungsgeschwindigkeit und die Energieeffizienz, was für mobile Geräte von entscheidender Bedeutung ist. Entwickler verwenden in der Regel Frameworks wie TensorFlow Lite oder PyTorch Mobile, die integrierte Quantisierungstools enthalten, um diesen Prozess zu automatisieren und zu verfeinern.

Vergleich der Funktionen: Phi-3 Mini vs. Phi-2 Mini

Im Folgenden vergleichen wir einige Funktionen von Phi-3 mit seinem Vorgänger Phi-2.

• Modellarchitektur: Phi-2 basiert auf einer Transformer-basierten Architektur, die darauf ausgelegt ist, das nächste Wort vorherzusagen. Das Phi-3 Mini verwendet auch eine Transformer-Decoder-Architektur, die jedoch enger mit der Llama-2-Modellstruktur übereinstimmt, wobei der gleiche Tokenizer mit einer Vokabulargröße von 320.641 verwendet wird. Diese Kompatibilität stellt sicher, dass Tools, die für Llama-2 entwickelt wurden, leicht für die Verwendung mit Phi-3 Mini angepasst werden können.
• Kontextlänge: Das Phi-3 Mini unterstützt eine Kontextlänge von 8.000 Token, was erheblich größer ist als die 2.048 Token von Phi-2. Diese Erhöhung ermöglicht es dem Phi-3 Mini, detailliertere Interaktionen zu verwalten und längere Textpassagen zu verarbeiten.
• Lokales Ausführen auf mobilen Geräten: Das Phi-3 Mini kann auf 4 Bit komprimiert werden und benötigt etwa 1,8 GB Speicher, ähnlich wie Phi-2. Es wurde offline auf einem iPhone 14 mit einem A16-Bionic-Chip getestet, wo es eine Verarbeitungsgeschwindigkeit von mehr als 12 Token pro Sekunde erreichte, was der Leistung von Phi-2 unter ähnlichen Bedingungen entspricht.
• Modellgröße: Mit 3,8 Milliarden Parametern hat das Phi-3 Mini eine größere Skala als Phi-2, das 2,7 Milliarden Parameter hat. Dies spiegelt seine erhöhten Fähigkeiten wider.
• Trainingsdaten: Im Gegensatz zu Phi-2, das auf 1,4 Billionen Token trainiert wurde, wurde das Phi-3 Mini auf einem viel größeren Satz von 3,3 Billionen Token trainiert, was es ermöglicht, komplexe Sprachmuster besser zu erfassen.

Bewältigung der Einschränkungen von Phi-3 Mini

Während das Phi-3 Mini erhebliche Fortschritte im Bereich der kleinen Sprachmodelle zeigt, ist es nicht ohne Einschränkungen. Eine primäre Einschränkung des Phi-3 Mini, wenn man seine Größe im Vergleich zu großen Sprachmodellen betrachtet, ist seine begrenzte Fähigkeit, umfangreiche faktische Kenntnisse zu speichern. Dies kann seine Fähigkeit beeinträchtigen, unabhängig Anfragen zu bearbeiten, die eine Tiefe spezifischer faktischer Daten oder detaillierter Fachkenntnisse erfordern. Dies kann jedoch durch die Integration von Phi-3 Mini mit einer Suchmaschine gemildert werden. Auf diese Weise kann das Modell auf eine breitere Palette von Informationen in Echtzeit zugreifen und effektiv seine inhärenten Wissensbeschränkungen ausgleichen. Diese Integration ermöglicht es dem Phi-3 Mini, wie ein hoch kompetenter Konversationalist zu funktionieren, der, obwohl er einen umfassenden Griff auf Sprache und Kontext hat, gelegentlich “nachschauen” muss, um genaue und aktuelle Antworten zu liefern.

Verfügbarkeit

Phi-3 ist jetzt auf mehreren Plattformen verfügbar, einschließlich Microsoft Azure AI Studio, Hugging Face und Ollama. Auf Azure AI umfasst das Modell einen Deploy-Evaluate-Finetune-Workflow, und auf Ollama kann es lokal auf Laptops ausgeführt werden. Das Modell wurde für ONNX Runtime angepasst und unterstützt Windows DirectML, was sicherstellt, dass es auf verschiedenen Hardwaretypen wie GPUs, CPUs und mobilen Geräten gut funktioniert. Darüber hinaus wird Phi-3 als Microservice über NVIDIA NIM (NVDA ) angeboten, das mit einer Standard-API für eine einfache Bereitstellung in verschiedenen Umgebungen ausgestattet ist und speziell für NVIDIA-GPUs optimiert ist. Microsoft plant, die Phi-3-Serie in naher Zukunft durch die Hinzufügung von Phi-3-small (7B) und Phi-3-medium (14B) zu erweitern, wodurch den Benutzern weitere Optionen zur Verfügung stehen, um Qualität und Kosten auszugleichen.

Fazit

Microsofts Phi-3 Mini macht erhebliche Fortschritte im Bereich der künstlichen Intelligenz, indem es die Leistung großer Sprachmodelle für den mobilen Einsatz anpasst. Dieses Modell verbessert die Benutzerinteraktion mit Geräten durch schnellere, echtzeitige Verarbeitung und verbesserte Privatsphärefunktionen. Es reduziert die Notwendigkeit von cloudbasierten Diensten, senkt die Betriebskosten und erweitert den Anwendungsbereich von KI in Bereichen wie Gesundheitsversorgung und Hausautomation. Durch die Konzentration auf die Reduzierung von Vorurteilen durch Curriculum-Lernen und die Aufrechterhaltung der Wettbewerbsfähigkeit entwickelt sich das Phi-3 Mini zu einem wichtigen Werkzeug für effiziente und nachhaltige mobile KI, das allmählich die Art und Weise verändert, wie wir mit Technologie interagieren.