Kraftpaket im Taschenformat: Vorstellung von Phi-3 von Microsoft, dem Sprachmodell, das in Ihr Telefon passt

Während der Trend im sich schnell entwickelnden Bereich der künstlichen Intelligenz oft zu größeren und komplexeren Modellen geht, verfolgt Microsoft mit seinem Phi-3 Mini einen anderen Ansatz. Das kleines Sprachmodell (SLM), jetzt in der dritten Generation, vereint die robusten Fähigkeiten größerer Modelle in einem Rahmen, der den strengen Ressourcenbeschränkungen von Smartphones gerecht wird. Mit 3.8 Milliarden Parametern entspricht der Phi-3 Mini der Leistung von große Sprachmodelle (LLMs) für verschiedene Aufgaben, darunter Sprachverarbeitung, Argumentation, Codierung und Mathematik, und ist durch Quantisierung auf den effizienten Betrieb auf Mobilgeräten zugeschnitten.

Herausforderungen großer Sprachmodelle

Die Entwicklung der Phi-SLMs von Microsoft ist eine Reaktion auf die erheblichen Herausforderungen, die LLMs mit sich bringen. Diese benötigen mehr Rechenleistung als typischerweise auf Verbrauchergeräten verfügbar ist. Dieser hohe Bedarf erschwert den Einsatz auf Standardcomputern und Mobilgeräten, wirft aufgrund des Energieverbrauchs während Training und Betrieb Umweltbedenken auf und birgt das Risiko, dass die großen und komplexen Trainingsdatensätze Verzerrungen verewigen. Diese Faktoren können zudem die Reaktionsfähigkeit der Modelle in Echtzeitanwendungen beeinträchtigen und Aktualisierungen erschweren.

Phi-3 Mini: Optimierung der KI auf persönlichen Geräten für mehr Privatsphäre und Effizienz

Die Phi-3 Mini ist strategisch darauf ausgelegt, eine kostengünstige und effiziente Alternative für die direkte Integration fortschrittlicher KI in persönliche Geräte wie Telefone und Laptops zu bieten. Dieses Design ermöglicht schnellere und unmittelbarere Reaktionen und verbessert die Benutzerinteraktion mit der Technologie in alltäglichen Szenarien.

Phi-3 Mini ermöglicht die direkte Verarbeitung anspruchsvoller KI-Funktionen auf Mobilgeräten. Dies reduziert die Abhängigkeit von Cloud-Diensten und verbessert die Echtzeit-Datenverarbeitung. Diese Fähigkeit ist entscheidend für Anwendungen, die eine sofortige Datenverarbeitung erfordern, wie z. B. mobile Gesundheitsversorgung, Echtzeit-Sprachübersetzung und personalisierte Bildung, und ermöglicht Fortschritte in diesen Bereichen. Die Kosteneffizienz des Modells senkt nicht nur die Betriebskosten, sondern erweitert auch das Potenzial für die KI-Integration in verschiedenen Branchen, einschließlich aufstrebender Märkte wie tragbare Technologie und Heimautomatisierung. Phi-3 Mini ermöglicht die Datenverarbeitung direkt auf lokalen Geräten, was die Privatsphäre der Benutzer erhöht. Dies könnte für die Verwaltung sensibler Informationen in Bereichen wie der persönlichen Gesundheit und Finanzdienstleistungen von entscheidender Bedeutung sein. Darüber hinaus trägt der geringe Energiebedarf des Modells zu einem ökologisch nachhaltigen KI-Betrieb bei und steht im Einklang mit globalen Nachhaltigkeitsbemühungen.

Designphilosophie und Entwicklung von Phi

Phis Designphilosophie basiert auf dem Konzept von Lehrplan lernen, das von dem pädagogischen Ansatz inspiriert ist, bei dem Kinder anhand immer anspruchsvollerer Beispiele lernen. Die Hauptidee besteht darin, das Training der KI mit einfacheren Beispielen zu beginnen und die Komplexität der Trainingsdaten im Verlauf des Lernprozesses schrittweise zu erhöhen. Microsoft hat diese Bildungsstrategie umgesetzt, indem es einen Datensatz aus Lehrbüchern erstellt hat, wie in seiner Studie detailliert beschrieben wird.Lehrbücher sind alles, was Sie brauchen.“ Die Phi-Serie wurde im Juni 2023 auf den Markt gebracht, beginnend mit Phi-1, einem Kompaktmodell mit 1.3 Milliarden Parametern. Dieses Modell zeigte schnell seine Wirksamkeit, insbesondere bei Python-Codierungsaufgaben, wo es größere, komplexere Modelle übertraf. Aufbauend auf diesem Erfolg entwickelte Microsoft später Phi-1.5, das die gleiche Anzahl an Parametern beibehielt, aber seine Fähigkeiten in Bereichen wie gesundem Menschenverstand und Sprachverständnis erweiterte. Die Serie überstrahlte mit der Veröffentlichung von Phi-2 im Dezember 2023. Mit 2.7 Milliarden Parametern zeigte Phi-2 beeindruckende Fähigkeiten im Denken und Sprachverständnis und positionierte sich als starker Konkurrent gegenüber deutlich größeren Modellen.

Phi-3 im Vergleich zu anderen kleinen Sprachmodellen

Als Weiterentwicklung seiner Vorgänger erweitert der Phi-3 Mini die Fortschritte des Phi-2, indem er andere SLMs übertrifft, wie z Gemma von Google, Mistrals Mistral, Metas Llama3-Anweisung und GPT3.5, in einer Vielzahl von industriellen Anwendungen. Diese Anwendungen umfassen Sprachverständnis und Schlussfolgerungen, Allgemeinwissen, logisches Denken, Wortaufgaben in Grundschulmathematik und die Beantwortung medizinischer Fragen und zeigen im Vergleich zu diesen Modellen eine überlegene Leistung. Der Phi-3 Mini wurde auch Offline-Tests auf einem iPhone 14 für verschiedene Aufgaben unterzogen, darunter die Erstellung von Inhalten und die Bereitstellung von Aktivitätsvorschlägen, die auf bestimmte Orte zugeschnitten sind. Zu diesem Zweck wurde Phi-3 Mini mithilfe eines Prozesses namens „ Quantisierung, das das Modell für Geräte mit begrenzten Ressourcen optimiert, indem es die numerischen Daten des Modells von 32-Bit-Gleitkommazahlen in kompaktere Formate wie 4-Bit-Ganzzahlen konvertiert. Dies reduziert nicht nur den Speicherbedarf des Modells, sondern verbessert auch die Verarbeitungsgeschwindigkeit und Energieeffizienz, was für mobile Geräte von entscheidender Bedeutung ist. Entwickler verwenden typischerweise Frameworks wie TensorFlow Lite or PyTorch-Mobil, mit integrierten Quantisierungstools zur Automatisierung und Verfeinerung dieses Prozesses.

Funktionsvergleich: Phi-3 Mini vs. Phi-2 Mini

Nachfolgend vergleichen wir einige der Funktionen von Phi-3 mit seinem Vorgänger Phi-2.

• Modellarchitektur: Phi-2 basiert auf einer transformatorbasierten Architektur, die darauf ausgelegt ist, das nächste Wort vorherzusagen. Phi-3 Mini verwendet ebenfalls eine Transformator-Decoder-Architektur, orientiert sich jedoch stärker an der Struktur des Llama-2-Modells und verwendet denselben Tokenizer mit einer Vokabulargröße von 320,641. Diese Kompatibilität stellt sicher, dass für Llama-2 entwickelte Tools problemlos für die Verwendung mit Phi-3 Mini angepasst werden können.
• Kontextlänge: Phi-3 Mini unterstützt eine Kontextlänge von 8,000 Token, was deutlich größer ist als die 2 Token von Phi-2,048. Diese Steigerung ermöglicht es Phi-3 Mini, detailliertere Interaktionen zu verwalten und längere Textabschnitte zu verarbeiten.
• Läuft lokal auf Mobilgeräten: Phi-3 Mini kann auf 4 Bit komprimiert werden und belegt etwa 1.8 GB Speicher, ähnlich wie Phi-2. Es wurde offline auf einem iPhone 14 mit einem A16 Bionic-Chip getestet und erreichte dort eine Verarbeitungsgeschwindigkeit von mehr als 12 Token pro Sekunde, was der Leistung von Phi-2 unter ähnlichen Bedingungen entspricht.
• Modellgröße: Mit 3.8 Milliarden Parametern hat Phi-3 Mini einen größeren Maßstab als Phi-2 mit 2.7 Milliarden Parametern. Dies spiegelt seine gesteigerten Fähigkeiten wider.
• Trainingsdaten: Im Gegensatz zu Phi-2, das auf 1.4 Billionen Token trainiert wurde, wurde Phi-3 Mini auf einem viel größeren Satz von 3.3 Billionen Token trainiert, was ihm ein besseres Verständnis komplexer Sprachmuster ermöglicht.

Behebung der Einschränkungen von Phi-3 Mini

Während der Phi-3 Mini erhebliche Fortschritte im Bereich der kleinen Sprachmodelle zeigt, ist er nicht ohne Einschränkungen. Eine Haupteinschränkung des Phi-3 Mini aufgrund seiner geringeren Größe im Vergleich zu großen Sprachmodellen ist seine begrenzte Kapazität, umfangreiches Sachwissen zu speichern. Dies kann Auswirkungen auf die Fähigkeit haben, selbstständig Anfragen zu bearbeiten, die umfassende spezifische Sachdaten oder detailliertes Expertenwissen erfordern. Dies kann jedoch durch die Integration von Phi-3 Mini in eine Suchmaschine gemildert werden. Auf diese Weise kann das Modell in Echtzeit auf ein breiteres Spektrum an Informationen zugreifen und so seine inhärenten Wissensbeschränkungen effektiv ausgleichen. Diese Integration ermöglicht es dem Phi-3 Mini, wie ein äußerst fähiger Gesprächspartner zu funktionieren, der trotz umfassender Sprach- und Kontextkenntnisse gelegentlich Informationen „nachschlagen“ muss, um genaue und aktuelle Antworten zu geben.

Verfügbarkeit

Phi-3 ist jetzt auf mehreren Plattformen verfügbar, darunter Microsoft Azure AI Studio, Gesicht umarmen und Ollama. Auf Azure AI umfasst das Modell einen Workflow zum Bereitstellen, Bewerten und Feinabstimmen, und auf Ollama kann es lokal auf Laptops ausgeführt werden. Das Modell wurde maßgeschneidert für ONNX-Laufzeit und unterstützt Windows DirectML, um sicherzustellen, dass es auf verschiedenen Hardwaretypen wie GPUs, CPUs und Mobilgeräten gut funktioniert. Darüber hinaus wird Phi-3 als Microservice über angeboten NVIDIA NIM, ausgestattet mit einer Standard-API für die einfache Bereitstellung in verschiedenen Umgebungen und speziell für NVIDIA-GPUs optimiert. Microsoft plant, die Phi-3-Serie in naher Zukunft um die Modelle Phi-3-small (7B) und Phi-3-medium (14B) weiter zu erweitern, um Benutzern zusätzliche Auswahlmöglichkeiten für ein ausgewogenes Verhältnis von Qualität und Kosten zu bieten.

Fazit

Microsofts Phi-3 Mini macht bedeutende Fortschritte im Bereich der künstlichen Intelligenz, indem es die Leistungsfähigkeit großer Sprachmodelle für den mobilen Einsatz adaptiert. Dieses Modell verbessert die Benutzerinteraktion mit Geräten durch schnellere Echtzeitverarbeitung und erweiterte Datenschutzfunktionen. Es minimiert den Bedarf an Cloud-basierten Diensten, senkt die Betriebskosten und erweitert den Anwendungsbereich für KI in Bereichen wie Gesundheitswesen und Heimautomatisierung. Mit dem Fokus auf die Reduzierung von Voreingenommenheit durch Curriculum Learning und die Aufrechterhaltung der Wettbewerbsfähigkeit entwickelt sich der Phi-3 Mini zu einem Schlüsselwerkzeug für effiziente und nachhaltige mobile KI und verändert auf subtile Weise unseren täglichen Umgang mit Technologie.