Krachtpatser in zakformaat: onthulling van Microsoft's Phi-3, het taalmodel dat in uw telefoon past

In het snel evoluerende veld van kunstmatige intelligentie, waar de trend vaak neigt naar grotere en complexere modellen, kiest Microsoft met zijn Phi-3 Mini voor een andere aanpak. Dit klein taalmodel (SLM), nu in zijn derde generatie, verpakt de robuuste mogelijkheden van grotere modellen in een raamwerk dat past binnen de strenge hulpbronnenbeperkingen van smartphones. Met 3.8 miljard parameters komt de Phi-3 Mini overeen met de prestaties van grote taalmodellen (LLM's) voor verschillende taken, waaronder taalverwerking, redeneren, coderen en wiskunde, en is op maat gemaakt voor efficiënte werking op mobiele apparaten door middel van kwantisering.

Uitdagingen van grote taalmodellen

De ontwikkeling van de Phi SLM's van Microsoft is een reactie op de aanzienlijke uitdagingen die LLM's met zich meebrengen, die meer rekenkracht vereisen dan doorgaans beschikbaar is op consumentenapparaten. Deze grote vraag bemoeilijkt het gebruik ervan op standaardcomputers en mobiele apparaten, veroorzaakt bezorgdheid over het milieu vanwege het energieverbruik tijdens training en gebruik, en riskeert vooroordelen in stand te houden met hun grote en complexe trainingsdatasets. Deze factoren kunnen ook de responsiviteit van de modellen in realtime toepassingen aantasten en updates uitdagender maken.

Phi-3 Mini: stroomlijning van AI op persoonlijke apparaten voor verbeterde privacy en efficiëntie

De Phi-3 Mini is strategisch ontworpen om een ​​kosteneffectief en efficiënt alternatief te bieden voor het rechtstreeks integreren van geavanceerde AI op persoonlijke apparaten zoals telefoons en laptops. Dit ontwerp maakt snellere, directere reacties mogelijk, waardoor de gebruikersinteractie met technologie in alledaagse scenario's wordt verbeterd.

Met Phi-3 Mini kunnen geavanceerde AI-functionaliteiten rechtstreeks op mobiele apparaten worden verwerkt, waardoor de afhankelijkheid van clouddiensten wordt verminderd en de realtime gegevensverwerking wordt verbeterd. Deze mogelijkheid is cruciaal voor toepassingen die onmiddellijke gegevensverwerking vereisen, zoals mobiele gezondheidszorg, realtime taalvertaling en gepersonaliseerd onderwijs, waardoor vooruitgang op deze gebieden wordt vergemakkelijkt. De kostenefficiëntie van het model verlaagt niet alleen de operationele kosten, maar vergroot ook het potentieel voor AI-integratie in verschillende industrieën, waaronder opkomende markten zoals draagbare technologie en domotica. Phi-3 Mini maakt gegevensverwerking rechtstreeks op lokale apparaten mogelijk, wat de privacy van gebruikers vergroot. Dit kan van cruciaal belang zijn voor het beheer van gevoelige informatie op gebieden als persoonlijke gezondheidszorg en financiële diensten. Bovendien dragen de lage energievereisten van het model bij aan ecologisch duurzame AI-operaties, in lijn met de mondiale inspanningen op het gebied van duurzaamheid.

Ontwerpfilosofie en evolutie van Phi

Phi's ontwerpfilosofie is gebaseerd op het concept van leerplan, dat inspiratie haalt uit de onderwijsaanpak waarbij kinderen leren door steeds uitdagendere voorbeelden. Het belangrijkste idee is om de training van AI te starten met eenvoudigere voorbeelden en geleidelijk de complexiteit van de trainingsgegevens te vergroten naarmate het leerproces vordert. Microsoft heeft deze onderwijsstrategie geïmplementeerd door een dataset uit leerboeken op te bouwen, zoals beschreven in hun onderzoek “Leerboeken zijn alles wat je nodig hebt.” De Phi-serie werd gelanceerd in juni 2023, te beginnen met Phi-1, een compact model met 1.3 miljard parameters. Dit model demonstreerde snel zijn doeltreffendheid, vooral bij codeertaken in Python, waar het beter presteerde dan grotere, complexere modellen. Voortbouwend op dit succes ontwikkelde Microsoft zich onlangs Phi-1.5, dat hetzelfde aantal parameters handhaafde, maar zijn mogelijkheden verbreedde op gebieden als gezond verstand redeneren en taalbegrip. De serie overtrof met de release van Phi-2 in december 2023. Met 2.7 miljard parameters toonde Phi-2 indrukwekkende vaardigheden op het gebied van redeneren en taalbegrip, waardoor het werd gepositioneerd als een sterke concurrent van aanzienlijk grotere modellen.

Phi-3 versus andere kleine taalmodellen

Voortbouwend op zijn voorgangers, breidt Phi-3 Mini de vooruitgang van Phi-2 uit door andere SLM's te overtreffen, zoals Gemma van Google, De Mistral van Mistral, Meta's Llama3-Instruct en GPT 3.5, in een verscheidenheid aan industriële toepassingen. Deze toepassingen omvatten het begrijpen en infereren van talen, algemene kennis, gezond verstand redeneren, wiskundige woordproblemen op de basisschool en het beantwoorden van medische vragen, wat superieure prestaties laat zien in vergelijking met deze modellen. De Phi-3 Mini heeft ook offline tests ondergaan op een iPhone 14 voor verschillende taken, waaronder het maken van inhoud en het geven van activiteitensuggesties op maat van specifieke locaties. Voor dit doel is Phi-3 Mini gecondenseerd tot 1.8 GB met behulp van een proces genaamd kwantisering, dat het model optimaliseert voor apparaten met beperkte bronnen door de numerieke gegevens van het model te converteren van 32-bit drijvende-kommagetallen naar compactere formaten zoals 4-bit gehele getallen. Dit verkleint niet alleen de geheugenvoetafdruk van het model, maar verbetert ook de verwerkingssnelheid en de energie-efficiëntie, wat essentieel is voor mobiele apparaten. Ontwikkelaars gebruiken doorgaans frameworks zoals TensorFlow Lite or PyTorch mobiel, met ingebouwde kwantiseringstools om dit proces te automatiseren en te verfijnen.

Functievergelijking: Phi-3 Mini versus Phi-2 Mini

Hieronder vergelijken we enkele kenmerken van Phi-3 met zijn voorganger Phi-2.

• Model Architectuur: Phi-2 werkt op een op transformatoren gebaseerde architectuur die is ontworpen om het volgende woord te voorspellen. Phi-3 Mini maakt ook gebruik van een transformatordecoderarchitectuur, maar sluit nauwer aan bij de Llama-2-modelstructuur, waarbij dezelfde tokenizer wordt gebruikt met een woordenschatgrootte van 320,641. Deze compatibiliteit zorgt ervoor dat gereedschappen die voor Llama-2 zijn ontwikkeld, eenvoudig kunnen worden aangepast voor gebruik met Phi-3 Mini.
• Contextlengte: Phi-3 Mini ondersteunt een contextlengte van 8,000 tokens, wat aanzienlijk groter is dan de 2 tokens van Phi-2,048. Dankzij deze toename kan Phi-3 Mini meer gedetailleerde interacties beheren en langere stukken tekst verwerken.
• Lokaal uitgevoerd op mobiele apparaten: Phi-3 Mini kan worden gecomprimeerd tot 4-bits en neemt ongeveer 1.8 GB geheugen in beslag, vergelijkbaar met Phi-2. Het werd offline getest op een iPhone 14 met een A16 Bionic-chip, waar het een verwerkingssnelheid behaalde van meer dan 12 tokens per seconde, wat overeenkomt met de prestaties van Phi-2 onder vergelijkbare omstandigheden.
• Modelgrootte: Met 3.8 miljard parameters heeft Phi-3 Mini een grotere schaal dan Phi-2, die 2.7 miljard parameters heeft. Dit weerspiegelt de toegenomen mogelijkheden.
• Trainingsdata: In tegenstelling tot Phi-2, die werd getraind op 1.4 biljoen tokens, is Phi-3 Mini getraind op een veel grotere set van 3.3 biljoen tokens, waardoor hij complexe taalpatronen beter kan begrijpen.

De beperkingen van de Phi-3 Mini aanpakken

Hoewel de Phi-3 Mini aanzienlijke vooruitgang laat zien op het gebied van kleine taalmodellen, is deze niet zonder beperkingen. Een primaire beperking van de Phi-3 Mini, gezien zijn kleinere formaat in vergelijking met enorme taalmodellen, is zijn beperkte capaciteit om uitgebreide feitelijke kennis op te slaan. Dit kan van invloed zijn op het vermogen om zelfstandig vragen af ​​te handelen die diepgaande specifieke feitelijke gegevens of gedetailleerde deskundige kennis vereisen. Dit kan echter worden verzacht door Phi-3 Mini te integreren met een zoekmachine. Op deze manier heeft het model in realtime toegang tot een breder scala aan informatie, waardoor de inherente kennisbeperkingen effectief worden gecompenseerd. Dankzij deze integratie kan de Phi-3 Mini functioneren als een zeer capabele gesprekspartner die, ondanks een uitgebreid begrip van taal en context, af en toe informatie moet ‘opzoeken’ om nauwkeurige en actuele antwoorden te geven.

Beschikbaarheid

Phi-3 is nu beschikbaar op verschillende platforms, waaronder Microsoft Azure AI Studio, Gezicht knuffelen en Ollama. Op Azure AI bevat het model een workflow voor implementeren, evalueren en verfijnen, en op Ollama kan het lokaal op laptops worden uitgevoerd. Het model is op maat gemaakt ONNX-looptijd en ondersteunt Windows DirectML, waardoor het goed werkt op verschillende hardwaretypen, zoals GPU's, CPU's en mobiele apparaten. Bovendien wordt Phi-3 aangeboden als microservice via NVIDIA NIM, uitgerust met een standaard API voor eenvoudige implementatie in verschillende omgevingen en specifiek geoptimaliseerd voor NVIDIA GPU's. Microsoft is van plan de Phi-3-serie in de nabije toekomst verder uit te breiden door de Phi-3-small (7B) en Phi-3-medium (14B) modellen toe te voegen, waardoor gebruikers extra keuzes krijgen om kwaliteit en kosten in evenwicht te brengen.

The Bottom Line

Microsoft's Phi-3 Mini boekt aanzienlijke vooruitgang op het gebied van kunstmatige intelligentie door de kracht van grote taalmodellen aan te passen voor mobiel gebruik. Dit model verbetert de gebruikersinteractie met apparaten door snellere, realtime verwerking en verbeterde privacyfuncties. Het minimaliseert de behoefte aan cloudgebaseerde diensten, verlaagt de operationele kosten en vergroot de reikwijdte van AI-toepassingen op gebieden als de gezondheidszorg en domotica. Met een focus op het verminderen van vooroordelen door het leren van leerplannen en het behouden van competitieve prestaties, evolueert de Phi-3 Mini naar een belangrijk hulpmiddel voor efficiënte en duurzame mobiele AI, waardoor de manier waarop we dagelijks omgaan met technologie op subtiele wijze wordt getransformeerd.