Femkraft i fickformat: Microsofts Phi-3, språkmodellen som får plats i din telefon

Inom det snabbt utvecklande området artificiell intelligens har trenden ofta lett mot större och mer komplexa modeller, men Microsoft har valt en annorlunda approach med sin Phi-3 Mini. Denna lilla språkmodell (SLM), som nu är i sin tredje generation, packar de robusta funktionerna i större modeller in i en ram som passar inom de stränga resursbegränsningarna för smartphones. Med 3,8 miljarder parametrar matchar Phi-3 Mini prestandan hos stora språkmodeller (LLM) över olika uppgifter, inklusive språkbehandling, resonemang, kodning och matematik, och är anpassad för effektiv drift på mobila enheter genom kvantisering.

Utmaningar med stora språkmodeller

Utvecklingen av Microsofts Phi SLM är ett svar på de betydande utmaningar som stora språkmodeller medför, som kräver mer beräkningskraft än vad som vanligtvis finns tillgängligt på konsumentenheter. Denna höga efterfrågan komplicerar deras användning på standarddatorer och mobila enheter, väcker miljöbekymmer på grund av deras energiförbrukning under utbildning och drift, och riskerar att förstärka fördomar med sina stora och komplexa utbildningsdata. Dessa faktorer kan också försämra modellernas responsivitet i realtidsapplikationer och göra uppdateringar mer utmanande.

Phi-3 Mini: Strömlinjeformning av AI på personliga enheter för förbättrad integritet och effektivitet

Phi-3 Mini är strategiskt utformad för att erbjuda en kostnadseffektiv och effektiv alternativ för att integrera avancerad AI direkt på personliga enheter som telefoner och bärbara datorer. Denna design möjliggör snabbare och mer omedelbara svar, förbättrar användarinteraktionen med tekniken i vardagsscenarier.
Phi-3 Mini möjliggör avancerade AI-funktioner att bearbetas direkt på mobila enheter, vilket minskar beroendet av molntjänster och förbättrar hantering av realtidsdata. Denna funktion är avgörande för applikationer som kräver omedelbar datahantering, såsom mobil hälsovård, realtidsöversättning och personlig utbildning, vilket möjliggör framsteg inom dessa områden. Modellens kostnadseffektivitet minskar inte bara driftskostnaderna utan utvidgar också potentialen för AI-integrering över olika branscher, inklusive nya marknader som wearables och hemautomatisering. Phi-3 Mini möjliggör datahantering direkt på lokala enheter, vilket förbättrar användarintegriteten. Detta kan vara avgörande för hantering av känslig information inom områden som personlig hälsa och finansiella tjänster. Dessutom bidrar modellens låga energibehov till miljövänliga AI-drift, i linje med globala hållbarhetsinsatser.

Designfilosofi och utveckling av Phi

Phis designfilosofi bygger på begreppet curriculum learning, som hämtar inspiration från den pedagogiska metoden där barn lär sig genom progressivt svårare exempel. Huvudidén är att börja utbildningen av AI med enklare exempel och gradvis öka svårighetsgraden på utbildningsdata allteftersom inlärningsprocessen fortskrider. Microsoft har implementerat denna pedagogiska strategi genom att bygga en dataset från läroböcker, som beskrivs i deras studie “Textbooks Are All You Need.” Phi-serien lanserades i juni 2023, börjande med Phi-1, en kompakt modell med 1,3 miljarder parametrar. Denna modell visade sig snabbt vara effektiv, särskilt i Python-kodningsuppgifter, där den överträffade större och mer komplexa modeller. Byggande på denna framgång utvecklade Microsoft senare Phi-1.5, som behöll samma antal parametrar men utvidgade sin funktionalitet inom områden som sunt förnuft och språkförståelse. Serien utmärkte sig med lanseringen av Phi-2 i december 2023. Med 2,7 miljarder parametrar visade Phi-2 imponerande färdigheter i resonemang och språkförståelse, vilket positionerade den som en stark utmanare mot betydligt större modeller.

Phi-3 vs. andra små språkmodeller

Genom att bygga vidare på sina föregångare utvidgar Phi-3 Mini framstegen med Phi-2 och överträffar andra SLM, såsom Googles Gemma, Mistrals Mistral, Metas Llama3-Instruct och GPT 3.5, inom en mängd olika industriella applikationer. Dessa applikationer inkluderar språkförståelse och inferens, allmän kunskap, sunt förnuft, matematikproblem för grundskolan och medicinska frågesvar, och visar överlägsen prestanda jämfört med dessa modeller. Phi-3 Mini har också genomgått offline-testning på en iPhone 14 för olika uppgifter, inklusive innehållsskapande och aktivitetsförslag anpassade till specifika platser. För detta ändamål har Phi-3 Mini kondenserats till 1,8 GB med hjälp av en process som kallas kvantisering, som optimerar modellen för enheter med begränsade resurser genom att konvertera modellens numeriska data från 32-bitars flyttal till mer kompakta format som 4-bitars heltal. Detta minskar inte bara modellens minnesavtryck utan förbättrar också bearbetningshastigheten och energieffektiviteten, vilket är avgörande för mobila enheter. Utvecklare använder vanligtvis ramverk som TensorFlow Lite eller PyTorch Mobile, som innehåller inbyggda kvantiseringverktyg för att automatisera och finslipa denna process.

Funktionell jämförelse: Phi-3 Mini vs. Phi-2 Mini

Nedan jämför vi några av funktionerna i Phi-3 med dess föregångare Phi-2.

• Modellarkitektur: Phi-2 opererar på en transformerbaserad arkitektur som är utformad för att förutsäga nästa ord. Phi-3 Mini använder också en transformer-dekoderarkitektur men liknar mer Llama-2-modellstrukturen, med samma tokenisator och en ordlista på 320 641. Denna kompatibilitet säkerställer att verktyg som utvecklats för Llama-2 kan enkelt anpassas för användning med Phi-3 Mini.
• Sammanhangslängd: Phi-3 Mini stöder en sammanhangslängd på 8 000 token, vilket är betydligt större än Phi-2:s 2 048 token. Denna ökning möjliggör för Phi-3 Mini att hantera mer detaljerade interaktioner och bearbeta längre textsträngar.
• Körning lokalt på mobila enheter: Phi-3 Mini kan komprimeras till 4-bitars, vilket upptar cirka 1,8 GB minne, liknande Phi-2. Den testades för att köras offline på en iPhone 14 med en A16 Bionic-chip, där den uppnådde en bearbetningshastighet på mer än 12 token per sekund, vilket matchar prestandan hos Phi-2 under liknande förhållanden.
• Modellstorlek: Med 3,8 miljarder parametrar har Phi-3 Mini en större skala än Phi-2, som har 2,7 miljarder parametrar. Detta återspeglar dess ökade funktioner.
• Utbildningsdata: Till skillnad från Phi-2, som tränades på 1,4 biljoner token, har Phi-3 Mini tränats på en betydligt större dataset på 3,3 biljoner token, vilket möjliggör en bättre förståelse av komplexa språkmönster.

Att hantera Phi-3 Minis begränsningar

Medan Phi-3 Mini visar betydande framsteg inom området små språkmodeller, är den inte utan begränsningar. En primär begränsning för Phi-3 Mini, med tanke på dess mindre storlek jämfört med stora språkmodeller, är dess begränsade förmåga att lagra omfattande faktakunskap. Detta kan påverka dess förmåga att oberoende hantera frågor som kräver en djupgående specifik faktakunskap eller detaljerad expertkunskap. Detta kan dock lindras genom att integrera Phi-3 Mini med en sökmotor. På så sätt kan modellen få tillgång till en bredare mängd information i realtid, vilket effektivt kompenserar för dess inneboende kunskapsbegränsningar. Denna integration möjliggör för Phi-3 Mini att fungera som en högt kapabel konversationalist som, trots en omfattande förståelse av språk och sammanhang, kan behöva “söka upp” information för att ge korrekta och uppdaterade svar.

Tillgänglighet

Phi-3 är nu tillgänglig på flera plattformar, inklusive Microsoft Azure AI Studio, Hugging Face och Ollama. På Azure AI ingår modellen i en deploy-evaluate-fine-tune-arbetsflöde, och på Ollama kan den köras lokalt på bärbara datorer. Modellen har anpassats för ONNX Runtime och stöder Windows DirectML, vilket säkerställer att den fungerar bra på olika hårdvarutyper som GPU, CPU och mobila enheter. Dessutom erbjuds Phi-3 som en mikrotjänst via NVIDIA NIM, utrustad med en standard-API för enkel distribution i olika miljöer och optimerad specifikt för NVIDIA-GPU. Microsoft planerar att ytterligare utvidga Phi-3-serien i närtid genom att lägga till Phi-3-small (7B) och Phi-3-medium (14B), vilket ger användarna ytterligare valmöjligheter för att balansera kvalitet och kostnad.

Sammanfattning

Microsofts Phi-3 Mini gör betydande framsteg inom området artificiell intelligens genom att anpassa kraften från stora språkmodeller för mobilt bruk. Denna modell förbättrar användarinteraktionen med enheter genom snabbare och realtidsbearbetning samt förbättrade integritetsfunktioner. Den minskar behovet av molnbaserade tjänster, vilket minskar driftskostnaderna och utvidgar potentialen för AI-applikationer inom områden som hälsovård och hemautomatisering. Med fokus på att minska fördomar genom curriculum learning och upprätthålla konkurrenskraftig prestanda, utvecklas Phi-3 Mini till ett viktigt verktyg för effektiv och hållbar mobil AI, vilket subtilt förändrar hur vi interagerar med tekniken dagligen.