Femkampsstyrka i fickformat: Presenterar Microsofts Phi-3, språkmodellen som får plats i din telefon

Inom det snabbt utvecklande området för artificiell intelligens har trenden ofta varit att skapa större och mer komplexa modeller, men Microsoft (MSFT ) har valt en annan väg med sin Phi-3 Mini. Denna lilla språkmodell (SLM), som nu är i sin tredje generation, packar de kraftfulla funktionerna i större modeller in i en ram som passar inom de stränga resursbegränsningarna för smartphones. Med 3,8 miljarder parametrar matchar Phi-3 Mini prestandan hos stora språkmodeller (LLM) över olika uppgifter, inklusive språkbehandling, resonemang, kodning och matematik, och är anpassad för effektiv drift på mobila enheter genom kvantisering.

Utmaningar för stora språkmodeller

Utvecklingen av Microsofts Phi SLM är ett svar på de betydande utmaningar som stora språkmodeller medför, som kräver mer beräkningskraft än vad som vanligtvis finns tillgängligt på konsumentenheter. Detta höga krav komplicerar deras användning på standarddatorer och mobila enheter, väcker miljöproblem på grund av deras energiförbrukning under utbildning och drift, och riskerar att förstärka fördomar med sina stora och komplexa utbildningsdataset. Dessa faktorer kan också försämra modellernas svarstid i realtidsapplikationer och göra uppdateringar mer utmanande.

Phi-3 Mini: Effektivisering av AI på personliga enheter för förbättrad integritet och effektivitet

Phi-3 Mini är strategiskt utformad för att erbjuda en kostnadseffektiv och effektiv lösning för integration av avancerad AI direkt på personliga enheter som telefoner och laptops. Denna design möjliggör snabbare och mer omedelbara svar, vilket förbättrar användarinteraktionen med tekniken i vardagssituationer.

Phi-3 Mini möjliggör avancerade AI-funktioner att bearbetas direkt på mobila enheter, vilket minskar beroendet av molntjänster och förbättrar hanteringen av realtidsdata. Denna funktion är avgörande för applikationer som kräver omedelbar datahantering, såsom mobil hälsovård, realtidsöversättning och personlig utbildning, vilket möjliggör framsteg inom dessa områden. Modellens kostnadseffektivitet minskar inte bara driftskostnaderna utan utökar också potentialen för AI-integration över olika branscher, inklusive nya marknader som wearable-teknik och hemautomatisering. Phi-3 Mini möjliggör datahantering direkt på lokala enheter, vilket förbättrar användarintegriteten. Detta kan vara avgörande för hantering av känslig information inom områden som personlig hälsa och finansiella tjänster. Dessutom bidrar modellens låga energikrav till miljövänliga AI-drift, i linje med globala hållbarhetsinsatser.

Designfilosofi och utveckling av Phi

Phis designfilosofi bygger på konceptet curriculum learning, som hämtar inspiration från den pedagogiska ansatsen där barn lär sig genom alltmer utmanande exempel. Huvudidén är att börja utbildningen av AI med enklare exempel och gradvis öka komplexiteten i utbildningsdata allteftersom inlärningsprocessen fortskrider. Microsoft har implementerat denna pedagogiska strategi genom att bygga en dataset från läroböcker, som beskrivs i deras studie “Textbooks Are All You Need“. Phi-serien lanserades i juni 2023, med start i Phi-1, en kompakt modell med 1,3 miljarder parametrar. Denna modell visade sig snabbt vara effektiv, särskilt i Python-kodningsuppgifter, där den överträffade större och mer komplexa modeller. Byggande på denna framgång utvecklade Microsoft senare Phi-1.5, som behöll samma antal parametrar men utvidgade sina förmågor inom områden som allmänna resonemang och språkförståelse. Serien utmärkte sig med lanseringen av Phi-2 i december 2023. Med 2,7 miljarder parametrar visade Phi-2 imponerande färdigheter i resonemang och språkförståelse, vilket positionerade den som en stark konkurrent till betydligt större modeller.

Phi-3 vs. andra små språkmodeller

Genom att bygga vidare på sina föregångare utvidgar Phi-3 Mini framstegen i Phi-2 genom att överträffa andra SLM, såsom Googles Gemma, Mistrals Mistral, Metas Llama3-Instruct och GPT 3.5, inom en mängd olika industriella applikationer. Dessa applikationer inkluderar språkförståelse och inferens, allmän kunskap, allmänna resonemang, grundskolematematik och medicinska frågesvar, vilket visar på överlägsen prestanda jämfört med dessa modeller. Phi-3 Mini har också genomgått offline-testning på en iPhone 14 för olika uppgifter, inklusive innehållsskapande och tillhandahållande av aktivitetsförslag anpassade till specifika platser. För detta ändamål har Phi-3 Mini kondenserats till 1,8 GB med hjälp av en process som kallas kvantisering, som optimerar modellen för enheter med begränsade resurser genom att konvertera modellens numeriska data från 32-bitars flyttal till mer kompakta format som 4-bitars heltal. Detta minskar inte bara modellens minnesavtryck utan förbättrar också bearbetningshastigheten och energieffektiviteten, vilket är avgörande för mobila enheter. Utvecklare använder vanligtvis ramverk som TensorFlow Lite eller PyTorch Mobile, som inkluderar inbyggda kvantiseringverktyg för att automatisera och förbättra denna process.

Funktionssjämförelse: Phi-3 Mini vs. Phi-2 Mini

Nedan jämför vi några av funktionerna i Phi-3 med dess föregångare Phi-2.

• Modellarkitektur: Phi-2 opererar på en transformer-baserad arkitektur som är utformad för att förutsäga nästa ord. Phi-3 Mini använder också en transformer-dekoderarkitektur men är mer kompatibel med Llama-2-modellstrukturen, med samma tokenisator och en ordlista på 320 641. Denna kompatibilitet säkerställer att verktyg som utvecklats för Llama-2 kan anpassas för användning med Phi-3 Mini.
• Sammanhangslängd: Phi-3 Mini stöder en sammanhangslängd på 8 000 token, vilket är betydligt större än Phi-2:s 2 048 token. Denna ökning möjliggör för Phi-3 Mini att hantera mer detaljerade interaktioner och bearbeta längre texter.
• Lokal körning på mobila enheter: Phi-3 Mini kan komprimeras till 4 bitar, vilket upptar cirka 1,8 GB minne, liknande Phi-2. Den testades för att köras offline på en iPhone 14 med en A16 Bionic-chip, där den uppnådde en bearbetningshastighet på över 12 token per sekund, vilket matchar prestandan hos Phi-2 under liknande förhållanden.
• Modellstorlek: Med 3,8 miljarder parametrar har Phi-3 Mini en större skala än Phi-2, som har 2,7 miljarder parametrar. Detta återspeglar dess ökade förmågor.
• Utbildningsdata: Till skillnad från Phi-2, som tränades på 1,4 biljoner token, har Phi-3 Mini tränats på en betydligt större uppsättning på 3,3 biljoner token, vilket möjliggör en bättre förståelse av komplexa språkmönster.

Begränsningar i Phi-3 Mini

Medan Phi-3 Mini visar betydande framsteg inom området för små språkmodeller, är den inte utan begränsningar. En primär begränsning i Phi-3 Mini, med tanke på dess mindre storlek jämfört med stora språkmodeller, är dess begränsade förmåga att lagra omfattande faktisk kunskap. Detta kan påverka dess förmåga att oberoende hantera frågor som kräver en djup förståelse av specifik faktisk data eller detaljerad expertkunskap. Detta kan dock lindras genom att integrera Phi-3 Mini med en sökmotor. På så sätt kan modellen komma åt en bredare mängd information i realtid, vilket effektivt kompenserar för dess inneboende kunskapsbegränsningar. Denna integration möjliggör för Phi-3 Mini att fungera som en mycket kapabel konversationspartner som, trots en omfattande förståelse av språk och sammanhang, ibland kan behöva “söka upp” information för att ge korrekta och uppdaterade svar.

Tillgänglighet

Phi-3 är nu tillgänglig på flera plattformar, inklusive Microsoft Azure AI Studio, Hugging Face och Ollama. På Azure AI ingår modellen i en deploy-utvärdera-förfiningsarbetsflöde, och på Ollama kan den köras lokalt på laptops. Modellen har anpassats för ONNX Runtime och stöder Windows DirectML, vilket säkerställer att den fungerar bra på olika hårdvarutyper som GPU, CPU och mobila enheter. Dessutom erbjuds Phi-3 som en mikrotjänst via NVIDIA NIM (NVDA ), utrustad med en standard-API för enkel distribution över olika miljöer och optimerad specifikt för NVIDIA-GPU. Microsoft planerar att ytterligare expandera Phi-3-serien i närmaste framtiden genom att lägga till Phi-3-small (7B) och Phi-3-medium (14B), vilket ger användarna ytterligare valmöjligheter för att balansera kvalitet och kostnad.

Slutsatsen

Microsofts Phi-3 Mini gör betydande framsteg inom området för artificiell intelligens genom att anpassa kraften i stora språkmodeller för mobilt bruk. Denna modell förbättrar användarinteraktionen med enheter genom snabbare och realtidsbearbetning samt förbättrade integritetsfunktioner. Den minskar behovet av molnbaserade tjänster, vilket reducerar driftskostnaderna och utökar potentialen för AI-tillämpningar inom områden som hälsovård och hemautomatisering. Med fokus på att minska fördomar genom curriculum learning och upprätthålla konkurrenskraftig prestanda utvecklas Phi-3 Mini till ett viktigt verktyg för effektiv och hållbar mobil AI, vilket subtilt förändrar hur vi interagerar med tekniken dagligen.