Lommestørrelses Powerhouse: Præsentation af Microsofts Phi-3, det sprogmodel der passer i din telefon

I det hurtigt udviklende felt for kunstig intelligens, hvor trenden ofte har været større og mere komplekse modeller, følger Microsoft (MSFT ) en anden strategi med sin Phi-3 Mini. Dette lille sprogmodel (SLM), nu i sin tredje generation, pakker de robuste funktioner fra større modeller ind i en ramme, der kan håndtere de strenge ressourcebegrænsninger på smartphones. Med 3,8 milliarder parametre matcher Phi-3 Mini præstationen af store sprogmodeller (LLM’er) på tværs af forskellige opgaver, herunder sprogbehandling, resonnering, kodning og matematik, og er tilpasset effektiv drift på mobile enheder gennem kvantificering.

Udfordringerne for store sprogmodeller

Udviklingen af Microsofts Phi SLM’er er en reaktion på de betydelige udfordringer, som LLM’er stiller, da de kræver mere beregningskraft, end der normalt er til rådighed på forbrugerenheder. Dette høje krav komplicerer deres brug på standard-computere og mobile enheder, og det medfører miljømæssige bekymringer på grund af deres energiforbrug under træning og drift, og det kan også fastholde fordomme på grund af deres store og komplekse træningsdata. Disse faktorer kan også påvirke modellernes responsivitet i realtidsapplikationer og gøre opdateringer mere udfordrende.

Phi-3 Mini: Optimering af AI på personlige enheder for forbedret privatliv og effektivitet

Phi-3 Mini er strategisk designet til at tilbyde en kosteffektiv og effektiv alternativ løsning for integration af avanceret AI direkte på personlige enheder som telefoner og bærbare computere. Dette design muliggør hurtigere og mere umiddelbare svar, og det forbedrer brugerinteraktionen med teknologien i daglige scenarier.

Phi-3 Mini muliggør avancerede AI-funktioner, der kan behandles direkte på mobile enheder, hvilket reducerer afhængigheden af skytjenester og forbedrer realtidsdatabehandling. Dette er afgørende for applikationer, der kræver umiddelbar databehandling, såsom mobil sundhedspleje, realtids sprogoversættelse og personlig uddannelse, og det muliggør fremskridt i disse områder. Modellens kosteffektivitet reducerer ikke kun driftsomkostningerne, men udvider også mulighederne for AI-integration på tværs af forskellige brancher, herunder opkommende markeder som wearable-teknologi og hjemautomatisering. Phi-3 Mini muliggør databehandling direkte på lokale enheder, hvilket forbedrer brugerens privatliv. Dette kan være afgørende for håndtering af følsomme oplysninger i områder som personlig sundhed og finansielle tjenester. Desuden bidrager modellens lave energikrav til miljømæssigt bæredygtige AI-drift, og det er i overensstemmelse med globale bæredygtighedsindsats.

Designfilosofi og udvikling af Phi

Phi’s designfilosofi er baseret på konceptet om curriculum-læring, der tager inspiration fra den pædagogiske tilgang, hvor børn lærer gennem stadig mere udfordrende eksempler. Hovedidéen er at starte AI-træningen med lettere eksempler og gradvist øge kompleksiteten af træningsdataene, efterhånden som læreprocessen skrider frem. Microsoft har implementeret denne pædagogiske strategi ved at opbygge en dataset fra lærebøger, som det er beskrevet i deres studie “Textbooks Are All You Need.” Phi-serien blev lanceret i juni 2023, starting med Phi-1, en kompakt model med 1,3 milliarder parametre. Denne model demonstrerede hurtigt sin effektivitet, især i Python-kodningstasks, hvor den overgik større og mere komplekse modeller. Bygget på denne succes udviklede Microsoft herefter Phi-1,5, der fastholdt samme antal parametre, men udvidede sine funktioner i områder som fælles fornuft og sprogforståelse. Serien udviklede sig yderligere med udgivelsen af Phi-2 i december 2023. Med 2,7 milliarder parametre viste Phi-2 imponerende færdigheder i resonnering og sprogforståelse, og det positionerede sig som en stærk konkurrent til betydeligt større modeller.

Phi-3 vs. andre små sprogmodeller

Phi-3 Mini udvider på sine forgængere og overgår andre små sprogmodeller, såsom Google’s Gemma, Mistral’s Mistral, Meta’s Llama3-Instruct og GPT 3.5, i en række industrielle applikationer. Disse applikationer omfatter sprogforståelse og slutning, almen viden, fælles fornuft, grundskolematematik og medicinsk spørgsmål, og det viser overlegen præstation i forhold til disse modeller. Phi-3 Mini er også blevet testet offline på en iPhone 14 til forskellige opgaver, herunder indholdsskabelse og aktivitetsforslag tilpasset bestemte lokaliteter. Til dette formål er Phi-3 Mini blevet kondenseret til 1,8 GB ved hjælp af en proces kaldet kvantificering, der optimerer modellen for begrænsede ressourceenheder ved at konvertere modellens numeriske data fra 32-bit flydende tal til mere kompakte formater som 4-bit heltal. Dette reducerer ikke kun modellens hukommelsesaftryk, men forbedrer også behandlingshastigheden og energieffektiviteten, hvilket er afgørende for mobile enheder. Udviklere bruger typisk rammer som TensorFlow Lite eller PyTorch Mobile, der indeholder indbyggede kvantificeringsværktøjer til at automatisere og forfine denne proces.

Funktionssammenligning: Phi-3 Mini vs. Phi-2 Mini

Nedenfor sammenligner vi nogle af funktionerne i Phi-3 med dens forgænger Phi-2.

• Modellar arkitektur: Phi-2 opererer på en transformer-baseret arkitektur designet til at forudsige det næste ord. Phi-3 Mini anvender også en transformer-decoder-arkitektur, men ligner mere den Llama-2 modelstruktur, og den bruger samme tokenizer med en ordliste på 320.641. Denne kompatibilitet sikrer, at værktøjer udviklet til Llama-2 kan tilpasses til brug med Phi-3 Mini.
• Kontekstlængde: Phi-3 Mini understøtter en kontekstlængde på 8.000 token, hvilket er betydeligt større end Phi-2’s 2.048 token. Denne øgning tillader Phi-3 Mini at håndtere mere detaljerede interaktioner og behandle længere tekststræk.
• Lokal kørsel på mobile enheder: Phi-3 Mini kan komprimeres til 4-bit og besætter ca. 1,8 GB hukommelse, lignende Phi-2. Den blev testet til at køre offline på en iPhone 14 med en A16 Bionic-chip, hvor den opnåede en behandlingshastighed på mere end 12 token per sekund, svarende til Phi-2’s præstation under lignende betingelser.
• Modellens størrelse: Med 3,8 milliarder parametre har Phi-3 Mini en større skala end Phi-2, der har 2,7 milliarder parametre. Dette afspejler dens øgede funktioner.
• Træningsdata: I modsætning til Phi-2, der blev trænet på 1,4 billioner token, er Phi-3 Mini blevet trænet på en langt større samling på 3,3 billioner token, hvilket giver det en bedre forståelse af komplekse sprogmønstre.

Besvarelse af Phi-3 Minis begrænsninger

Selv om Phi-3 Mini viser betydelige fremskridt inden for små sprogmodeller, er det ikke uden begrænsninger. En primær begrænsning for Phi-3 Mini, på grund af dens mindre størrelse i forhold til store sprogmodeller, er dens begrænsede kapacitet til at gemme omfattende faktuel viden. Dette kan påvirke dens evne til at håndtere forespørgsler, der kræver en dybde af specifikke faktuelle data eller detaljeret ekspertviden. Dette kan dog kompenseres ved at integrere Phi-3 Mini med en søgemaskine. På denne måde kan modellen få adgang til en bredere vifte af informationer i realtid og fungere som en højtydende samtalepartner, der kan “se op” information for at give præcise og opdaterede svar.

Tilgængelighed

Phi-3 er nu tilgængelig på flere platforme, herunder Microsoft Azure AI Studio, Hugging Face og Ollama. På Azure AI er modellen integreret i en deploy-evaluér-fintuneworflow, og på Ollama kan den køres lokalt på bærbare computere. Modellen er tilpasset til ONNX Runtime og understøtter Windows DirectML, hvilket sikrer, at den fungerer godt på forskellige hardwaretyper som GPU’er, CPU’er og mobile enheder. Desuden tilbydes Phi-3 som en mikrotjeneste via NVIDIA NIM, udstyret med en standard-API for let installation på tværs af forskellige miljøer og optimeret specifikt til NVIDIA GPU’er. Microsoft planlægger at udvide Phi-3-serien i den nærmeste fremtid ved at tilføje Phi-3-small (7B) og Phi-3-medium (14B) modeller, hvilket giver brugerne yderligere valgmuligheder til at balancere kvalitet og omkostninger.

Det endelige punkt

Microsofts Phi-3 Mini gør betydelige fremskridt inden for kunstig intelligens ved at tilpasse kraften fra store sprogmodeller til mobilbrug. Dette model forbedrer brugerinteraktionen med enheder gennem hurtigere, realtidsbehandling og forbedrede privatlivsfunktioner. Det reducerer behovet for skybaserede tjenester, hvilket reducerer driftsomkostningerne og udvider mulighederne for AI-applikationer i områder som sundhedspleje og hjemautomatisering. Med fokus på at reducere fordomme gennem curriculum-læring og fastholde konkurrencedygtig præstation, udvikler Phi-3 Mini sig til et nøgleværktøj for effektiv og bæredygtig mobil AI, og det forandrer subtilt, hvordan vi interagerer med teknologien dagligt.