Lomme-Størrelses Powerhouse: Præsentation af Microsofts Phi-3, det sprogmodel der passer i din telefon

I det hurtigt udviklende felt for kunstig intelligens, hvor trenden ofte har været rettet mod større og mere komplekse modeller, tager Microsoft en anden tilgang med sin Phi-3 Mini. Dette små sprogmodel (SLM), nu i sin tredje generation, pakker de robuste funktioner af større modeller ind i en ramme, der kan fungere inden for de strenge ressourcebegrænsninger for smartphones. Med 3,8 milliarder parametre matcher Phi-3 Mini ydelsen af store sprogmodeller (LLM) på tværs af forskellige opgaver, herunder sprogbehandling, argumentation, kodning og matematik, og er tilpasset effektiv drift på mobile enheder gennem kvantificering.

Udfordringerne for store sprogmodeller

Udviklingen af Microsofts Phi SLM’er er en reaktion på de betydelige udfordringer, som store sprogmodeller stiller, da de kræver mere beregningskraft, end der normalt er til rådighed på forbrugerenheder. Dette høje krav komplicerer deres brug på standardcomputer og mobile enheder, øger miljøbekymringerne på grund af deres energiforbrug under træning og drift, og risikerer at fastholde fordomme med deres store og komplekse træningsdata. Disse faktorer kan også påvirke modellernes responsivitet i realtidsapplikationer og gøre opdateringer mere udfordrende.

Phi-3 Mini: Strømlining af AI på personlige enheder for forbedret privatliv og effektivitet

Phi-3 Mini er strategisk designet til at tilbyde en kosteffektiv og effektiv alternativ for integration af avanceret AI direkte på personlige enheder som telefoner og bærbare computere. Dette design muliggør hurtigere og mere umiddelbare svar, hvilket forbedrer brugerinteraktionen med teknologi i hverdagslige scenarier.
Phi-3 Mini muliggør avancerede AI-funktioner, der kan behandles direkte på mobile enheder, hvilket reducerer afhængigheden af skytjenester og forbedrer realtidsdatabehandling. Denne funktion er afgørende for applikationer, der kræver umiddelbar databehandling, såsom mobil sundhedspleje, realtids sprogoversættelse og personlig uddannelse, hvilket muliggør fremgang i disse områder. Modellens omkostningseffektivitet reducerer ikke kun driftsomkostningerne, men udvider også mulighederne for AI-integration på tværs af forskellige brancher, herunder opkommende markeder som wearable-teknologi og hjemautomatisering. Phi-3 Mini muliggør databehandling direkte på lokale enheder, hvilket forbedrer brugerprivatlivet. Dette kan være afgørende for håndtering af følsomme oplysninger i områder som personlig sundhed og finansielle tjenester. Desuden bidrager modellens lave energikrav til miljømæssigt bæredygtige AI-drift, hvilket er i overensstemmelse med globale bæredygtighedsindsatsen.

Designfilosofi og udvikling af Phi

Phis designfilosofi er baseret på begrebet curriculum learning, der tager inspiration fra den pædagogiske tilgang, hvor børn lærer gennem progressivt mere udfordrende eksempler. Hovedidéen er at starte AI-træningen med lettere eksempler og gradvist øge kompleksiteten af træningsdataene, efterhånden som læringsprocessen skrider frem. Microsoft har implementeret denne pædagogiske strategi ved at opbygge en dataset fra lærebøger, som det er beskrevet i deres studie “Textbooks Are All You Need.” Phi-serien blev lanceret i juni 2023, starting med Phi-1, en kompakt model med 1,3 milliarder parametre. Denne model demonstrerede hurtigt sin effektivitet, især i Python-kodningstasks, hvor den overgik større, mere komplekse modeller. Bygning på denne succes udviklede Microsoft herefter Phi-1.5, der fastholdt samme antal parametre, men udvidede sine funktioner i områder som fælles fornuft og sprogforståelse. Serien udviklede sig yderligere med udgivelsen af Phi-2 i december 2023. Med 2,7 milliarder parametre demonstrerede Phi-2 imponerende færdigheder i argumentation og sprogforståelse, hvilket placerede den som en stærk konkurrent til betydeligt større modeller.

Phi-3 vs. andre små sprogmodeller

Phi-3 Mini udvider udviklingen af Phi-2 ved at overgå andre SLM’er, såsom Googles Gemma, Mistrals Mistral, Metas Llama3-Instruct og GPT 3.5, i en række industrielle applikationer. Disse applikationer omfatter sprogforståelse og slutning, almindelig viden, fælles fornuft, matematikopgaver og medicinske spørgsmål, hvilket viser overlegen ydelse i forhold til disse modeller. Phi-3 Mini er også blevet testet offline på en iPhone 14 for forskellige opgaver, herunder indholdsskabelse og aktivitetsforslag tilpasset bestemte lokaliteter. Til dette formål er Phi-3 Mini blevet kondenseret til 1,8 GB ved hjælp af en proces kaldet kvantificering, der optimerer modellen for enheder med begrænsede ressourcer ved at konvertere modellens numeriske data fra 32-bit flydende tal til mere kompakte formater som 4-bit heltal. Dette reducerer ikke kun modellens hukommelsesaftryk, men forbedrer også behandlingshastigheden og strømeffektiviteten, hvilket er afgørende for mobile enheder. Udviklere bruger typisk rammer som TensorFlow Lite eller PyTorch Mobile, der indeholder indbyggede kvantificeringstools til at automatisere og forfine denne proces.

Funktionssammenligning: Phi-3 Mini vs. Phi-2 Mini

Nedenfor sammenligner vi nogle af funktionerne af Phi-3 med dens forgænger Phi-2.

• Modellarkitektur: Phi-2 opererer på en transformer-baseret arkitektur designet til at forudsige det næste ord. Phi-3 Mini anvender også en transformer-decoder-arkitektur, men ligner mere den Llama-2 modelstruktur, ved at bruge samme tokenizer med en ordliste på 320.641. Denne kompatibilitet sikrer, at værktøjer udviklet til Llama-2 kan let tilpasses til brug med Phi-3 Mini.
• Kontekstlængde: Phi-3 Mini understøtter en kontekstlængde på 8.000 tokens, hvilket er betydeligt større end Phi-2’s 2.048 tokens. Denne forøgelse tillader Phi-3 Mini at håndtere mere detaljerede interaktioner og behandle længere tekststreng.
• Kørsel lokalt på mobile enheder: Phi-3 Mini kan komprimeres til 4-bit, og besætter omkring 1,8 GB hukommelse, ligesom Phi-2. Den blev testet kørende offline på en iPhone 14 med en A16 Bionic-chip, hvor den opnåede en behandlingshastighed på mere end 12 tokens per sekund, svarende til Phi-2’s ydelse under lignende betingelser.
• Modellstørrelse: Med 3,8 milliarder parametre har Phi-3 Mini en større skala end Phi-2, der har 2,7 milliarder parametre. Dette afspejler dens forøgede funktioner.
• Træningsdata: I modsætning til Phi-2, der blev trænet på 1,4 billioner tokens, er Phi-3 Mini blevet trænet på en langt større dataset på 3,3 billioner tokens, hvilket giver den en bedre forståelse af komplekse sprogmønstre.

At imødegå Phi-3 Minis begrænsninger

Selvom Phi-3 Mini viser betydelige fremskridt inden for små sprogmodeller, er den ikke uden begrænsninger. En primær begrænsning for Phi-3 Mini, på grund af dens mindre størrelse i forhold til massive sprogmodeller, er dens begrænsede kapacitet til at gemme omfattende faktuel viden. Dette kan påvirke dens evne til at håndtere selvstændigt spørgsmål, der kræver en dybde af specifikke faktuelle data eller detaljeret ekspertviden. Dette kan dog kompenseres ved at integrere Phi-3 Mini med en søgemaskine. På denne måde kan modellen få adgang til en bredere vifte af informationer i realtid, hvilket effektivt kompenserer for dens indbyggede videnbegrænsninger. Denne integration muliggør, at Phi-3 Mini fungerer som en meget dygtig samtalepartner, der, på trods af en omfattende forståelse af sprog og kontekst, kan have brug for at “se op” information for at give præcise og opdaterede svar.

Tilgængelighed

Phi-3 er nu tilgængelig på flere platforme, herunder Microsoft Azure AI Studio, Hugging Face og Ollama. På Azure AI indeholder modellen en deploy-evaluate-finetune-workflow, og på Ollama kan den køres lokalt på bærbare computere. Modellen er tilpasset ONNX Runtime og understøtter Windows DirectML, hvilket sikrer, at den fungerer godt på forskellige hardwaretyper som GPU’er, CPU’er og mobile enheder. Desuden tilbydes Phi-3 som en mikrotjeneste via NVIDIA NIM, udstyret med en standard-API for let installation på tværs af forskellige miljøer og optimeret specifikt til NVIDIA GPU’er. Microsoft planlægger at yderligere udvide Phi-3-serien i den nærmeste fremtid ved at tilføje Phi-3-small (7B) og Phi-3-medium (14B) modeller, hvilket giver brugerne yderligere valgmuligheder til at balancere kvalitet og omkostninger.

Det endelige punktum

Microsofts Phi-3 Mini er ved at gøre betydelige fremskridt inden for kunstig intelligens ved at tilpasse kraften af store sprogmodeller til mobilbrug. Denne model forbedrer brugerinteraktionen med enheder gennem hurtigere, realtidsbehandling og forbedrede privatlivsfunktioner. Den reducerer behovet for skybaserede tjenester, hvilket reducerer driftsomkostningerne og udvider mulighederne for AI-applikationer på tværs af forskellige brancher, herunder sundhedspleje og hjemautomatisering. Med fokus på at reducere fordomme gennem curriculum learning og fastholde konkurrencedygtig ydelse er Phi-3 Mini under udvikling til at blive et nøgleværktøj til effektiv og bæredygtig mobil AI, hvilket subtilt ændrer, hvordan vi interagerer med teknologi dagligt.