Lommestørende kraftpakke: Microsoft avdekker Phi-3, språkmodellen som passer i telefonen din

Innen det raskt utviklende feltet kunstig intelligens, hvor trenden ofte har vært rettet mot større og mer komplekse modeller, tar Microsoft en annen tilnærming med sin Phi-3 Mini. Denne lille språkmodellen (SLM), nå i sin tredje generasjon, pakker de robuste egenskapene til større modeller inn i en ramme som passer innen de strenge ressursbegrensningene til smarttelefoner. Med 3,8 milliarder parametre, matcher Phi-3 Mini ytelsen til store språkmodeller (LLM) på ulike oppgaver, inkludert språkbehandling, resonnering, kode og matematikk, og er tilpasset for effektiv drift på mobile enheter gjennom kvantisering.

Utfordringer med store språkmodeller

Utviklingen av Microsofts Phi SLM er en respons på de betydelige utfordringene som større språkmodeller stiller, som krever mer beregningskraft enn det som vanligvis er tilgjengelig på forbrukerenheter. Dette høye kravet kompliserer deres bruk på standard datamaskiner og mobile enheter, øker miljøproblemer på grunn av deres energiforbruk under trening og drift, og risikerer å videreforedle fordommer med deres store og komplekse treningsdatasett. Disse faktorene kan også hemme modellens responsivitet i sanntidsapplikasjoner og gjøre oppdateringer mer utfordrende.

Phi-3 Mini: Strømlinjeforming av AI på personlige enheter for forbedret privatliv og effisiens

Phi-3 Mini er strategisk designet for å tilby en kostnadseffektiv og effektiv alternativ for integrering av avansert AI direkte på personlige enheter som telefoner og bærbare datamaskiner. Dette designet muliggjør raskere og mer umiddelbar respons, og forbedrer brukerinteraksjon med teknologi i hverdagslige scenarioer.
Phi-3 Mini muliggjør sofistikerte AI-funksjoner å bli prosessert direkte på mobile enheter, noe som reduserer avhengighet av skytjenester og forbedrer sanntids datahåndtering. Denne evnen er avgjørende for applikasjoner som krever umiddelbar dataprosesserings-, som mobil helse, sanntidsspråkoversettelse og personlig utdanning, og muliggjør fremgang i disse feltene. Modellens kostnadseffektivitet reduserer ikke bare driftskostnader, men utvider også mulighetene for AI-integrering over ulike industrier, inkludert nye markeder som bærbart teknologi og hjemmeautomatisering. Phi-3 Mini muliggjør dataprosesseringsdirekte på lokale enheter, noe som forbedrer brukerprivatliv. Dette kan være avgjørende for å håndtere følsomme opplysninger i felt som personlig helse og finansielle tjenester. I tillegg bidrar modellens lave energikrav til miljøvennlig AI-drift, i tråd med globale bærekraftsinitiativer.

Designfilosofi og utvikling av Phi

Phis designfilosofi er basert på konseptet curriculum learning, som tar utgangspunkt i den pedagogiske tilnærmingen hvor barn lærer gjennom stadig mer utfordrende eksempler. Hovedideen er å starte treningen av AI med enklere eksempler og gradvis øke kompleksiteten i treningsdataene etterhvert som læreprosessen skrider frem. Microsoft har implementert denne pedagogiske strategien ved å bygge en datasett fra lærebøker, som det er beskrevet i deres studie “Textbooks Are All You Need.” Phi-serien ble lansert i juni 2023, og startet med Phi-1, en kompakt modell med 1,3 milliarder parametre. Denne modellen viste raskt sin effektivitet, spesielt i Python-kodingoppgaver, hvor den overgikk større og mer komplekse modeller. Bygging på denne suksessen, utviklet Microsoft senere Phi-1.5, som beholdt samme antall parametre, men utvidet sine evner i områder som felles fornuft og språkforståelse. Serien utmerket seg med lanseringen av Phi-2 i desember 2023. Med 2,7 milliarder parametre, viste Phi-2 imponerende ferdigheter i resonnering og språkforståelse, og posisjonerte seg som en sterk konkurrent mot betydelig større modeller.

Phi-3 vs. andre små språkmodeller

Ved å bygge videre på sine forgjengere, utvider Phi-3 Mini fremgangen til Phi-2, og overgår andre SLM-er, som Googles Gemma, Mistrals Mistral, Metas Llama3-Instruct, og GPT 3.5, i en rekke industrielle applikasjoner. Disse applikasjonene inkluderer språkforståelse og inferens, generell kunnskap, felles fornuft, matematikk og medisinske spørsmål, og viser overlegen ytelse sammenlignet med disse modellene. Phi-3 Mini har også gjennomgått offline-testing på en iPhone 14 for ulike oppgaver, inkludert innholdsskaping og aktivitetssuggestering tilpasset bestemte steder. For dette formålet er Phi-3 Mini blitt kondensert til 1,8 GB ved hjelp av en prosess kalt kvantisering, som optimaliserer modellen for begrensede ressurser-enheter ved å konvertere modellens numeriske data fra 32-bits flyttall til mer kompakte formater som 4-bits heltall. Dette reduserer ikke bare modellens minneavtrykk, men forbedrer også prosesseringshastighet og strømeffektivitet, noe som er avgjørende for mobile enheter. Utviklere bruker vanligvis rammer som TensorFlow Lite eller PyTorch Mobile, som inkluderer innebygde kvantiseringverktøy for å automatisere og finjustere denne prosessen.

Funksjonsammenligning: Phi-3 Mini vs. Phi-2 Mini

Under sammenligner vi noen av funksjonene til Phi-3 med dens forgjenger Phi-2.

• Modellarkitektur: Phi-2 opererer på en transformer-basert arkitektur designet for å forutsi neste ord. Phi-3 Mini bruker også en transformer-dekoder-arkitektur, men ligner mer på Llama-2-modellstrukturen, og bruker samme tokenizer med en ordliste på 320 641. Denne kompatibiliteten sikrer at verktøy utviklet for Llama-2 kan lett tilpasses for bruk med Phi-3 Mini.
• Kontekstlengde: Phi-3 Mini støtter en kontekstlengde på 8 000 token, som er betydelig lengre enn Phi-2s 2 048 token. Denne økningen tillater Phi-3 Mini å håndtere mer detaljerte interaksjoner og prosessere lengre tekststrenger.
• Kjøring lokalt på mobile enheter: Phi-3 Mini kan komprimeres til 4-bits, og opptar omtrent 1,8 GB minne, lignende Phi-2. Den ble testet kjørende offline på en iPhone 14 med en A16 Bionic-chip, hvor den oppnådde en prosesseringshastighet på over 12 token per sekund, og matchet Phi-2s ytelse under lignende forhold.
• Modellstørrelse: Med 3,8 milliarder parametre, har Phi-3 Mini en større skala enn Phi-2, som har 2,7 milliarder parametre. Dette reflekterer dens økte evner.
• Treningsdata: I motsetning til Phi-2, som ble trent på 1,4 billioner token, har Phi-3 Mini blitt trent på en mye større datasett på 3,3 billioner token, og har dermed oppnådd en bedre forståelse av komplekse språkmønster.

Å håndtere Phi-3 Minis begrensninger

Selv om Phi-3 Mini viser betydelige fremgang i området små språkmodeller, er den ikke uten begrensninger. En primær begrensning for Phi-3 Mini, gitt dens mindre størrelse sammenlignet med massive språkmodeller, er dens begrensede evne til å lagre omfattende faktisk kunnskap. Dette kan påvirke dens evne til å uavhengig håndtere spørsmål som krever en dybde av spesifikke faktiske data eller detaljert ekspertkunnskap. Dette kan imidlertid kompenseres ved å integrere Phi-3 Mini med en søkemotor. På denne måten kan modellen få tilgang til en bredere rekke informasjon i sanntid, og effektivt kompensere for dens innebygde kunnskapsbegrensninger. Denne integreringen muliggjør at Phi-3 Mini fungerer som en svært dyktig samtalepartner som, til tross for en omfattende forståelse av språk og kontekst, kan trenge å “sjekke opp” informasjon for å gi nøyaktige og oppdaterte svar.

Tilgjengelighet

Phi-3 er nå tilgjengelig på flere plattformer, inkludert Microsoft Azure AI Studio, Hugging Face, og Ollama. På Azure AI, inkorporerer modellen en deploy-evaluere-finjustere-arbeidsflyt, og på Ollama kan den kjøres lokalt på bærbare datamaskiner. Modellen er tilpasset for ONNX Runtime og støtter Windows DirectML, og sikrer at den fungerer godt på ulike hardvaretyper, som GPU-er, CPU-er og mobile enheter. I tillegg tilbys Phi-3 som en mikrotjeneste via NVIDIA NIM, utstyrt med en standard-API for enkel deployering over ulike miljøer, og er optimalisert spesielt for NVIDIA-GPU-er. Microsoft planlegger å videre utvide Phi-3-serien i nær fremtid ved å legge til Phi-3-small (7B) og Phi-3-medium (14B)-modellene, og gir brukerne flere valgmuligheter for å balansere kvalitet og kostnad.

Sammenfatting

Microsofts Phi-3 Mini tar store skritt i feltet kunstig intelligens ved å tilpasse kraften til store språkmodeller for mobil bruk. Denne modellen forbedrer brukerinteraksjon med enheter gjennom raskere og mer umiddelbar prosessering, og forbedrer privatlivsfunksjoner. Den reduserer behovet for skybaserte tjenester, og minsker driftskostnader, og utvider mulighetene for AI-applikasjoner i områder som helse og hjemmeautomatisering. Med fokus på å redusere fordommer gjennom curriculum learning, og vedlikeholde konkurranseevne, utvikler Phi-3 Mini seg til et nøkkelverktøy for effektiv og bærekraftig mobil AI, og forandrer subtilt hvordan vi interagerer med teknologi daglig.