Lommekraftpakken: Microsofts Phi-3, språkmodellen som passer i telefonen

I det raskt utviklende feltet kunstig intelligens, hvor trenden ofte har gått mot større og mer komplekse modeller, tar Microsoft (MSFT ) en annen tilnærming med sin Phi-3 Mini. Denne lille språkmodellen (SLM), nå i sin tredje generasjon, pakker de robuste egenskapene til større modeller inn i en ramme som passer innenfor de strenge ressursbegrensningene til smarttelefoner. Med 3,8 milliarder parametre matcher Phi-3 Mini ytelsen til store språkmodeller (LLM) på ulike oppgaver, inkludert språkbehandling, resonnering, kode og matematikk, og er tilpasset for effektiv drift på mobile enheter gjennom kvantisering.

Utfordringer med store språkmodeller

Utviklingen av Microsofts Phi SLM er en respons på de betydelige utfordringene som store språkmodeller stiller, som krever mer beregningskraft enn det som vanligvis er tilgjengelig på forbrukerenheter. Dette høye kravet kompliserer deres bruk på standard datamaskiner og mobile enheter, og fører til miljømessige bekymringer på grunn av deres energiforbruk under trening og drift, og risikerer å videreforedle fordommer med deres store og komplekse treningsdatasett. Disse faktorene kan også hemme modellenes responsivitet i sanntidsapplikasjoner og gjøre oppdateringer mer utfordrende.

Phi-3 Mini: Strømlinjeformning av AI på personlige enheter for forbedret privatliv og effisiens

Den Phi-3 Mini er strategisk designet for å tilby en kostnadseffektiv og effektiv alternativ for å integrere avansert AI direkte på personlige enheter som telefoner og bærbare datamaskiner. Dette designet muliggjør raskere og mer umiddelbare responser, og forbedrer brukerinteraksjonen med teknologi i hverdagslige scenarier.

Phi-3 Mini muliggjør avanserte AI-funksjoner å bli prosessert direkte på mobile enheter, noe som reduserer avhengighet av skytjenester og forbedrer sanntidsdatahåndtering. Denne evnen er avgjørende for applikasjoner som krever umiddelbar datahåndtering, som mobil helse, sanntidsspråkoversettelse og personlig utdanning, og muliggjør fremgang i disse feltene. Modellens kostnadseffektivitet reduserer ikke bare driftskostnadene, men utvider også mulighetene for AI-integrasjon over ulike bransjer, inkludert nye markeder som wearables og hjemmeautomatisering. Phi-3 Mini muliggjør datahåndtering direkte på lokale enheter, noe som forbedrer brukerens privatliv. Dette kan være avgjørende for å håndtere følsom informasjon i felt som personlig helse og finansielle tjenester. I tillegg bidrar modellens lave energikrav til miljøvennlige AI-drift, i tråd med globale bærekraftsbestrebelser.

Designfilosofi og utvikling av Phi

Phis designfilosofi er basert på konseptet curriculum learning, som tar inspirasjon fra den pedagogiske tilnærmingen hvor barn lærer gjennom progressivt mer utfordrende eksempler. Hovedideen er å starte treningen av AI med enklere eksempler og gradvis øke kompleksiteten i treningsdataene etterhvert som læreprosessen skrider frem. Microsoft har implementert denne pedagogiske strategien ved å bygge en datasett fra lærebøker, som detaljert i deres studie “Textbooks Are All You Need.” Phi-serien ble lansert i juni 2023, og startet med Phi-1, en kompakt modell med 1,3 milliarder parametre. Denne modellen viste raskt sin effektivitet, spesielt i Python-kodingoppgaver, hvor den overgikk større og mer komplekse modeller. Bygging på denne suksessen, utviklet Microsoft senere Phi-1.5, som beholdt samme antall parametre, men utvidet sine evner i områder som felles fornuft og språkforståelse. Serien skinte med lanseringen av Phi-2 i desember 2023. Med 2,7 milliarder parametre, viste Phi-2 imponerende ferdigheter i resonnering og språkforståelse, og posisjonerte seg som en sterk konkurrent mot betydelig større modeller.

Phi-3 vs. andre små språkmodeller

Ved å bygge på sine forgjengere, utvider Phi-3 Mini fremgangen til Phi-2 ved å overgå andre SLM, som Googles Gemma, Mistrals Mistral, Metas Llama3-Instruct, og GPT 3.5, i en rekke industrielle applikasjoner. Disse applikasjonene inkluderer språkforståelse og inferens, generell kunnskap, felles fornuft, matematikk og medisinske spørsmål, og viser overlegen ytelse sammenlignet med disse modellene. Phi-3 Mini har også gjennomgått offline-testing på en iPhone 14 for ulike oppgaver, inkludert innholdsskapning og å gi aktivitetssuggester basert på bestemte lokasjoner. For dette formålet har Phi-3 Mini blitt kondensert til 1,8 GB ved hjelp av en prosess kalt kvantisering, som optimaliserer modellen for enheter med begrensede ressurser ved å konvertere modellens numeriske data fra 32-bits flytende tall til mer kompakte formater som 4-bits heltall. Dette reduserer ikke bare modellens minnehøndtrykk, men forbedrer også prosesseringshastigheten og strømeffektiviteten, noe som er avgjørende for mobile enheter. Utviklere bruker vanligvis rammeverk som TensorFlow Lite eller PyTorch Mobile, som inkluderer innebygde kvantiseringverktøy for å automatisere og finjustere denne prosessen.

Funksjonsammenligning: Phi-3 Mini vs. Phi-2 Mini

Nedenfor sammenligner vi noen av funksjonene til Phi-3 med dens forgjenger Phi-2.

• Modellarkitektur: Phi-2 opererer på en transformer-basert arkitektur designet for å forutsi neste ord. Phi-3 Mini bruker også en transformer-dekoder-arkitektur, men ligner mer på Llama-2-modellstrukturen, med samme tokenizer og en ordliste på 320 641. Denne kompatibiliteten sikrer at verktøy utviklet for Llama-2 kan lett tilpasses for bruk med Phi-3 Mini.
• Kontekstlengde: Phi-3 Mini støtter en kontekstlengde på 8 000 token, som er betydelig lengre enn Phi-2s 2 048 token. Denne økningen tillater Phi-3 Mini å håndtere mer detaljerte interaksjoner og prosessere lengre tekststrenger.
• Lokal kjøring på mobile enheter: Phi-3 Mini kan komprimeres til 4-bits, og opptar omtrent 1,8 GB minne, lignende Phi-2. Den ble testet på en iPhone 14 med en A16 Bionic-chip, hvor den oppnådde en prosesseringshastighet på over 12 token per sekund, sammenlignet med Phi-2 under lignende forhold.
• Modellstørrelse: Med 3,8 milliarder parametre har Phi-3 Mini en større skala enn Phi-2, som har 2,7 milliarder parametre. Dette reflekterer dens økte evner.
• Treningsdata: I motsetning til Phi-2, som ble trenet på 1,4 billioner token, har Phi-3 Mini blitt trenet på en mye større mengde treningsdata på 3,3 billioner token, noe som tillater den å oppnå en bedre forståelse av komplekse språkmønster.

Å håndtere Phi-3 Minis begrensninger

Selv om Phi-3 Mini viser betydelige fremgang i området små språkmodeller, er den ikke uten begrensninger. En primær begrensning for Phi-3 Mini, gitt dens mindre størrelse sammenlignet med store språkmodeller, er dens begrensede evne til å lagre omfattende faktisk kunnskap. Dette kan påvirke dens evne til å uavhengig håndtere spørsmål som krever en dybde av spesifikke faktiske data eller detaljert ekspertkunnskap. Dette kan imidlertid mildnes ved å integrere Phi-3 Mini med en søkemotor. Denne integreringen tillater modellen å fungere som en svært dyktig samtalepartner som, til tross for en omfattende forståelse av språk og kontekst, kan trenge å “sjekke opp” informasjon for å gi nøyaktige og oppdaterte svar.

Tilgjengelighet

Phi-3 er nå tilgjengelig på flere plattformer, inkludert Microsoft Azure AI Studio, Hugging Face og Ollama. På Azure AI, inkluderer modellen en deploy-evaluere-finejustere-arbeidsflyt, og på Ollama kan den kjøres lokalt på bærbare datamaskiner. Modellen er tilpasset for ONNX Runtime og støtter Windows DirectML, noe som sikrer at den fungerer godt på ulike hårdvarer, inkludert GPU-er, CPU-er og mobile enheter. I tillegg tilbys Phi-3 som en mikrotjeneste via NVIDIA NIM (NVDA ), utstyrt med en standard-API for enkel distribusjon over ulike miljøer og optimalisert spesielt for NVIDIA-GPU-er. Microsoft planlegger å videre utvide Phi-3-serien i nær fremtid ved å legge til Phi-3-small (7B) og Phi-3-medium (14B), og gi brukerne flere valg for å balansere kvalitet og kostnad.

Sluttorden

Microsofts Phi-3 Mini tar store skritt i feltet kunstig intelligens ved å tilpasse kraften til store språkmodeller for mobil bruk. Denne modellen forbedrer brukerinteraksjonen med enhetene gjennom raskere, sanntidsbehandling og forbedrede privatlivsfunksjoner. Den reduserer behovet for skybaserte tjenester, noe som reduserer driftskostnadene og utvider mulighetene for AI-applikasjoner i områder som helse og hjemmeautomatisering. Med fokus på å redusere fordommer gjennom curriculum learning og vedlikeholde konkurrerende ytelse, utvikler Phi-3 Mini seg til et nøkkelverktøy for effektiv og bærekraftig mobil AI, og forandrer subtilt hvordan vi interagerer med teknologi daglig.