Powerhouse džepne veličine: otkrivanje Microsoftovog Phi-3, jezičnog modela koji stane u vaš telefon

U brzo razvijajućem području umjetne inteligencije, dok je trend često naginjao prema većim i složenijim modelima, Microsoft usvaja drugačiji pristup sa svojim Phi-3 Mini. Ovaj mali jezični model (SLM), sada u svojoj trećoj generaciji, pakira robusne mogućnosti većih modela u okvir koji se uklapa u stroga ograničenja resursa pametnih telefona. Sa 3.8 milijardi parametara, Phi-3 Mini odgovara performansama veliki jezični modeli (LLM) u različitim zadacima, uključujući obradu jezika, razmišljanje, kodiranje i matematiku, a prilagođen je za učinkovit rad na mobilnim uređajima putem kvantizacije.

Izazovi velikih jezičnih modela

Razvoj Microsoftovih Phi SLM-ova odgovor je na značajne izazove koje postavljaju LLM-ovi, koji zahtijevaju više računalne snage nego što je obično dostupno na potrošačkim uređajima. Ova velika potražnja komplicira njihovu upotrebu na standardnim računalima i mobilnim uređajima, podiže zabrinutost za okoliš zbog njihove potrošnje energije tijekom obuke i rada te riskira održavanje pristranosti s njihovim velikim i složenim skupovima podataka za obuku. Ovi čimbenici također mogu utjecati na odziv modela u aplikacijama u stvarnom vremenu i učiniti ažuriranja izazovnijima.

Phi-3 Mini: Pojednostavljanje AI na osobnim uređajima za poboljšanu privatnost i učinkovitost

Korištenje električnih romobila ističe Phi-3 Mini je strateški dizajniran da ponudi ekonomičnu i učinkovitu alternativu za integraciju napredne umjetne inteligencije izravno na osobne uređaje kao što su telefoni i prijenosna računala. Ovaj dizajn omogućuje brže, neposrednije odgovore, poboljšavajući interakciju korisnika s tehnologijom u svakodnevnim scenarijima.

Phi-3 Mini omogućuje izravnu obradu sofisticiranih AI funkcionalnosti na mobilnim uređajima, što smanjuje oslanjanje na usluge u oblaku i poboljšava rukovanje podacima u stvarnom vremenu. Ova je mogućnost ključna za aplikacije koje zahtijevaju trenutnu obradu podataka, kao što je mobilna zdravstvena skrb, prevođenje jezika u stvarnom vremenu i personalizirano obrazovanje, olakšavajući napredak u tim poljima. Troškovna učinkovitost modela ne samo da smanjuje operativne troškove, već i proširuje potencijal za integraciju umjetne inteligencije u raznim industrijama, uključujući tržišta u nastajanju poput nosive tehnologije i kućne automatizacije. Phi-3 Mini omogućuje obradu podataka izravno na lokalnim uređajima čime se povećava privatnost korisnika. To bi moglo biti ključno za upravljanje osjetljivim informacijama u područjima kao što su osobno zdravlje i financijske usluge. Štoviše, niski energetski zahtjevi modela doprinose ekološki održivim AI operacijama, usklađujući se s globalnim naporima za održivost.

Filozofija dizajna i evolucija Phi

Phijeva filozofija dizajna temelji se na konceptu učenje po kurikulumu, koji crpi inspiraciju iz obrazovnog pristupa u kojem djeca uče kroz sve izazovnije primjere. Glavna ideja je započeti obuku AI s lakšim primjerima i postupno povećavati složenost podataka za obuku kako proces učenja napreduje. Microsoft je implementirao ovu obrazovnu strategiju izgradnjom skupa podataka iz udžbenika, kao što je detaljno opisano u njihovoj studiji “Udžbenici su sve što trebate.” Serija Phi lansirana je u lipnju 2023., počevši s Phi-1, kompaktnim modelom koji se može pohvaliti s 1.3 milijarde parametara. Ovaj je model brzo pokazao svoju učinkovitost, osobito u zadacima kodiranja u Pythonu, gdje je nadmašio veće, složenije modele. Nadovezujući se na ovaj uspjeh, Microsoft je nedavno razvio Phi-1.5, koji je zadržao isti broj parametara, ali je proširio svoje mogućnosti u područjima kao što su zdravorazumsko zaključivanje i razumijevanje jezika. Serija je zasjenila izlaskom Phi-2 u prosincu 2023. S 2.7 milijardi parametara, Phi-2 pokazao je impresivne vještine rezoniranja i razumijevanja jezika, pozicionirajući ga kao snažnog konkurenta znatno većim modelima.

Phi-3 u odnosu na druge male jezične modele

Proširujući svoje prethodnike, Phi-3 Mini proširuje napredak Phi-2 nadmašujući druge SLM-ove, kao što su Googleova Gemma, Maestralov maestral, Meta's Llama3-Instructi GPT 3.5, u raznim industrijskim primjenama. Ove aplikacije uključuju razumijevanje jezika i zaključivanje, opće znanje, zdravorazumsko zaključivanje, matematičke tekstualne probleme u osnovnoj školi i odgovaranje na medicinska pitanja, pokazujući vrhunsku izvedbu u usporedbi s ovim modelima. Phi-3 Mini također je prošao izvanmrežno testiranje na iPhoneu 14 za različite zadatke, uključujući stvaranje sadržaja i pružanje prijedloga aktivnosti prilagođenih određenim lokacijama. U tu svrhu, Phi-3 Mini je kondenziran na 1.8 GB pomoću procesa tzv kvantizacija, koji optimizira model za uređaje s ograničenim resursima pretvaranjem numeričkih podataka modela iz 32-bitnih brojeva s pomičnim zarezom u kompaktnije formate poput 4-bitnih cijelih brojeva. Ovo ne samo da smanjuje memorijski otisak modela, već i poboljšava brzinu obrade i energetsku učinkovitost, što je od vitalnog značaja za mobilne uređaje. Programeri obično koriste okvire kao što su TensorFlow Lite or PyTorch Mobile, koji uključuje ugrađene alate za kvantizaciju za automatizaciju i pročišćavanje ovog procesa.

Usporedba značajki: Phi-3 Mini naspram Phi-2 Mini

U nastavku uspoređujemo neke značajke Phi-3 s njegovim prethodnikom Phi-2.

• Arhitektura modela: Phi-2 radi na arhitekturi temeljenoj na transformatorima dizajniranoj za predviđanje sljedeće riječi. Phi-3 Mini također koristi arhitekturu dekodera transformatora, ali je više usklađen sa strukturom modela Llama-2, koristeći isti tokenizator s veličinom rječnika od 320,641. Ova kompatibilnost osigurava da se alati razvijeni za Llama-2 mogu lako prilagoditi za korištenje s Phi-3 Mini.
• Duljina konteksta: Phi-3 Mini podržava duljinu konteksta od 8,000 tokena, što je znatno više od 2 tokena Phi-2,048. Ovo povećanje omogućuje Phi-3 Mini upravljanje detaljnijim interakcijama i obradu duljih dijelova teksta.
• Pokreće se lokalno na mobilnim uređajima: Phi-3 Mini može se komprimirati u 4 bita, zauzimajući oko 1.8 GB memorije, slično Phi-2. Testiran je u izvanmrežnom radu na iPhoneu 14 s A16 Bionic čipom, gdje je postigao brzinu obrade veću od 12 tokena u sekundi, što odgovara performansama Phi-2 u sličnim uvjetima.
• Veličina modela: S 3.8 milijardi parametara, Phi-3 Mini ima veće mjerilo od Phi-2, koji ima 2.7 milijardi parametara. To odražava njegove povećane sposobnosti.
• Podaci o treningu: Za razliku od Phi-2, koji je treniran na 1.4 trilijuna tokena, Phi-3 Mini je treniran na mnogo većem skupu od 3.3 trilijuna tokena, što mu omogućuje postizanje boljeg razumijevanja složenih jezičnih obrazaca.

Rješavanje ograničenja Phi-3 Mini

Iako Phi-3 Mini pokazuje značajan napredak u području malih jezičnih modela, nije bez ograničenja. Primarno ograničenje Phi-3 Mini, s obzirom na njegovu manju veličinu u usporedbi s masivnim jezičnim modelima, je njegov ograničeni kapacitet za pohranu opsežnog činjeničnog znanja. To može utjecati na njegovu sposobnost da samostalno obrađuje upite koji zahtijevaju dubinu određenih činjeničnih podataka ili detaljno stručno znanje. To se međutim može ublažiti integracijom Phi-3 Mini s tražilicom. Na ovaj način model može pristupiti širem rasponu informacija u stvarnom vremenu, učinkovito kompenzirajući svoja inherentna ograničenja znanja. Ova integracija omogućuje Phi-3 Mini da funkcionira kao vrlo sposoban sugovornik koji, unatoč sveobuhvatnom razumijevanju jezika i konteksta, može povremeno trebati "potražiti" informacije kako bi pružio točne i ažurne odgovore.

Dostupnost

Phi-3 je sada dostupan na nekoliko platformi, uključujući Microsoft Azure AI Studio, Zagrljeno licei Ollama. Na Azure AI, model uključuje tijek rada implementacije-evaluacije-fine podešavanja, a na Ollami se može pokrenuti lokalno na prijenosnim računalima. Model je skrojen za Izvršenje ONNX-a i podržava Windows DirectML, osiguravajući da dobro radi na različitim vrstama hardvera kao što su GPU, CPU i mobilni uređaji. Dodatno, Phi-3 se nudi kao mikroservis putem NVIDIA NIM, opremljen standardnim API-jem za jednostavnu implementaciju u različitim okruženjima i optimiziran posebno za NVIDIA GPU. Microsoft planira dodatno proširiti seriju Phi-3 u bliskoj budućnosti dodavanjem modela Phi-3-small (7B) i Phi-3-medium (14B), pružajući korisnicima dodatne mogućnosti za postizanje ravnoteže između kvalitete i cijene.

Bottom Line

Microsoftov Phi-3 Mini čini značajne korake u području umjetne inteligencije prilagodbom snage velikih jezičnih modela za mobilnu upotrebu. Ovaj model poboljšava interakciju korisnika s uređajima kroz bržu obradu u stvarnom vremenu i poboljšane značajke privatnosti. Minimizira potrebu za uslugama temeljenim na oblaku, smanjujući operativne troškove i proširujući opseg za aplikacije umjetne inteligencije u područjima kao što su zdravstvo i kućna automatizacija. S fokusom na smanjenje pristranosti kroz učenje nastavnog plana i programa i održavanje konkurentne izvedbe, Phi-3 Mini se razvija u ključni alat za učinkovitu i održivu mobilnu umjetnu inteligenciju, suptilno mijenjajući način na koji svakodnevno komuniciramo s tehnologijom.