Vrecková sila: Predstavujeme Phi-3 od Microsoftu, jazykový model, ktorý sa zmestí do vášho telefónu

V rýchlo sa rozvíjajúcej oblasti umelej inteligencie, zatiaľ čo trend sa často prikláňal k väčším a komplexnejším modelom, Microsoft u svojho Phi-3 Mini prijíma iný prístup. Toto malý jazykový model (SLM), teraz už vo svojej tretej generácii, spája robustné možnosti väčších modelov do rámca, ktorý zapadá do prísnych zdrojových obmedzení smartfónov. S 3.8 miliardami parametrov sa Phi-3 Mini vyrovná výkonu veľké jazykové modely (LLM) naprieč rôznymi úlohami vrátane spracovania jazyka, uvažovania, kódovania a matematiky a je prispôsobený pre efektívnu prevádzku na mobilných zariadeniach prostredníctvom kvantizácie.

Výzvy veľkých jazykových modelov

Vývoj Phi SLM od Microsoftu je odpoveďou na významné výzvy, ktoré predstavujú LLM, ktoré vyžadujú väčší výpočtový výkon, než je bežne dostupné na spotrebiteľských zariadeniach. Tento vysoký dopyt komplikuje ich používanie na štandardných počítačoch a mobilných zariadeniach, vyvoláva obavy o životné prostredie v dôsledku ich spotreby energie počas tréningu a prevádzky a ohrozuje pretrvávanie predsudkov s ich veľkými a komplexnými súbormi tréningových dát. Tieto faktory môžu tiež zhoršiť odozvu modelov v aplikáciách v reálnom čase a sťažiť aktualizácie.

Phi-3 Mini: Zefektívnenie AI na osobných zariadeniach pre lepšie súkromie a efektivitu

Phi-3 Mini je strategicky navrhnutý tak, aby ponúkal nákladovo efektívnu a efektívnu alternatívu na integráciu pokročilej AI priamo do osobných zariadení, ako sú telefóny a notebooky. Tento dizajn umožňuje rýchlejšie a bezprostrednejšie reakcie a zlepšuje interakciu používateľa s technológiou v každodenných situáciách.

Phi-3 Mini umožňuje priame spracovanie sofistikovaných funkcií AI na mobilných zariadeniach, čo znižuje závislosť od cloudových služieb a zlepšuje spracovanie údajov v reálnom čase. Táto schopnosť je kľúčová pre aplikácie, ktoré vyžadujú okamžité spracovanie údajov, ako je mobilná zdravotná starostlivosť, preklady jazykov v reálnom čase a personalizované vzdelávanie, čo uľahčuje pokrok v týchto oblastiach. Nákladová efektívnosť modelu nielen znižuje prevádzkové náklady, ale rozširuje aj potenciál pre integráciu AI v rôznych odvetviach vrátane rozvíjajúcich sa trhov, ako sú nositeľné technológie a domáca automatizácia. Phi-3 Mini umožňuje spracovanie údajov priamo na lokálnych zariadeniach, čo zvyšuje súkromie používateľov. To by mohlo byť životne dôležité pre správu citlivých informácií v oblastiach, ako sú osobné zdravie a finančné služby. Nízke energetické požiadavky modelu navyše prispievajú k environmentálne udržateľným operáciám AI, ktoré sú v súlade s globálnym úsilím o udržateľnosť.

Filozofia dizajnu a vývoj Phi

Filozofia dizajnu Phi vychádza z koncepcie učenie sa osnov, ktorá čerpá inšpiráciu zo vzdelávacieho prístupu, kde sa deti učia prostredníctvom postupne náročnejších príkladov. Hlavnou myšlienkou je začať trénovať AI s jednoduchšími príkladmi a postupne zvyšovať zložitosť trénovacích údajov, ako proces učenia napreduje. Spoločnosť Microsoft implementovala túto vzdelávaciu stratégiu vytvorením súboru údajov z učebníc, ako je podrobne uvedené v ich štúdii „Učebnice sú všetko, čo potrebujete.“ Séria Phi bola uvedená na trh v júni 2023, počnúc Phi-1, kompaktným modelom s 1.3 miliardami parametrov. Tento model rýchlo preukázal svoju účinnosť, najmä v úlohách kódovania Pythonu, kde prekonal väčšie a zložitejšie modely. Na základe tohto úspechu spoločnosť Microsoft nedávno vyvinula Phi-1.5, ktorá si zachovala rovnaký počet parametrov, ale rozšírila svoje možnosti v oblastiach, ako je uvažovanie zdravým rozumom a porozumenie jazyka. Séria zažiarila vydaním Phi-2 v decembri 2023. S 2.7 miliardami parametrov preukázal Phi-2 pôsobivé zručnosti v uvažovaní a porozumení jazyka, čím sa postavil ako silný konkurent oproti výrazne väčším modelom.

Phi-3 vs. iné modely malých jazykov

Rozširujúc svojich predchodcov, Phi-3 Mini rozširuje pokroky Phi-2 tým, že prekonáva iné SLM, ako napr. Gemma od Googlu, Mistral's Mistral, Meta's Llama3-Instructa GPT 3.5v rôznych priemyselných aplikáciách. Tieto aplikácie zahŕňajú jazykové porozumenie a odvodzovanie, všeobecné znalosti, logické uvažovanie, matematické slovné úlohy na základnej škole a odpovedanie na lekárske otázky, čo predstavuje vynikajúci výkon v porovnaní s týmito modelmi. Phi-3 Mini tiež prešiel offline testovaním na iPhone 14 pre rôzne úlohy, vrátane tvorby obsahu a poskytovania návrhov aktivít prispôsobených konkrétnym miestam. Na tento účel bol Phi-3 Mini zhustený na 1.8 GB pomocou procesu tzv kvantovanie, ktorá optimalizuje model pre zariadenia s obmedzenými zdrojmi konvertovaním numerických údajov modelu z 32-bitových čísel s pohyblivou rádovou čiarkou na kompaktnejšie formáty, ako sú 4-bitové celé čísla. To nielen znižuje pamäťovú stopu modelu, ale tiež zlepšuje rýchlosť spracovania a energetickú účinnosť, čo je pre mobilné zariadenia životne dôležité. Vývojári zvyčajne využívajú rámce ako napr TensorFlow Lite or PyTorch Mobile, ktorý obsahuje vstavané kvantizačné nástroje na automatizáciu a spresnenie tohto procesu.

Porovnanie funkcií: Phi-3 Mini vs. Phi-2 Mini

Nižšie porovnáme niektoré funkcie Phi-3 s jeho predchodcom Phi-2.

• Architektúra modelov: Phi-2 funguje na architektúre založenej na transformátore navrhnutej na predpovedanie nasledujúceho slova. Phi-3 Mini tiež využíva architektúru dekodéra transformátora, ale viac sa zhoduje so štruktúrou modelu Llama-2, pričom používa rovnaký tokenizér s veľkosťou slovnej zásoby 320,641 2. Táto kompatibilita zaisťuje, že nástroje vyvinuté pre Llama-3 možno ľahko prispôsobiť na použitie s Phi-XNUMX Mini.
• Dĺžka kontextu: Phi-3 Mini podporuje kontextovú dĺžku 8,000 2 tokenov, čo je podstatne viac ako 2,048 3 tokenov Phi-XNUMX. Toto zvýšenie umožňuje Phi-XNUMX Mini spravovať podrobnejšie interakcie a spracovávať dlhšie úseky textu.
• Spustenie lokálne na mobilných zariadeniach: Phi-3 Mini je možné skomprimovať na 4 bity, pričom zaberá približne 1.8 GB pamäte, podobne ako Phi-2. Bol testovaný v režime offline na iPhone 14 s čipom A16 Bionic, kde dosiahol rýchlosť spracovania viac ako 12 tokenov za sekundu, čo zodpovedá výkonu Phi-2 za podobných podmienok.
• Veľkosť modelu: S 3.8 miliardami parametrov má Phi-3 Mini väčší rozsah ako Phi-2, ktorý má 2.7 miliardy parametrov. To odráža jeho zvýšené schopnosti.
• Údaje o tréningu: Na rozdiel od Phi-2, ktorý bol trénovaný na 1.4 bilióna tokenov, Phi-3 Mini bol trénovaný na oveľa väčšej sade 3.3 bilióna tokenov, čo mu umožňuje lepšie porozumieť zložitým jazykovým vzorcom.

Riešenie obmedzení Phi-3 Mini

Zatiaľ čo Phi-3 Mini demonštruje významný pokrok v oblasti malých jazykových modelov, nie je bez obmedzení. Primárnym obmedzením Phi-3 Mini, vzhľadom na jeho menšiu veľkosť v porovnaní s masívnymi jazykovými modelmi, je jeho obmedzená kapacita na ukladanie rozsiahlych faktických znalostí. To môže ovplyvniť jeho schopnosť nezávisle spracovávať otázky, ktoré si vyžadujú hĺbku konkrétnych faktických údajov alebo podrobné odborné znalosti. To však možno zmierniť integráciou Phi-3 Mini s vyhľadávacím nástrojom. Týmto spôsobom môže model pristupovať k širšiemu spektru informácií v reálnom čase, čím efektívne kompenzuje svoje vlastné vedomostné obmedzenia. Táto integrácia umožňuje Phi-3 Mini fungovať ako vysoko schopný hovorca, ktorý napriek komplexnému chápaniu jazyka a kontextu môže občas potrebovať „vyhľadať“ informácie, aby poskytol presné a aktuálne odpovede.

Dostupnosť

Phi-3 je teraz k dispozícii na niekoľkých platformách, vrátane Microsoft Azure AI Studio, Objímajúca tvára Ollama. V Azure AI model zahŕňa pracovný postup nasadenia, vyhodnotenia a doladenia a na Ollama ho možno spustiť lokálne na prenosných počítačoch. Model bol ušitý na mieru ONNX Runtime a podporuje Windows DirectML, čím sa zabezpečí, že bude dobre fungovať naprieč rôznymi typmi hardvéru, ako sú GPU, CPU a mobilné zariadenia. Okrem toho je Phi-3 ponúkaný ako mikroslužba prostredníctvom NVIDIA NIM, vybavené štandardným API pre jednoduché nasadenie v rôznych prostrediach a optimalizované špeciálne pre GPU NVIDIA. Microsoft plánuje v blízkej budúcnosti ďalej rozširovať sériu Phi-3 pridaním modelov Phi-3-small (7B) a Phi-3-medium (14B), čím používateľom poskytne ďalšie možnosti na vyváženie kvality a ceny.

Bottom Line

Phi-3 Mini od Microsoftu robí výrazné pokroky v oblasti umelej inteligencie prispôsobením výkonu veľkých jazykových modelov pre mobilné použitie. Tento model zlepšuje interakciu používateľa so zariadeniami prostredníctvom rýchlejšieho spracovania v reálnom čase a vylepšených funkcií ochrany osobných údajov. Minimalizuje potrebu cloudových služieb, znižuje prevádzkové náklady a rozširuje rozsah aplikácií AI v oblastiach, ako je zdravotníctvo a domáca automatizácia. So zameraním na znižovanie zaujatosti prostredníctvom učenia sa učebných osnov a udržiavania konkurencieschopného výkonu sa Phi-3 Mini vyvíja v kľúčový nástroj pre efektívnu a udržateľnú mobilnú AI, ktorý jemne mení spôsob, akým každodenne komunikujeme s technológiami.