Kapský Powerhouse: Odhalení Microsoftova Phi-3, jazykového modelu, který se vejde do vašeho telefonu

V rychle se vyvíjejícím oboru umělé inteligence, zatímco trend často směřoval k větším a složitějším modelům, Microsoft přijímá odlišný přístup se svým Phi-3 Mini. Tento malý jazykový model (SLM), nyní ve své třetí generaci, balí robustní schopnosti větších modelů do rámce, který se vejde do přísných omezení zdrojů smartphonů. S 3,8 miliardami parametrů Phi-3 Mini odpovídá výkonu velkých jazykových modelů (LLM) napříč různými úkoly, včetně zpracování jazyka, rozumu, kódování a matematiky, a je přizpůsoben pro efektivní provoz na mobilních zařízeních prostřednictvím kvantizace.

Výzvy velkých jazykových modelů

Vývoj Microsoftových Phi SLM je odpovědí na významné výzvy, které představují LLM, které vyžadují více výpočetní síly, než je obvykle k dispozici na spotřebitelských zařízeních. Tato vysoká poptávka komplikuje jejich použití na standardních počítačích a mobilních zařízeních, zvyšuje environmentální obavy kvůli jejich spotřebě energie během školení a provozu a riskuje perpetuovat předpojatosti se svými velkými a složitými trénovacími datovými sadami. Tyto faktory mohou také zhoršit odezvu modelů v reálném čase a učinit aktualizace složitějšími.

Phi-3 Mini: Streamlining AI na osobních zařízeních pro zlepšení soukromí a efektivity

Phi-3 Mini je strategicky navržen tak, aby nabídl nákladově efektivní a efektivní alternativu pro integraci pokročilé AI přímo na osobní zařízení, jako jsou telefony a notebooky. Tento design umožňuje rychlejší a okamžitější odpovědi, zlepšující interakci uživatelů s technologií v každodenních scénářích.

Phi-3 Mini umožňuje sofistikované AI funkce být přímo zpracovány na mobilních zařízeních, což snižuje závislost na cloudových službách a zlepšuje zpracování dat v reálném čase. Tato schopnost je zásadní pro aplikace, které vyžadují okamžité zpracování dat, jako je mobilní zdravotní péče, překlad v reálném čase a personalizovaná výchova, usnadňující pokroky v těchto oblastech. Nákladová efektivita modelu nejen snižuje provozní náklady, ale také rozšiřuje potenciál pro integraci AI napříč různými odvětvími, včetně vznikajících trhů, jako je nositelná technologie a domácí automatizace. Phi-3 Mini umožňuje zpracování dat přímo na místních zařízeních, což zvyšuje soukromí uživatelů. To může být zásadní pro správu citlivých informací v oblastech, jako je osobní zdraví a finanční služby. Kromě toho nízké energetické požadavky modelu přispívají k environmentálně udržitelným AI operacím, které jsou v souladu se globálními úsilími o udržitelnost.

Designová filozofie a evoluce Phi

Designová filozofie Phi je založena na konceptu curriculum learning, který čerpá inspiraci z vzdělávacího přístupu, kde děti se učí prostřednictvím postupně složitějších příkladů. Hlavní myšlenka spočívá v tom, aby se školení AI začalo s jednoduššími příklady a postupně zvyšovalo složitost trénovacích dat, jak se proces učení postupuje. Microsoft implementoval tuto vzdělávací strategii vytvořením datové sady z učebnic, jak je popsáno ve své studii “Textbooks Are All You Need.” Řada Phi byla spuštěna v červnu 2023, začínající s Phi-1, kompaktním modelem s 1,3 miliardou parametrů. Tento model rychle prokázal svou efektivitu, zejména v úkolech Python kódování, kde překonal větší a složitější modely. Na základě tohoto úspěchu Microsoft později vyvinul Phi-1.5, který si udržel stejný počet parametrů, ale rozšířil své schopnosti v oblastech, jako je běžný smysl a jazykové porozumění. Řada vynikla s vydáním Phi-2 v prosinci 2023. S 2,7 miliardami parametrů Phi-2 prokázal působivé dovednosti v rozumu a jazykovém porozumění, čímž se stal silným konkurentem proti výrazně větším modelům.

Phi-3 vs. ostatní malé jazykové modely

Rozšiřující se o své předchůdce, Phi-3 Mini rozšiřuje pokroky Phi-2 překonávající ostatní SLM, jako je Google’s Gemma, Mistral’s Mistral, Meta’s Llama3-Instruct, a GPT 3.5, v různých průmyslových aplikacích. Tyto aplikace zahrnují jazykové porozumění a inferenci, obecné znalosti, běžný smysl, matematické úkoly a zdravotnické otázky, prokazující lepší výkon ve srovnání s těmito modely. Phi-3 Mini také prošel offline testováním na iPhone 14 pro různé úkoly, včetně vytváření obsahu a poskytování aktivit přizpůsobených konkrétním lokalitám. K tomuto účelu byl Phi-3 Mini zmenšen na 1,8 GB pomocí procesu nazvaného kvantizace, který optimalizuje model pro zařízení s omezenými zdroji konverzí numerických dat modelu z 32bitových čísel s plovoucí desetinnou čárkou na kompaktnější formáty, jako 4bitová čísla. To nejen snižuje paměťový otisk modelu, ale také zlepšuje rychlost zpracování a energetickou efektivitu, což je zásadní pro mobilní zařízení. Vývojáři obvykle využívají rámce, jako je TensorFlow Lite nebo PyTorch Mobile, které zahrnují vestavěné nástroje pro kvantizaci, aby automatizovali a rafinovali tento proces.

Srovnání funkcí: Phi-3 Mini vs. Phi-2 Mini

Níže srovnáváme některé funkce Phi-3 s jeho předchůdcem Phi-2.

• Modelová architektura: Phi-2 funguje na transformer-based architektuře navržené pro předpověď následujícího slova. Phi-3 Mini také využívá transformer dekodér architekturu, ale více se shoduje se strukturou modelu Llama-2, využívající stejný tokenizér s velikostí slovníku 320 641. Tato kompatibilita zajišťuje, že nástroje vyvinuté pro Llama-2 lze snadno přizpůsobit pro použití s Phi-3 Mini.
• kontextová délka: Phi-3 Mini podporuje kontextovou délku 8 000 tokenů, což je podstatně větší než 2 048 tokenů Phi-2. Tento nárůst umožňuje Phi-3 Mini spravovat podrobnější interakce a zpracovávat delší úseky textu.
• Spouštění místně na mobilních zařízeních: Phi-3 Mini lze zkomprimovat na 4 bity, zabírající asi 1,8 GB paměti, podobně jako Phi-2. Byl testován při spuštění offline na iPhone 14 s čipem A16 Bionic, kde dosáhl rychlosti zpracování více než 12 tokenů za sekundu, odpovídající výkonu Phi-2 za podobných podmínek.
• Velikost modelu: S 3,8 miliardami parametrů má Phi-3 Mini větší měřítko než Phi-2, který má 2,7 miliard parametrů. To odráží jeho zvýšené schopnosti.
• Trénovací data: Na rozdíl od Phi-2, který byl trénován na 1,4 bilionu tokenů, Phi-3 Mini byl trénován na mnohem větším souboru 3,3 bilionu tokenů, umožňujícím mu lépe pochopit složité jazykové vzorce.

Vyřešení omezení Phi-3 Mini

Zatímco Phi-3 Mini prokazuje významné pokroky v oblasti malých jazykových modelů, není bez omezení. Primárním omezením Phi-3 Mini, vzhledem k jeho menší velikosti ve srovnání s velkými jazykovými modely, je jeho omezená kapacita pro uložení rozsáhlých faktických znalostí. To může ovlivnit jeho schopnost nezávisle zpracovat dotazy, které vyžadují hloubku specifických faktických dat nebo podrobné odborné znalosti. To lze však zmírnit integrací Phi-3 Mini s vyhledávacím motorem. Tímto způsobem může model přistupovat k širšímu spektru informací v reálném čase, efektivně kompenzujíc jeho vrozená omezení znalostí. Tato integrace umožňuje Phi-3 Mini fungovat jako vysoce schopný konverzační partner, který, navzdory komplexnímu porozumění jazyka a kontextu, může občas potřebovat “vyhledat” informace, aby poskytl přesné a aktuální odpovědi.

Dostupnost

Phi-3 je nyní k dispozici na několika platformách, včetně Microsoft Azure AI Studio, Hugging Face a Ollama. Na Azure AI model zahrnuje workflow nasazení, hodnocení a jemné ladění, a na Ollama lze spustit místně na noteboocích. Model byl přizpůsoben pro ONNX Runtime a podporuje Windows DirectML, zajišťujíc, že funguje dobře napříč různými typy hardwaru, jako jsou GPU, CPU a mobilní zařízení. Kromě toho je Phi-3 nabízen jako mikroslužba prostřednictvím NVIDIA NIM, vybavený standardním API pro snadné nasazení napříč různými prostředími a optimalizovaný speciálně pro NVIDIA GPU. Microsoft plánuje dále rozšiřovat řadu Phi-3 v blízké budoucnosti přidáním modelů Phi-3-small (7B) a Phi-3-medium (14B), poskytujícím uživatelům další možnosti pro vyvážení kvality a nákladů.

Závěrečné shrnutí

Microsoftův Phi-3 Mini činí významné kroky v oblasti umělé inteligence přizpůsobením síly velkých jazykových modelů pro mobilní použití. Tento model zlepšuje interakci uživatelů se zařízeními prostřednictvím rychlejšího a reálného zpracování a vylepšených funkcí soukromí. Minimalizuje potřebu cloudových služeb, snižuje provozní náklady a rozšiřuje potenciál pro aplikace AI v oblastech, jako je zdravotní péče a domácí automatizace. S důrazem na snižování předpojatostí prostřednictvím curriculum learning a udržení konkurenceschopného výkonu se Phi-3 Mini vyvíjí v klíčový nástroj pro efektivní a udržitelnou mobilní AI, jemně transformující, jak interagujeme s technologií denně.