Zsebméretű erőmű: a Microsoft Phi-3-ának bemutatása, a telefonba illeszkedő nyelvi modell

A mesterséges intelligencia gyorsan fejlődő területén, miközben a trend gyakran a nagyobb és összetettebb modellek felé hajlik, a Microsoft más megközelítést alkalmaz a Phi-3 Minivel. Ez kis nyelvi modell (SLM)Az immár harmadik generációs verziója a nagyobb modellek robusztus képességeit olyan keretbe csomagolja, amely belefér az okostelefonok szigorú erőforrás-korlátai közé. 3.8 milliárd paraméterével a Phi-3 Mini megfelel a teljesítményének nagy nyelvi modellek (LLM) különféle feladatokban, beleértve a nyelvi feldolgozást, az érvelést, a kódolást és a matematikát, és a kvantálás révén a mobileszközökön történő hatékony működésre szabták.

A nagy nyelvi modellek kihívásai

A Microsoft Phi SLM-einek fejlesztése válasz az LLM-ek által támasztott jelentős kihívásokra, amelyek nagyobb számítási teljesítményt igényelnek, mint amennyi a fogyasztói eszközökön általában elérhető. Ez a nagy kereslet megnehezíti a szabványos számítógépeken és mobileszközökön való használatukat, környezeti aggályokat vet fel a képzés és a működés során felmerülő energiafogyasztásuk miatt, és fennáll annak a veszélye, hogy a nagy és összetett képzési adatkészleteik miatt torzítások maradnak fenn. Ezek a tényezők ronthatják a modellek válaszkészségét a valós idejű alkalmazásokban, és nagyobb kihívást jelenthetnek a frissítések elvégzésében.

Phi-3 Mini: A mesterséges intelligencia egyszerűsítése a személyes eszközökön a fokozott adatvédelem és a hatékonyság érdekében

A Phi-3 Mini Stratégiailag úgy tervezték, hogy költséghatékony és hatékony alternatívát kínáljon a fejlett mesterséges intelligencia integrálására közvetlenül a személyes eszközökbe, például telefonokba és laptopokba. Ez a kialakítás gyorsabb, azonnali válaszadást tesz lehetővé, javítva a felhasználók interakcióját a technológiával a mindennapi helyzetekben.

A Phi-3 Mini lehetővé teszi a kifinomult mesterséges intelligencia funkciók mobileszközökön történő közvetlen feldolgozását, ami csökkenti a felhőszolgáltatásoktól való függést, és javítja a valós idejű adatkezelést. Ez a képesség kulcsfontosságú az olyan alkalmazásoknál, amelyek azonnali adatfeldolgozást igényelnek, mint például a mobil egészségügy, a valós idejű nyelvi fordítás és a személyre szabott oktatás, ami elősegíti a fejlődést ezeken a területeken. A modell költséghatékonysága nemcsak a működési költségeket csökkenti, hanem kibővíti a mesterséges intelligencia integrációjának lehetőségeit a különböző iparágakban, beleértve a feltörekvő piacokat, mint például a viselhető technológia és az otthoni automatizálás. A Phi-3 Mini lehetővé teszi az adatfeldolgozást közvetlenül a helyi eszközökön, ami növeli a felhasználók adatait. Ez létfontosságú lehet az érzékeny információk kezeléséhez olyan területeken, mint a személyes egészségügy és a pénzügyi szolgáltatások. Ezenkívül a modell alacsony energiaigénye hozzájárul a környezetileg fenntartható mesterséges intelligencia működéséhez, összhangban a globális fenntarthatósági törekvésekkel.

A Phi tervezési filozófiája és evolúciója

Phi tervezési filozófiája fogalmán alapul tanterv szerinti tanulás, amely abból az oktatási megközelítésből merít ihletet, amelyben a gyerekek egyre nagyobb kihívást jelentő példákon keresztül tanulnak. A fő ötlet az, hogy az AI képzését könnyebb példákkal kezdjük, és a tanulási folyamat előrehaladtával fokozatosan növeljük a betanítási adatok összetettségét. A Microsoft ezt az oktatási stratégiát úgy valósította meg, hogy tankönyvekből adatkészletet épített fel, amint azt tanulmányukban részletezték.Tankönyvek minden, amire szüksége van.” A Phi sorozat 2023 júniusában jelent meg, kezdve a Phi-1 kompakt modellel, amely 1.3 milliárd paraméterrel büszkélkedhet. Ez a modell gyorsan bebizonyította hatékonyságát, különösen a Python kódolási feladatokban, ahol felülmúlta a nagyobb, összetettebb modelleket. Erre a sikerre építve a Microsoft később kifejlesztett Phi-1.5, amely megőrizte ugyanazt a paraméterszámot, de kiterjesztette képességeit olyan területeken, mint a józan ész és a nyelvértés. A sorozat a megjelenésével túlszárnyalt Phi-2 2023 decemberében. A 2.7 milliárd paraméterrel a Phi-2 lenyűgöző készségeket mutatott be az érvelés és a nyelvi megértés terén, így erős versenytársa lett a lényegesen nagyobb modellekkel szemben.

Phi-3 és más kis nyelvű modellek

Elődeihez képest a Phi-3 Mini kiterjeszti a Phi-2 fejlesztéseit más SLM-ek, mint pl. A Google Gemma, Mistral a Mistral, Meta's Llama3-Instructés GPT3.5, különféle ipari alkalmazásokban. Ezek az alkalmazások magukban foglalják a nyelv megértését és következtetéseit, az általános ismereteket, a józan ész érvelését, az általános iskolai matematikai szöveges feladatokat és az orvosi kérdések megválaszolását, amelyek kiváló teljesítményt mutatnak be ezekhez a modellekhez képest. A Phi-3 Mini offline tesztelésen esett át iPhone 14-en különféle feladatokhoz, beleértve a tartalom létrehozását és az adott helyekre szabott tevékenységi javaslatok biztosítását. Ebből a célból a Phi-3 Minit 1.8 GB-ra sűrítették az ún kvantálási, amely a modell numerikus adatait 32 bites lebegőpontos számokból kompaktabb formátumokká, például 4 bites egész számokká konvertálva optimalizálja a modellt korlátozott erőforrású eszközökre. Ez nemcsak csökkenti a modell memóriaterületét, hanem javítja a feldolgozási sebességet és az energiahatékonyságot is, ami létfontosságú a mobileszközök számára. A fejlesztők általában olyan keretrendszereket használnak, mint pl TensorFlow Lite or PyTorch Mobile, amely beépített kvantáló eszközöket tartalmaz a folyamat automatizálására és finomítására.

Funkció-összehasonlítás: Phi-3 Mini vs. Phi-2 Mini

Az alábbiakban összehasonlítjuk a Phi-3 néhány funkcióját az elődjével, a Phi-2-vel.

• Modellarchitektúra: A Phi-2 transzformátor alapú architektúrán működik, amelyet a következő szó megjóslására terveztek. A Phi-3 Mini transzformátor dekóder architektúrát is alkalmaz, de jobban igazodik a Llama-2 modell szerkezetéhez, ugyanazt a tokenizert használja, 320,641 2 szókinccsel. Ez a kompatibilitás biztosítja, hogy a Llama-3 számára kifejlesztett eszközök könnyen adaptálhatók a Phi-XNUMX Minivel való használatra.
• Kontextus hossza: A Phi-3 Mini 8,000 token környezeti hosszát támogatja, ami jóval nagyobb, mint a Phi-2 2,048 tokenje. Ez a növekedés lehetővé teszi a Phi-3 Mini számára, hogy részletesebb interakciókat kezeljen és hosszabb szövegrészeket dolgozzon fel.
• Helyben fut mobileszközökön: A Phi-3 Mini 4 bitesre tömöríthető, körülbelül 1.8 GB memóriát foglal el, hasonlóan a Phi-2-höz. Offline működését tesztelték egy A14 Bionic chippel ellátott iPhone 16-en, ahol másodpercenként több mint 12 token feldolgozási sebességet ért el, ami megfelel a Phi-2 teljesítményének hasonló körülmények között.
• Modell mérete: 3.8 milliárd paraméterrel a Phi-3 Mini nagyobb léptékű, mint a 2 milliárd paramétert mutató Phi-2.7. Ez a megnövekedett képességeit tükrözi.
• Képzési adatok: Ellentétben a Phi-2-vel, amelyet 1.4 billió tokenre képeztek ki, a Phi-3 Minit sokkal nagyobb, 3.3 billió tokenből álló készletre képezték ki, ami lehetővé teszi számára, hogy jobban megértse az összetett nyelvi mintákat.

A Phi-3 Mini korlátainak kezelése

Míg a Phi-3 Mini jelentős előrelépéseket mutat a kis nyelvi modellek terén, nem korlátlan. A Phi-3 Mini elsődleges korlátja, tekintettel a hatalmas nyelvi modellekhez képest kisebb méretére, a kiterjedt tényszerű ismeretek tárolására vonatkozó korlátozott kapacitása. Ez hatással lehet arra, hogy képes-e önállóan kezelni azokat a lekérdezéseket, amelyekhez konkrét tényadatokra vagy részletes szakértői ismeretekre van szükség. Ez azonban enyhíthető a Phi-3 Mini és a keresőmotor integrálásával. Így a modell valós időben szélesebb körű információhoz férhet hozzá, hatékonyan kompenzálva a benne rejlő tudáskorlátokat. Ez az integráció lehetővé teszi a Phi-3 Mini számára, hogy kiváló képességű beszélgetőpartnerként működjön, akinek a nyelv és a kontextus átfogó megértése ellenére előfordulhat, hogy időnként „keresnie kell” az információkat, hogy pontos és naprakész válaszokat adjon.

Elérhetőség

A Phi-3 már több platformon is elérhető, többek között Microsoft Azure AI Studio, Átölelő arcés Ollama. Az Azure AI-n a modell egy telepítési-kiértékelési-finomhangolási munkafolyamatot tartalmaz, az Ollama-ban pedig helyileg is futtatható laptopokon. A modellt erre szabták ONNX futásidejű és támogatja Windows DirectML, biztosítva, hogy jól működjön különféle hardvertípusokon, például GPU-kon, CPU-kon és mobileszközökön. Ezenkívül a Phi-3 mikroszolgáltatásként is elérhető NVIDIA NIM, amely szabványos API-val van felszerelve a különböző környezetekben történő egyszerű telepítés érdekében, és kifejezetten NVIDIA GPU-kra optimalizálva. A Microsoft azt tervezi, hogy a közeljövőben tovább bővíti a Phi-3 sorozatot a Phi-3-small (7B) és Phi-3-medium (14B) modellekkel, amelyek további választási lehetőséget biztosítanak a felhasználóknak a minőség és a költség egyensúlya érdekében.

A lényeg

A Microsoft Phi-3 Minije jelentős előrelépéseket tesz a mesterséges intelligencia területén a nagy nyelvi modellek erejének mobilhasználatra való adaptálásával. Ez a modell javítja a felhasználói interakciót az eszközökkel a gyorsabb, valós idejű feldolgozás és a továbbfejlesztett adatvédelmi funkciók révén. Minimálisra csökkenti a felhőalapú szolgáltatások iránti igényt, csökkenti a működési költségeket, és kiterjeszti az AI-alkalmazások hatókörét olyan területeken, mint az egészségügy és az otthoni automatizálás. Az elfogultság csökkentésére összpontosítva a tanterv tanulásával és a versenyképes teljesítmény fenntartásával a Phi-3 Mini a hatékony és fenntartható mobil AI kulcsfontosságú eszközévé fejlődik, finoman átalakítva a technológiával való napi interakciónkat.