Поверхоусе џепне величине: откривање Мицрософт-овог Пхи-3, језичког модела који се уклапа у ваш телефон

У области вештачке интелигенције која се брзо развија, док је тренд често нагињао ка већим и сложенијим моделима, Мицрософт усваја другачији приступ са својим Пхи-3 Мини. Ово модел малог језика (СЛМ), сада у својој трећој генерацији, пакује робусне могућности већих модела у оквир који се уклапа у строга ограничења ресурса паметних телефона. Са 3.8 милијарди параметара, Пхи-3 Мини одговара перформансама велики језички модели (ЛЛМ) за различите задатке, укључујући обраду језика, резоновање, кодирање и математику, и прилагођен је за ефикасан рад на мобилним уређајима путем квантизације.

Изазови великих језичких модела

Развој Мицрософт-ових Пхи СЛМ-ова је одговор на значајне изазове које постављају ЛЛМ-ови, који захтевају више рачунарске снаге него што је обично доступно на потрошачким уређајима. Ова велика потражња компликује њихову употребу на стандардним рачунарима и мобилним уређајима, изазива забринутост за животну средину због њихове потрошње енергије током обуке и рада, и ризикује да продужи предрасуде са њиховим великим и сложеним скуповима података за обуку. Ови фактори такође могу умањити одзив модела у апликацијама у реалном времену и учинити ажурирање изазовнијим.

Пхи-3 Мини: Унапрјеђење АИ на личним уређајима за побољшану приватност и ефикасност

Фи-3 Мини је стратешки дизајниран да понуди исплативу и ефикасну алтернативу за интеграцију напредне вештачке интелигенције директно у личне уређаје као што су телефони и лаптопови. Овај дизајн омогућава брже и непосредније одговоре, побољшавајући интеракцију корисника са технологијом у свакодневним сценаријима.

Пхи-3 Мини омогућава да се софистициране АИ функционалности директно обрађују на мобилним уређајима, што смањује ослањање на услуге у облаку и побољшава руковање подацима у реалном времену. Ова могућност је кључна за апликације које захтевају тренутну обраду података, као што су мобилна здравствена заштита, превод језика у реалном времену и персонализовано образовање, олакшавајући напредак у овим областима. Економичност модела не само да смањује оперативне трошкове већ и проширује потенцијал за интеграцију вештачке интелигенције у различитим индустријама, укључујући тржишта у развоју као што су технологија за ношење и кућна аутоматизација. Пхи-3 Мини омогућава обраду података директно на локалним уређајима што повећава приватност корисника. Ово би могло бити од виталног значаја за управљање осетљивим информацијама у областима као што су лично здравље и финансијске услуге. Штавише, ниски енергетски захтеви модела доприносе еколошки одрживим операцијама вештачке интелигенције, усклађујући се са глобалним напорима за одрживост.

Филозофија дизајна и еволуција Пхи

Фи-јева филозофија дизајна заснива се на концепту курикулум учења, који црпи инспирацију из образовног приступа где деца уче кроз све изазовније примере. Главна идеја је започети обуку АИ лакшим примерима и постепено повећавати сложеност података о обуци како процес учења напредује. Мицрософт је имплементирао ову образовну стратегију тако што је направио скуп података из уџбеника, као што је детаљно наведено у њиховој студији „Уџбеници су све што вам треба.” Пхи серија је лансирана у јуну 2023. године, почевши од Пхи-1, компактног модела који има 1.3 милијарде параметара. Овај модел је брзо показао своју ефикасност, посебно у задацима кодирања Питхон-ом, где је надмашио веће, сложеније моделе. Надовезујући се на овај успех, Мицрософт се касније развио Пхи-1.5, који је задржао исти број параметара, али је проширио своје могућности у областима као што су здраворазумско резоновање и разумевање језика. Серија је надмашила објављивањем Пхи-2 у децембру 2023. Са 2.7 милијарди параметара, Пхи-2 је показао импресивне вештине у расуђивању и разумевању језика, позиционирајући га као снажног конкурента у односу на знатно веће моделе.

Пхи-3 наспрам других модела малих језика

Проширујући своје претходнике, Пхи-3 Мини проширује напредак Пхи-2 тако што надмашује друге СЛМ, као нпр. Гоогле Гемма, Мистрал'с Мистрал, Мета'с Ллама3-Инструцт, и ГПТ 3.5, у разним индустријским применама. Ове апликације обухватају разумевање језика и закључивање, опште знање, здраворазумско закључивање, математичке задатке са речима у основној школи и одговарање на медицинска питања, показујући супериорне перформансе у поређењу са овим моделима. Пхи-3 Мини је такође прошао ванмрежно тестирање на иПхоне 14 за различите задатке, укључујући креирање садржаја и пружање предлога активности прилагођених одређеним локацијама. У ту сврху, Пхи-3 Мини је кондензован на 1.8 ГБ помоћу процеса који се зове квантизација, који оптимизује модел за уређаје са ограниченим ресурсима претварањем нумеричких података модела из 32-битних бројева са покретним зарезом у компактније формате као што су 4-битни цели бројеви. Ово не само да смањује меморијски отисак модела, већ и побољшава брзину обраде и ефикасност енергије, што је од виталног значаја за мобилне уређаје. Програмери обично користе оквире као што су ТенсорФлов Лите or ПиТорцх Мобиле, који укључује уграђене алате за квантизацију за аутоматизацију и усавршавање овог процеса.

Поређење карактеристика: Пхи-3 Мини наспрам Пхи-2 Мини

У наставку упоређујемо неке од карактеристика Пхи-3 са његовим претходником Пхи-2.

• Модел Арцхитецтуре: Пхи-2 ради на архитектури заснованој на трансформатору дизајнираној да предвиди следећу реч. Пхи-3 Мини такође користи архитектуру декодера трансформатора, али је ближе структури модела Ллама-2, користећи исти токенизер са величином речника од 320,641. Ова компатибилност осигурава да се алати развијени за Ллама-2 могу лако прилагодити за употребу са Пхи-3 Мини.
• Цонтект Ленгтх: Пхи-3 Мини подржава дужину контекста од 8,000 токена, што је знатно веће од Пхи-2-ових 2,048 токена. Ово повећање омогућава Пхи-3 Мини да управља детаљнијим интеракцијама и обрађује дуже делове текста.
• Покретање локално на мобилним уређајима: Пхи-3 Мини се може компримовати на 4 бита, заузимајући око 1.8 ГБ меморије, слично као Пхи-2. Тестиран је да ради ван мреже на иПхоне 14 са А16 Биониц чипом, где је постигао брзину обраде већу од 12 токена у секунди, што одговара перформансама Пхи-2 у сличним условима.
• Величина модела: Са 3.8 милијарди параметара, Пхи-3 Мини има већу скалу од Пхи-2, који има 2.7 милијарди параметара. Ово одражава његове повећане могућности.
• Подаци о обуци: За разлику од Пхи-2, који је обучен на 1.4 трилиона токена, Пхи-3 Мини је обучен на много већем скупу од 3.3 трилиона токена, што му омогућава да боље разуме сложене језичке обрасце.

Решавање ограничења Пхи-3 Мини

Док Пхи-3 Мини показује значајан напредак у области малих језичких модела, није без својих ограничења. Основно ограничење Пхи-3 Мини, с обзиром на његову мању величину у поређењу са огромним језичким моделима, је ограничен капацитет за складиштење опсежног чињеничног знања. Ово може утицати на његову способност да самостално обрађује упите који захтевају дубину специфичних чињеничних података или детаљно стручно знање. Ово се међутим може ублажити интеграцијом Пхи-3 Мини са претраживачем. На овај начин модел може приступити ширем спектру информација у реалном времену, ефикасно компензујући своја инхерентна ограничења знања. Ова интеграција омогућава Пхи-3 Мини да функционише као веома способан саговорник који, упркос свеобухватном разумевању језика и контекста, може повремено морати да „потражи“ информације како би пружио тачне и ажурне одговоре.

Доступност

Пхи-3 је сада доступан на неколико платформи, укључујући Мицрософт Азуре АИ Студио, Загрљено лице, и Оллама. На Азуре АИ, модел укључује радни ток имплементације-оцењивања-фине подешавања, а на Оллама-и се може покренути локално на лаптоповима. Модел је скројен за ОННКС рунтиме и подупирачи Виндовс ДирецтМЛ, осигуравајући да добро функционише на различитим типовима хардвера као што су ГПУ-ови, ЦПУ-и и мобилни уређаји. Поред тога, Пхи-3 се нуди као микросервис преко НВИДИА НИМ, опремљен стандардним АПИ-јем за једноставну примену у различитим окружењима и оптимизован посебно за НВИДИА ГПУ-ове. Мицрософт планира даље проширити Пхи-3 серију у блиској будућности додавањем Пхи-3-смалл (7Б) и Пхи-3-медиум (14Б) модела, пружајући корисницима додатне изборе за балансирање квалитета и цене.

Резиме

Мицрософтов Пхи-3 Мини прави значајан напредак у области вештачке интелигенције прилагођавајући снагу великих језичких модела за мобилну употребу. Овај модел побољшава интеракцију корисника са уређајима кроз бржу обраду у реалном времену и побољшане функције приватности. Минимизира потребу за услугама заснованим на облаку, смањујући оперативне трошкове и проширујући обим за АИ апликације у областима као што су здравствена заштита и аутоматизација дома. Са фокусом на смањење пристрасности кроз учење наставног плана и програма и одржавање конкурентских перформанси, Пхи-3 Мини се развија у кључни алат за ефикасну и одрживу мобилну вештачку интелигенцију, суптилно трансформишући начин на који свакодневно комуницирамо са технологијом.