Мислите лидери
Иднината на генеративната вештачка интелигенција е предност
Појавата на ChatGPT и Генеративна АИ генерално, е пресуден момент во историјата на технологијата и се споредува со зората на Интернетот и паметниот телефон. Генеративната вештачка интелигенција покажа неограничен потенцијал во својата способност да одржува интелигентни разговори, да положи испити, да генерира сложени програми/код и да создава привлечни слики и видео. Додека графичките процесори ги извршуваат повеќето модели на Gen AI во облакот - и за обука и за заклучување - ова не е долгорочно скалабилно решение, особено за заклучоци, поради фактори кои вклучуваат цена, моќ, латентност, приватност и безбедност. Оваа статија се осврнува на секој од овие фактори заедно со мотивациони примери за преместување на оптоварувањата на работните пресметки на Gen AI на работ.
Повеќето апликации работат на процесори со високи перформанси - или на уреди (на пример, паметни телефони, десктоп компјутери, лаптопи) или во центри за податоци. Како што се зголемува уделот на апликации кои користат вештачка интелигенција, овие процесори со само процесори се несоодветни. Понатаму, брзото проширување на оптоварувањата на генеративната вештачка интелигенција предизвикува експоненцијална побарувачка за сервери овозможени со вештачка интелигенција со скапи графички процесори жедни за енергија, што пак ги зголемува трошоците за инфраструктура. Овие сервери овозможени со вештачка интелигенција може да чинат над 7 пати по цена од обичен сервер, а графичките процесори сочинуваат 80% од оваа дополнителна цена.
Дополнително, серверот базиран на облак троши 500W до 2000W, додека серверот со AI троши помеѓу 2000W и 8000W – 4x повеќе! За поддршка на овие сервери, на центрите за податоци им се потребни дополнителни модули за ладење и надградба на инфраструктурата – што може да биде дури и повисоко од пресметаната инвестиција. Центрите за податоци веќе трошат 300 TWH годишно, речиси 1% од вкупната светска потрошувачка на енергија. Доколку продолжат трендовите на усвојување на вештачката интелигенција, тогаш дури 5% од светската моќност би можеле да ја користат центрите за податоци до 2030 година. Дополнително, има невидена инвестиција во центрите за податоци за генеративна вештачка интелигенција. Се проценува дека центрите за податоци ќе трошат до 500 милијарди долари за капитални расходи до 2027 година, главно поттикнати од барањата за инфраструктура на ВИ.
Потрошувачката на електрична енергија на центрите за податоци, веќе 300 TwH, значително ќе се зголеми со усвојувањето на генеративната вештачка интелигенција.
Пресметувачката цена на вештачката интелигенција како и потрошувачката на енергија ќе го попречат масовното прифаќање на Генеративната вештачка интелигенција. Предизвиците со скалирање може да се надминат со поместување на ВИ на работ и користење на решенија за обработка оптимизирани за оптоварување со вештачка интелигенција. Со овој пристап, на купувачот му се акумулираат и други придобивки, вклучувајќи латентност, приватност, доверливост, како и зголемена способност.
Пресметај ги следи податоците до работ
Уште пред една деценија, кога вештачката интелигенција се појави од академскиот свет, обуката и заклучоците за моделите на вештачка интелигенција се случуваат во облакот/центарот за податоци. Со оглед на тоа што голем дел од податоците се генерираат и се трошат на работ - особено видеото - имаше смисла само да се премести заклучокот на податоците до работ, а со тоа да се подобри вкупниот трошок за сопственост (TCO) за претпријатијата поради намалените мрежни и пресметковни трошоци. Додека трошоците за заклучување на вештачката интелигенција на облакот се повторуваат, трошоците за заклучување на работ се еднократни, хардверски трошоци. Во суштина, зголемувањето на системот со Edge AI процесор ги намалува вкупните оперативни трошоци. Како и миграцијата на конвенционалните оптоварувања со вештачка интелигенција на Edge (на пр., апарат, уред), така и генеративните оптоварувања со вештачка интелигенција ќе го следат примерот. Ова ќе донесе значителни заштеди за претпријатијата и потрошувачите.
Поместувањето до работ, заедно со ефикасен забрзувач на вештачка интелигенција за извршување на функциите за заклучување, дава и други придобивки. Најважно меѓу нив е латентноста. На пример, во апликациите за игри, ликовите што не се играчи (NPC) може да се контролираат и да се зголемуваат со помош на генеративна вештачка интелигенција. Користејќи LLM модели кои работат на акцелератори на работ со вештачка интелигенција во гејмерска конзола или компјутер, гејмерите можат да им дадат конкретни цели на овие ликови, за да можат значајно да учествуваат во приказната. Ниската латентност од заклучоците на локалниот раб ќе им овозможи на говорот и движењата на NPC да одговорат на командите и дејствата на играчите во реално време. Ова ќе испорача многу извонредно искуство за играње на рентабилен и енергетски ефикасен начин.
Во апликациите како што се здравствената заштита, приватноста и доверливоста се исклучително важни (на пр. евалуација на пациентот, препораки за лекови). Податоците и придружните модели на ВИ на генерацијата мора да бидат во просторија за да се заштитат податоците на пациентите (приватноста) и секој прекин на мрежата што ќе го блокира пристапот до моделите со вештачка интелигенција во облакот може да биде катастрофален. Уредот Edge AI што работи на модел на Gen AI, изграден за секој клиент на претпријатието - во овој случај давател на здравствена заштита - може беспрекорно да ги реши проблемите со приватноста и доверливоста притоа обезбедувајќи помала латентност и цена.
Генеративната вештачка интелигенција на рабните уреди ќе обезбеди мала доцнење во игрите и ќе ги зачува податоците за пациентите и ќе ја подобри доверливоста на здравствената заштита.
Многу модели на генерална вештачка интелигенција што работат на облакот може да бидат блиску до трилион параметри - овие модели можат ефективно да одговорат на прашањата за општа намена. Сепак, апликациите специфични за претпријатието бараат од моделите да даваат резултати што се релевантни за случајот на употреба. Земете го примерот на асистент заснован на Gen AI, изграден да прима нарачки во ресторан за брза храна - за овој систем да има беспрекорна интеракција со клиентите, основниот модел на Gen AI мора да биде обучен за ставките од менито на ресторанот, исто така знаејќи ги алергените и состојките . Големината на моделот може да се оптимизира со користење на суперсет Large Language Model (LLM) за да се обучи релативно мал, 10-30 милијарди параметар LLM и потоа да се користи дополнително фино подесување со податоците специфични за клиентот. Таквиот модел може да даде резултати со зголемена точност и способност. И со оглед на помалата големина на моделот, тој може ефективно да се распореди на забрзувач со вештачка интелигенција на Edge.
Генерална вештачка интелигенција ќе победи на Еџ
Секогаш ќе има потреба Gen AI да работи во облакот, особено за апликации за општа намена како ChatGPT и Claude. Но, кога станува збор за апликации специфични за претпријатието, како што е генеративното полнење на Adobe Photoshop или копилот на Github, Generative AI на Edge не е само иднината, туку е и сегашноста. Наменските акцелератори за вештачка интелигенција се клучот за да се овозможи ова.
