Tehostamalla AI-päätelmiä: Edistyneet tekniikat ja parhaat käytännöt

Kun on kyse reaaliaikaisista AI-vetovoimaisista sovelluksista, kuten itseohjautuvista autoista tai terveydenhuollon seurannasta, yksi sekunti lisää prosessointiaikaa voi johtaa vakaviin seurauksiin. Reaaliaikaiset AI-sovellukset vaativat luotettavia GPU:ita ja prosessointitehoa, mikä on ollut hyvin kallista ja kustannuksiltaan estävää monille sovelluksille – kunnes nyt.

Omaksamalla optimoidun päätelmäprosessin yritykset voivat maksimoida AI-tehokkuuden ja samalla vähentää energiankulutusta ja kustannuksia (jopa 90 %); parantaa yksityisyyttä ja turvallisuutta; ja jopa parantaa asiakastyytyväisyyttä.

Yleiset päätelmäongelmat

Joitakin yleisimpiä ongelmia, joita yritykset kohtaavat AI-tehokkuuden hallinnassa, ovat alikäytetyt GPU-klusterit, oletusarvoinen yleispätevä malli ja puute näkyvyydestä liittyen kustannuksiin.

Tiimit varustavat usein GPU-klustereita huipputarpeisiin, mutta 70-80 prosenttia ajasta ne ovat alikäytettyjä epätasaisen työnvuon takia.

Lisäksi tiimit käyttävät oletusarvoisesti suuria yleispäteviä malleja (GPT-4, Claude) jopa tehtävissä, jotka voivat suorittaa pienemmällä, halvemmalla avoimen lähdekoodin mallilla. Syyt? Puute tietoa ja jyrkkä oppimiskäyrä mukautettujen mallien luomisessa.

Lopulta, insinöörit puuttuvat näkyvyydestä todellisen kustannuksen osalta kunkin pyynnön suhteen, mikä johtaa suuriin laskuihin. Työkalut kuten PromptLayer, Helicone voivat auttaa tarjoamaan tämän näkyvyyden.

Mallin valinnan, erien ja käytön puutteellisen valvonnan kanssa päätelmäkustannukset voivat kasvaa eksponentiaalisesti (jopa 10-kertaisesti), haaskata resursseja, rajoittaa tarkkuutta ja heikentää käyttökokemusta.

Energiankulutus ja käyttökustannukset

Suurempien LLM-mallien, kuten GPT-4, Llama 3 70B tai Mixtral-8x7B, suorittaminen vaatii merkittävästi enemmän tehoa tokenia kohden. Keskimäärin 40-50 prosenttia datakeskuksessa käytetystä energiasta ohjataan tietokonejärjestelmään, ja lisäksi 30-40 prosenttia on omistettu laitteiston jäähdyttämiseen.

Siksi yrityksille, jotka suorittavat päätelmiä jatkuvasti, on edullisempaa harkita paikallista tarjoajaa pilvipalvelun sijaan välttääkseen korkeat kustannukset ja energiankulutuksen.

Yksityisyys ja turvallisuus

Ciscon 2025 Data Privacy Benchmark Studyn mukaan ”64 %:lla vastaajilla on huolenaiheita vahingossa jaettavasta herkkää tietoa julkisesti tai kilpailijoille, mutta lähes puolet myöntää syöttävänsä henkilökohtaisia työntekijöiden tai julkaisemattomia tietoja GenAI-työkaluihin.” Tämä lisää riskiä epäpuhtauksille, jos dataa ei kirjata tai välimuistita asianmukaisesti. Toinen riskin mahdollisuus on suorittaa malleja eri asiakasjärjestelmien yli jaettuna infrastruktuurina; tämä voi johtaa tietoturvaongelmiin ja suorituskykyongelmiin, ja on lisäksi riski, että yhden käyttäjän toimet vaikuttavat muihin käyttäjiin. Siksi yritykset yleensä suosittelevat palveluja, jotka on otettu käyttöön heidän omassa pilvessä.

Asiakastyytyväisyyden parantaminen

Kun vastaukset kestävät yli muutaman sekunnin, käyttäjät yleensä lopettavat, tukeakseen insinöörien pyrkimyksiä ylioptimoimaan nollalatuun. Lisäksi sovellukset esittävät ”esteitä, kuten hallusinaatioita ja epätarkkuutta, jotka voivat rajoittaa laajaa vaikutusta ja omaksumista”, Gartnerin lehdistötiedotteen mukaan.

Liiketoiminnan edut näiden ongelmien hallinnasta

Erien ja oikean kokoisen mallin valinnan optimointi (esim. vaihtaminen Llama 70B:stä tai suljettuihin malleihin kuten GPT:hen Gemma 2B:hen, missä mahdollista) ja GPU-käytön parantaminen voi leikata päätelmälaskuja 60-80 prosentilla. Työkalujen, kuten vLLM, käyttäminen voi auttaa, kuten myös siirtyminen serverittömään maksamallin, jossa maksetaan vain käytetystä.

Otamme esimerkiksi Cleanlabista. Cleanlab julkaisi luotettavan kielen mallin (TLM), joka lisää luotettavuuspisteytyksen jokaiseen LLM-vastaukseen. Se on suunniteltu korkealaatuisille tuloksille ja parantaa luotettavuutta, mikä on kriittistä yrityssovelluksille estämään valvomattomat hallusinaatiot. Ennen Inferlessiä Cleanlabs koki kasvaneita GPU-kustannuksia, koska GPU:t suorittivat jopa silloin, kun niitä ei aktiivisesti käytetty. Heidän ongelmanaan oli tyypillisiä perinteisiä pilvi-GPU-tarjoajia: korkea viive, tehokkaan kustannushallinnan puute ja monimutkainen ympäristö hallita. Palvelimettomalla päätelmällä he leikkasivat kustannukset 90 prosentilla säilyttäen suorituskyvyn. Tärkeämpää oli, että he pääsivät käyttöön kahdessa viikossa ilman lisäkustannuksia insinööritöistä.

Mallirakenteen optimointi

Perusmallit, kuten GPT ja Claude, on usein koulutettu yleispätevyyteen, ei tehokkuuteen tai tiettyihin tehtäviin. Mukauttamalla avoimen lähdekoodin malleja tiettyihin käyttötarkoituksiin yritykset voivat säästää muistia ja laskentaaikaa tehtävistä, jotka eivät vaadi sitä mittakaavaa.

Uudet GPU-piirit, kuten H100, ovat nopeita ja tehokkaita. Nämä ovat erityisen tärkeitä suorittaessa suuria operaatioita, kuten videoiden luontia tai AI-tehtäviä. Lisää CUDA-ytimiä lisää prosessointinopeutta, jolloin ne ylittävät pienemmät GPU:t; NVIDIA:n Tensor-ytimet on suunniteltu kiihdyttämään näitä tehtäviä mittakaavassa.

GPU-muisti on myös tärkeää mallirakenteen optimoinnissa, koska suuret AI-mallit vaativat merkittävää tilaa. Tämä lisämuisti mahdollistaa GPU:lle suorittaa suurempia malleja ilman nopeuden heikentymistä. Toisaalta pienempien GPU:iden, joilla on vähemmän VRAM:ia, suorituskyky kärsii, koska ne siirtävät dataa hitaampaan järjestelmän RAM:iin.

Mallirakenteen optimoinnin hyödyt ovat ajan ja rahan säästöä. Ensinnäkin, siirtymällä tiheästä transformatiivisesta LoRA-optimoituun tai FlashAttention-pohjaiseen versioon voidaan leikata 200-400 millisekuntia vastausajan per pyyntö, mikä on kriittistä esimerkiksi chatboteissa ja peleissä. Lisäksi kvantitoidut mallit (kuten 4-bittiset tai 8-bittiset) tarvitsevat vähemmän VRAM:ia ja suorittavat nopeammin halvemmilla GPU:illa.

Pitkällä aikavälillä mallirakenteen optimointi säästää rahaa päätelmäkustannuksissa, koska optimoidut mallit voivat suorittaa pienemmillä piireillä.

Mallirakenteen optimointiin liittyy seuraavat vaiheet:

• Kvanttisointi — tarkkuuden vähentäminen (FP32 → INT4/INT8), muistin säästäminen ja laskenta-ajan nopeuttaminen
• Rajaus — vähemmän hyödyllisten painotusten tai kerrosten poistaminen (strukturoiden tai strukturoiden)
• Tislaaminen — kouluttaminen pienempää ”oppilas”-mallia jäljittelemään suuremman mallin tulostetta

Mallikoon pienenentäminen

Pienemmät mallit tarkoittavat nopeampaa päätelmää ja vähemmän kallista infrastruktuuria. Suuret mallit (13B+, 70B+) vaativat kalliita GPU:ita (A100s, H100s), paljon VRAM:ia ja enemmän tehoa. Niiden pienenentäminen mahdollistaa niiden suorittamisen halvemmalla laitteistolla, kuten A10:llä tai T4:llä, paljon vähemmän viiveellä.

Pienennetyt mallit ovat myös kriittisiä laitteistopuoleiselle päätelmälle (puhelimet, selaimet, IoT), koska pienemmät mallit mahdollistavat useamman samanaikaisen pyynnön palvelun ilman infrastruktuurin skaalautumista. Chatbotissa, jolla on yli 1 000 samanaikaista käyttäjää, siirtymällä 13B:stä 7B:een pienenentämällä mallin, yksi tiimi pystyi palvelemaan yli kaksi kertaa enemmän käyttäjiä GPU:lla ilman viiveitä.

Erikoistuneen laitteiston hyödyntäminen

Yleiskäyttöiset CPU:t eivät ole suunniteltu tensorioperaatioita varten. Erikoistunut laitteisto, kuten NVIDIA A100, H100, Google TPUs tai AWS Inferentia, voi tarjota nopeamman päätelmän (10-100 kertaa) LLM:ille paremmalla energiatehokkuudella. Jopa 100 millisekunnin leikkaus pyynnön aikana voi tehdä eroa, kun prosessoidaan miljoonia pyyntöjä päivittäin.

Oletetaan hypoteettinen esimerkki:

Tiimi suorittaa LLaMA-13B:ä standardi-A10-GPU:illa sisäisessä RAG-järjestelmässään. Viive on noin 1,9 sekuntia, eikä heillä ole paljon tilaa eriin VRAM-rajoitusten vuoksi. He vaihtavat H100:aan TensorRT-LLM:ään, ottavat käyttöön FP8:n ja optimoidun huomion ytimen, ja kasvattavat erän koon 8:sta 64:ään. Tuloksena on leikata viive 400 millisekuntiin ja kasvattaa läpimenoa viisi kertaa.
Seuraus on, että he voivat palvella pyyntöjä viisi kertaa samalla budjetilla ja vapauttaa insinöörit navigoimasta infrastruktuurin pullonkauloista.

Päätelmän asettamisen arviointi

Eri prosessit vaativat erilaisia infrastruktuureja; chatbotilla, jolla on 10 käyttäjää, ja hakukoneella, joka palvelee miljoonia pyyntöjä päivittäin, on erilaiset tarpeet. Menemällä kokonaan pilveen (esim. AWS Sagemaker) tai itse tehtyihin GPU-palvelimiin ilman kustannus-suorituskyky-suhdetta johtaa haaskatuksiin ja huonoon käyttökokemukseen. On huomattava, että jos sitoudut aikaisin suljettuun pilvipalveluun, ratkaisun myöhempi siirto on kivulias. Arvioimalla kuitenkin aikaisin maksamalla-käytön-perusteisella rakenteella on vaihtoehtoja myöhemmin.

Arviointi käsittää seuraavat vaiheet:

• Mittaa mallin viive ja kustannus eri alustoilla: Suorita A/B-testejä AWS:llä, Azurella, paikallisilla GPU-klustereilla tai serverittömillä työkaluilla.
• Mittaa kylmän käynnistyksen suorituskyky: Tämä on erityisen tärkeää serverittömille tai tapahtuma-ohjatuille työkuormille, koska mallit latautuvat nopeammin.
• Arvioi havainnollisuutta ja skaalautumisen rajoja: Arvioi saatavilla olevia metriikkoja ja tunnista, mikä on maksimi pyyntöjä sekunnissa ennen heikentymistä.
• Tarkista yhdenmukaisuuden tuki: Määritä, voidaanko pakottaa maantieteellisiä tietosääntöjä tai audit-lokeja.
• Arvioi yhteensä omistamiskustannuksia. Tämä pitäisi sisältää GPU-tunnit, tallennuksen, kaistanleveyden ja tiimien ylläpitokustannukset.

Lopputulos

Päätelmä mahdollistaa yrityksille AI-suorituskyvyn optimoinnin, energiankäytön ja kustannusten alentamisen, yksityisyyden ja turvallisuuden ylläpitämisen sekä asiakastyytyväisyyden parantamisen.