Stardockin Clairvoyance lisää Hivemindin käyttämättömien GPU:iden jakamiseen paikallisen tekoälyn käyttöön

Stardockin Clairvoyance tarjoaa tiimeille uuden tavan hyödyntää käyttämättömiä tietokoneita tekoälyn päättelytehtävissä. Sen paikallisten mallien hallintaohjelma Locama sisältää Hivemind-ominaisuuden, joka jakaa paikallisen päättelyn kapasiteettia yrityksen tietokoneiden kesken. Mukana on myös vertailutesti, jonka tarkoituksena on osoittaa, miten hyvin tietyt laitteet suoriutuvat tekoälytehtävistä.

Marraskuun 5. päivänä julkaistu Clairvoyance 0.90 on tarkoitettu työpöytäympäristöksi, jossa voi käyttää paikallisia malleja ja pilvimallien palveluja yhdessä. Locama hallitsee paikallisten mallien asennusta, suorittamista ja orkestrointia Windowsissa, macOS:ssä ja Linuxissa. Hivemind laajentaa tämän toimintaperiaatteen yhdestä tietokoneesta tiimin käytettävissä oleviin koneisiin.

Stardock tähtää tavanomaisiin, suuria määriä käsittäviin yritystehtäviin esimerkiksi hankinnoissa, toimitusketjuissa, lakiasioissa ja taloushallinnossa. Yhtiön mukaan osa näistä tehtävistä voidaan hoitaa organisaation jo omistamilla laitteilla, jolloin jokaista pyyntöä ei tarvitse lähettää käytön mukaan laskutettavaan pilvipalveluun.

Hivemind muuttaa ylimääräiset tietokoneet jaetuksi päättelykapasiteetiksi

Hivemindin avulla tiimin jäsenet voivat suorittaa tekoälytehtäviä yrityksen tietokoneiden käyttämättömillä näytönohjaimilla. Tämä voi olla erityisen hyödyllistä normaalin työajan ulkopuolella, jolloin paikallisia malleja suorittavat koneet saattaisivat muuten jäädä käyttämättä.

”Useimmilla yrityksillä on tehokkaita koneita käyttämättöminä joka ilta. Hivemindin avulla ne voivat yhdistää koneensa ja ottaa ne käyttöön”, sanoi Stardock Softwaren toimitusjohtaja Brad Wardell.

Yhtiön teknisessä terminologiassa Hivemind kuvataan vertaiskoneiden kesken jaetuksi paikalliseksi päättelyksi. Locama puolestaan määritellään päättelyä suorittavaksi isännäksi, ja Concierge-nimisen reitityskomponentin tehtäväksi kerrotaan mallin ja koneen valitseminen kutakin vuoroa varten.

On tärkeää huomata, ettei tämä tarkoita useiden tietokoneiden muuttumista yhdeksi suureksi kiihdyttimeksi. Työkuorman jakaminen käytettävissä olevien koneiden kesken voi kasvattaa hyödynnettävissä olevaa kapasiteettia, mutta tiedotteessa ei täsmennetä tensoririnnakkaista suorittamista, näytönohjainten muistin yhdistämistä eikä sitä, miten liian suuri malli jaettaisiin vertaiskoneiden kesken.

Kun tiimi päättää, missä työkuorma suoritetaan, olennaisia kysymyksiä ovat, mahtuuko malli käytettävissä oleviin laitteisiin, tuottaako se hyväksyttäviä tuloksia ja aiheuttaako työn reitittäminen toiselle koneelle enemmän viivettä kuin mitä sillä säästetään. Hivemindin hyöty riippuu näiden tekijöiden yhdistelmästä, ei pelkästään näytönohjainten saatavuudesta.

Paikalliset mallit ja pilvimallit samassa työtilassa

Clairvoyance järjestää tekoälyavustajat nimetyiksi Staff-työntekijöiksi, jotka käsittelevät käyttäjän tiedostoja ja tuottavat asiakirjoja sekä muita tuotoksia. Sen dokumentaatiossa kerrotaan, että Staff-työntekijöille voi määrittää eri palveluntarjoajia tai paikallisia malleja, jolloin samassa työtilassa voidaan käyttää erilaisia laskentavaihtoehtoja.

Näiden vaihtoehtojen ero on tärkeä. Paikallinen malli suoritetaan käyttäjän tai organisaation hallitsemalla laitteistolla. Pilvipalveluntarjoajan työkalun yhdistäminen antaa pääsyn palveluntarjoajan tilin ja todennuksen kautta; Clairvoyancen asentaminen ei automaattisesti sisällä rajatonta pääsyä kaikkiin sen tukemiin kaupallisiin malleihin.

Dokumentaatiossa huomautetaan myös, että paikallisten mallien työkalunkäyttökyvyissä on eroja. Kysymyksiin vastaava malli ei välttämättä pysty suorittamaan tiimin tarvitsemaa agenttimaista työnkulkua. Siksi pienemmän paikallisen mallin valinta on tehtäväkohtainen päätös, jossa nopeuden lisäksi on otettava huomioon mallin kyvykkyys.

Näin tuotteella on käytännöllinen rooli työntekijän ja taustalla toimivien mallien suoritusympäristöjen välissä. Sen sijaan, että kaikissa tehtävissä käytettäisiin samaa taustajärjestelmää, ympäristö voi tarjota eri töihin erilaisia vaihtoehtoja. Julkaisussa ei esitetä riippumattomasti mitattuja tietoja Hivemindin käyttöönoton tuomista pilvikustannusten säästöistä.

Vertailutesti laitteille, joita käyttäjillä todella on

Locamaan sisältyy myös Clairvoyance Local AI Benchmark. Stardockin mukaan sen keskeinen mittari, Model Speed, yhdistää ajan, jonka paikallinen malli tarvitsee pyynnön käsittelyyn ja täydellisen vastauksen tuottamiseen. Julkiset tulokset ovat saatavilla osoitteessa clairvoyanceai.com/benchmark, ja Professional-käyttäjät voivat suorittaa testejä omilla laitteillaan.

Tuotteen julkaisutiedoissa kuvataan mittauksia, joihin kuuluvat esitäyttö, dekoodaus, aika ensimmäiseen tokeniin ja muistin käyttö, sekä tehtäväkohtaisia tarkistuksia. Esitäyttö tarkoittaa syötekehotteen ja sen kontekstin käsittelyä, kun taas dekoodaus tarkoittaa vastauksen tuottamista. Nämä vaiheet voivat kuormittaa laitteistoa eri tavoin.

Ensimmäisen tokenin nopea saapuminen voi saada käyttöliittymän tuntumaan responsiiviselta, kun taas kokonaissuoritusaika on tärkeä eräajossa tai pitkässä agenttitehtävässä. Kun nämä mittarit esitetään erikseen, vertailutesti on hyödyllisempi kuin yksittäiseen laitteistomääritykseen luottaminen.

Tulossivulla kerrotaan, että tulokset ovat Clairvoyancen käyttäjiltä ja heijastavat heidän laitteistoaan ja asetuksiaan. Tietokanta tarjoaa siten kokoonpanokohtaista näyttöä, ei kontrolloidun riippumattoman vertailun tuloksia. Merkityksellisissä vertailuissa on edelleen otettava huomioon käytetty malli, tarkkuus, konteksti, tehtävä ja suoritusympäristö.

Qualcomm-integraatio tuo uuden vaihtoehdon paikalliseen laskentaan

Clairvoyance on tehnyt yhteistyötä Qualcommin kanssa jo ennen tätä julkaisua. Qualcommin 23. syyskuuta julkaistussa kehittäjäartikkelissa kerrotaan, miten piirivalmistajan laitteissa toimiva generatiivisen tekoälyn suoritusympäristö GenieX on integroitu Snapdragon X Series -tietokoneiden Hexagon-NPU:hun.

Tämä integraatio laajentaa paikallisen inferenssin käyttöä perinteisten pöytätietokoneiden näytönohjainten ulkopuolelle. Qualcomm kertoo, että mallit ja laskentaresurssit valitaan tehtävän vaatimusten mukaan ja että ratkaisu tukee paikallisia agenttipohjaisia työnkulkuja. Tämä ei kuitenkaan osoita, että mikä tahansa paikallinen malli voisi korvata huipputason pilvimallin kaikissa tehtävissä.

Hivemindin kannalta olennaista on laajempi laitteistostrategia: jo olemassa olevat laskentaresurssit pyritään saamaan käyttöön yhdessä toimivassa ympäristössä. Eri koneiden mallikapasiteetti, kaistanleveys ja kiihdytysominaisuudet voivat vaihdella, joten ohjelmiston on sovitettava tehtävä käytettävissä oleviin resursseihin.

Hinnoittelu ja laitteiston uudelleenkäytön taloudellisuus

Clairvoyance 0.90 julkaistaan Windowsille, macOS:lle ja Linuxille. Sen hinnoittelusivulla ilmoitetaan henkilökohtaiseen ja ei-kaupalliseen käyttöön tarkoitettu maksuton versio. Professional maksaa 20 dollaria kuukaudessa, ja siihen sisältyvät kaupallisen käytön lisenssi, Hivemind, tiimityöhön suunnattuja ominaisuuksia, pilvisynkronointi sekä tekoälytokenien paketti. Enterprisen hinnaksi ilmoitetaan 100 dollaria käyttäjää kohden kuukaudessa. Se sisältää lisäksi organisaatioille suunnattuja ominaisuuksia ja volyymihinnoitteluvaihtoehtoja.

Paikallinen inferenssi voi vähentää käytön mukaan määräytyviä pilvipalvelukuluja, mutta siitäkin aiheutuu kustannuksia: sähkönkulutus, laitteiston kuluminen, ylläpito ja koneen varaamisesta syntyvä vaihtoehtoiskustannus. Kustannuksia vertailtaessa on otettava huomioon myös tulosten laatu ja niiden tarkistamiseen tai korjaamiseen tarvittava työ.

Stardock luottaa siihen, että jo lähistöllä olevalla laitteistolla voidaan hoitaa riittävästi toistuvia tehtäviä näiden vaatimusten mukaisesti. Hivemind tarjoaa tiimeille keinon kokeilla tätä ajatusta, ja vertailutesti antaa lähtökohdan sen mittaamiseen, mitkä mallit ja koneet soveltuvat kuhunkin tehtävään.