Backboard.io Esittää AI-Infrastruktuurin, Joka Keskittyy Tehokkuuteen, Yritysten Hallintaan ja Suvereeniin Käyttöönottoon

Kun organisaatiot kilpailevat tekoälynhallinnasta, keskustelu on siirtynyt yhä enemmän raakamallin suorituskyvystä käytännöllisempään kysymykseen: miten yritykset voivat ajaa tekoälyä alhaisemmalla kustannuksella säilyttäen samalla hallinnan omista tietojaan? Ottawassa sijaitseva Backboard.io uskoo, että vastaus ei ole suuremmat GPU-klusterit, vaan nykyisen tekoäly-infrastruktuurin merkittävä tehokkuuden parantaminen.

Kanadan päivänä yritys esitteli neljä merkittävää teknologiaa, jotka kattavat mallin pakkaamisen, tekoälyavusteisen ohjelmistokehityksen, monimallisen tekoälykäytön ja pitkäaikaisen tekoälymuistin. Vaikka ilmoitus korostaa yrityksen kanadalaista alkuperää, laajempi tarina on infrastruktuurista, joka on suunniteltu yrityksille, jotka haluavat vähentää tekoälykustannuksiaan pitäen samalla herkkät työkuormat omien ympäristöjensä sisällä.

Tehokkaampi Nykyinen GPU

Ehkä teknisesti merkittävin ilmoitus on BackboardQuant (BBQ), mallin pakkausteknologia, jonka yritys sanoo pystyvän vähentämään tekoälymallien kokoja jopa 70 %:lla säilyttäen lähes identtisen ulostulon laadun.

Mallin pakkaaminen on tullut yhä tärkeämmäksi tekoälytutkimuksen alueeksi, kun organisaatiot kamppailevat kasvavan inferenssin kustannuksen kanssa. Pienemmät mallit kuluttavat vähemmän muistia, vaativat vähemmän laitteistorajoitteita ja voivat usein suorittaa nopeammin, mikä mahdollistaa organisaatioille edistyneiden mallien käyttöönoton ilman jatkuvaa GPU-kapasiteetin laajentamista.

Backboard.io:n mukaan sisäinen testaus osoittaa, että BBQ voi tarjota jopa 2,7-kertaisesti nopeamman inferenssin, mikä mahdollistaa yhden GPU:n suorittaa työtä, joka muuten vaatisi useita kiihdyttimiä. Sen sijaan, että korvaisi olemassa olevat perusmallit, teknologia on suunniteltu optimoimaan niitä tuotantokäyttöön.

Kilpailu Tekoälyavusteisessa Ohjelmistokehityksessä

Yritys esitteli myös Backboard Studio, tekoälyohjelmointialusta, joka on suunnattu yhteen nykyään kilpailtavimmista tekoälymarkkinoista.

Sen sijaan, että kehittäisi oman eturintaman kielen mallin, Backboard ottaa toisen arkkitehtonisen lähestymistavan. Alusta sijaitsee olemassa olevien mallien päällä ja yrittää parantaa tehokkuutta orkesteroinnin, kontekstin hallinnan, rekursiivisten työvirtojen ja tokenin optimoinnin kautta. Kehittäjät voivat valita johtavista kaupallisista malleista tai avoimen lähdekoodin vaihtoehdoista, kun taas alusta hallitsee projektiin liittyvää kontekstia, työvirran suorittamista ja tuotantoon suunnattua koodin generointia.

Backboard väittää, että alusta saavuttaa vertailukelpoiset tulokset, jotka kilpailevat johtavien koodinavustajien kanssa, vähentäen samalla tokenin käyttöä jopa 30 %:lla, mikä on yhä tärkeämpi huomio, kun yritykset pyrkivät hallitsemaan tekoälykäyttöön liittyviä kustannuksia.

Yritys korostaa myös yritysten joustavuutta käyttöönotossa. Backboard Studio voidaan käyttää joko pilvipalveluna tai yrityksen omassa infrastruktuurissa, mikä mahdollistaa omistajien lähdekoodin säilyttämisen yrityksen sisäisissä ympäristöissä sen sijaan, että se lähetettäisiin kolmansille tekoälypalveluntarjoajille.

Nash Kokoaa Tuhannet Tekoälymallit

Kolmas ilmoituksen osa on Nash, yhdistetty chat-sovellus, joka tarjoaa pääsyn tuhansiin teksti- ja kuvatekoälymalleihin yhden käyttöliittymän kautta.

Käsite vastaa kasvavaa yritysten huolta, jota kutsutaan “varjotekoälyksi”, jossa työntekijät omaksumassa itsenäisesti kuluttaja-tekoälytyökaluja hyväksyttyjen yrityksen järjestelmien ulkopuolella. Sen sijaan, että estäisi tekoälyn käyttöä, Backboard asettaa Nashin keskitetyksi alustaksi, joka antaa organisaatioille pääsyn laajaan valikoimaan malleja säilyttäen samalla hallinnan käyttäjien tietoja ja organisaation muistia.

Alustan taustalla oleva infrastruktuuri tukee myös Oma Avain (BYOK), sopeutuvaa kontekstin hallintaa ja reititystä tuhansiin saatavilla oleviin malleihin yhden alustan kautta.

Käsittely Muistia Tekoälyinfrastruktuurina

Yksi Backboardin määrittävistä teknisistä painopisteistä sen julkaisusta lähtien on ollut pysyvä tekoälymuisti.

Laajat kielen mallit ovat edelleen perustavanlaatuisesti tilattomia, mikä tarkoittaa, että keskustelut, mieltymykset ja historiallinen konteksti yleensä katoavat, ellei kehittäjät rakenna lisäinfrastruktuuria niiden ympärille. Backboard on asettanut itsensä omistautuneeksi muistikerrokseksi, joka toimii eri tekoälymallien ja sovellusten yli eikä lukitse käyttäjiä yhden ekosysteemin sisään.

Yritys sanoo, että sen muistijärjestelmä on tällä hetkellä ensimmäinen sekä LoCoMo- että LongMemEval-benchmarkkeissa, jotka ovat laajalti viitatut arviot, jotka mitattavat pitkän kontekstin päättelyä ja pysyvän muistin suorituskykyä. Aikaisemmin tässä vuonna Backboard kuvaili muistia perusrakenteena eikä ainoastaan toimintona, joka on kerros nykyisten mallien päällä.

Tämä arkkitehtuuri mahdollistaa organisaatioille säilyttää käyttäjien historia, mieltymykset ja kontekstuaalinen tietäminen, vaikka ne vaihtavat eri kielimalleja.

Teckoäly, Joka Pysyy Yritysten Rajojen Sisällä

Kaikkien neljän ilmoituksen kautta nousee esiin johdonmukainen suunnittelufilosofia: yritykset haluavat yhä enemmän tekoälyjärjestelmiä, jotka toimivat heidän omassa hallinnassaan.

Backboardin alusta voidaan käyttöönottaa asiakkaan omassa pilvessä, mikä mahdollistaa organisaatioiden säilyttää omistajuuden omiin tietoihinsa käyttäen modernia tekoälyä. Tämä lähestymistapa on erityisen relevantti aloille, jotka käsittelevät herkkää tietoa, kuten terveydenhuolto, rahoituspalvelut, hallinto ja kriittinen infrastruktuuri, joilla on usein sääntelyvaatimukset, jotka rajoittavat ulkoisten tekoälypalvelujen käyttöä.

Sen sijaan, että määrittelisi suvereniteetin ainoastaan kansalliseksi asiaksi, yrityksen arkkitehtuuri keskittyy yritysten hallintaan – pitäen mallit, muisti ja sovellusdata asiakkaan hallitsemassa ympäristössä.

Kasvava Kanadalainen Tekoälyinfrastruktuurin Tarina

Vaikka suuri osa maailmanlaajuisesta tekoälykeskustelusta edelleen keskittyy Silicon Valleyyn perustuvien perusmallien kehittäjiin, Backboard edustaa toista tekoälyyritysten luokkaa, joka saa lisää vauhtia: infrastruktuurin rakentajat, jotka keskittyvät tekemään olemassa olevista malleista käytännöllisempiä tuotantoympäristöissä.

Perustaja Rob Imbeault, joka on aiemmin toiminut kanadalaisen toimitusketjun ohjelmistoyritys Assentin perustajana, on keskittänyt Backboardin parantamaan tekoälyyn liittyvien kustannusten ja toiminnallisten ominaisuuksien taloudellisuutta eikä kilpaile uuden eturintaman kielen mallin kehittämisessä. Aikaisemmin tässä vuonna yritys keräsi ennakko-rahoituskierroksen jatkamaan tekoälyinfrastruktuurialustansa kehittämistä.

Kun yritysten tekoäly kypsyy, teknologiat, jotka vähentävät inferenssin kustannuksia, parantavat muistia, yksinkertaistavat monimallisen käyttöönoton ja mahdollistavat itseisännitettyjä tekoälyympäristöjä, voivat tulla yhä tärkeämmiksi rinnan mallin ominaisuuksien edistymisen kanssa. Backboardin uusimmat julkaisut heijastelevat laajempaa siirtymistä – siirtymistä suurempien mallien rakentamisesta infrastruktuurin rakentamiseen, joka auttaa organisaatioita saamaan enemmän arvoa jo olemassa olevista malleista.