Backboard.io lanserer AI-infrastruktur-stakk fokusert på effisiens, bedriftskontroll og suveren distribusjon

Som organisasjoner konkurrerer om å adoptere kunstig intelligens, har samtalen stadig mer skiftet fra ren modell-ytelse til et mer praktisk spørsmål: hvordan kan bedrifter kjøre AI med lavere kostnader samtidig som de beholder kontroll over sine data? Ottawa-baserte Backboard.io tror at svaret ligger ikke i større GPU-kluster, men i å gjøre eksisterende AI-infrastruktur betydelig mer effisient.

På Canada Day lanserte selskapet fire store teknologier som omfatter modellkomprimering, AI-assistert programvareutvikling, multi-modell AI-tilgang og langtids AI-minne. Mens annonseringen høydepunkter selskapets canadiske røtter, er den bredere historien om infrastruktur designet for bedrifter som ønsker å redusere AI-kostnader samtidig som de holder sensitive arbeidsbyrder innenfor sine egne miljøer.

Making Existing GPUs Go Further

Kanskje den mest teknisk betydelige annonseringen er BackboardQuant (BBQ), en modellkomprimeringsteknologi som selskapet sier kan redusere AI-modell-størrelser med opptil 70% samtidig som den beholder nesten identisk utgangskvalitet.

Modellkomprimering har blitt et stadig viktigere område for AI-forskning ettersom organisasjoner slåss med den økende kostnaden av inferens. Mindre modeller forbruker mindre minne, krever færre maskinvare-resurser og kan ofte kjøre raskere, noe som tillater organisasjoner å distribuere avanserte modeller uten å kontinuerlig utvide GPU-kapasiteten.

Ifølge Backboard.io viser interne tester at BBQ kan levere opptil 2,7 ganger raskere inferens, og tillater effektivt en enkelt GPU å utføre arbeid som ellers ville kreve flere akseleratorer. I stedet for å erstatte eksisterende grunnmodeller, er teknologien designet for å optimere dem for produksjons-distribusjoner.

Competing in AI-Assisted Software Development

Selskapet lanserte også Backboard Studio, en AI-koding-plattform rettet mot en av dagens mest konkurranse-utsatte AI-markeder.

I stedet for å utvikle sin egen grense-språk-modell, tar Backboard en annen arkitektonisk tilnærming. Plattformen sitter på toppen av eksisterende modeller samtidig som den prøver å forbedre effisiensen gjennom orkestrering, kontekst-håndtering, rekursive arbeidsflyter og token-optimisering. Utviklere kan velge mellom ledende kommersielle modeller eller åpne kilde-alternativer mens plattformen håndterer prosjekt-kontekst, arbeidsflyt-utførelse og produksjons-orientert kode-generering.

Backboard hevder at plattformen oppnår benchmark-resultater som rivaliserer med ledende kode-assistanter mens den reduserer token-bruk med opptil 30%, en stadig viktigere overvegelse ettersom bedrifter søker å håndtere AI-driftskostnader.

Selskapet betoner også bedrifts-distribusjons-fleksibilitet. Backboard Studio kan operere enten som en skytjeneste eller innen en organisasjons egen infrastruktur, og tillater proprietær kilde-kode å forbli innenfor bedrifts-miljøer i stedet for å overføres til tredjeparts AI-leverandører.

Nash Consolidates Thousands of AI Models

En tredje komponent av annonseringen er Nash, en samlet chat-applikasjon som gir tilgang til tusenvis av tekst- og bilde-AI-modeller gjennom et enkelt grensesnitt.

Konseptet adresserer en voksende bedrifts- bekymring kjent som “skygge-AI”, hvor ansatte uavhengig adopterer forbruker-AI-verktøy utenfor godkjente korporative systemer. I stedet for å prøve å blokkere AI-bruk, stiller Backboard Nash som en sentral plattform som gir organisasjoner tilgang til et bredt spekter av modeller samtidig som de beholder styring over bruker-data og organisatorisk minne.

Den underliggende infrastrukturen støtter også Bring Your Own Key (BYOK), adaptiv kontekst-håndtering og routing over tusenvis av tilgjengelige modeller gjennom en enkelt plattform.

Treating Memory as AI Infrastructure

En av Backboards definierende tekniske fokusområder siden lanseringen har vært varig AI-minne.

Store språk-modeller forblir grunnleggende statiske, noe som betyr at samtaler, preferanser og historisk kontekst vanligvis forsvinner med mindre utviklere bygger ekstra infrastruktur rundt dem. Backboard har posisjonert seg som en dedikert minne-lag som fungerer over forskjellige AI-modeller og applikasjoner i stedet for å låse brukere inn i en enkelt økosystem.

Selskapet sier at deres minne-system for øyeblikket rangerer først på både LoCoMo og LongMemEval-benchmarkene, to vidt refererte evalueringer som måler lang-kontekst- resonnering og varig minne-ytelse. Tidligere i år beskrev Backboard minne som grunnleggende infrastruktur i stedet for bare en annen funksjon lagt til eksisterende modeller.

Denne arkitekturen tillater organisasjoner å bevare bruker-historikk, preferanser og kontekst-kunnskap selv når de bytter mellom forskjellige språk-modeller.

AI That Stays Inside Enterprise Boundaries

Over alle fire annonseringene, dukker en konsistent design-filosofi opp: bedrifter ønsker stadig mer AI-systemer som opererer under deres egen styring.

Backboards plattform kan distribueres innen en kundes private sky, og tillater organisasjoner å beholde eierskap over sine data samtidig som de bruker moderne AI-kapasiteter. Denne tilnærmingen er spesielt relevant for industrier som håndterer sensitive opplysninger, inkludert helse, finansielle tjenester, regjering og kritisk infrastruktur, hvor reguleringskrav ofte begrenser bruken av eksternt vertede AI-tjenester.

I stedet for å ramme suverenitet utelukkende som en nasjonal sak, fokuserer selskapets arkitektur på bedrifts-kontroll – å holde modeller, minne og applikasjons-data innen kunde-håndterte miljøer.

A Growing Canadian AI Infrastructure Story

Selv om mye av den globale AI-samtalen fortsatt er sentrert rundt Silicon Valley-grunnmodell-utviklere, representerer Backboard en annen kategori av AI-selskaper som vokser i momentum: infrastruktur-byggere fokusert på å gjøre eksisterende modeller mer praktiske for produksjons-miljøer.

Grunnlagt av Rob Imbeault, tidligere med-grunnlegger av canadiske supply-chain-programvare-selskapet Assent, har Backboard konsentrert seg om å forbedre økonomien og de operative egenskapene til bedrifts-AI i stedet for å konkurrere om å bygge den neste grense-språk-modellen. Tidligere i år, samlet selskapet en pre-seed-finansieringsrunde for å fortsette å utvikle sin AI-infrastruktur-plattform.

Som bedrifts-AI modnes, kan teknologier som reduserer inferens-kostnader, forbedrer minne, forenkler multi-modell-distribusjon og muliggjør selv-vertede AI-miljøer bli stadig viktigere sammen med fremgang i modell-kapasitet selv. Backboards siste lanseringer reflekterer denne bredere skiftningen – fra å bygge større modeller til å bygge infrastruktur som hjelper organisasjoner å trekke ut mer verdi fra modellene de allerede bruker.