Backboard.io Fremviser AI-Infrastruktur-Stack Fokuseret på Effektivitet, Virksomhedskontrol og Suveræn Udrulning

Som organisationer konkurrerer om at adoptere kunstig intelligens, er diskussionen mere og mere flyttet fra ren modelpræstation til en mere praktisk spørgsmål: hvordan kan virksomheder køre AI til lavere omkostninger, samtidig med at de opretholder kontrol over deres data? Ottawa-baserede Backboard.io mener, at svaret ikke ligger i stadig større GPU-kluster, men i at gøre eksisterende AI-infrastruktur betydeligt mere effektiv.

På Canada Day introducerede virksomheden fire store teknologier, der dækker modelkompression, AI-assisteret softwareudvikling, multi-model AI-adgang og langtidshukommelse for AI. Selv om annonceringen fremhæver virksomhedens canadiske rødder, er den bredere historie om infrastruktur designet til virksomheder, der ønsker at reducere AI-omkostninger, samtidig med at de holder følsomme arbejdslaster inde for deres egne miljøer.

Få Eksisterende GPU’er til at Gå Længere

Måske den mest teknisk betydningsfulde annoncering er BackboardQuant (BBQ), en modelkompressionsteknologi, som virksomheden siger kan reducere AI-modelstørrelser med op til 70%, samtidig med at den opretholder næsten identisk udgangskvalitet.

Modelkompression er blevet et stadig vigtigere område inden for AI-forskning, da organisationer kæmper med de stigende omkostninger ved inference. Mindre modeller forbruger mindre hukommelse, kræver færre hardware-resourcer og kan ofte udføres hurtigere, hvilket giver organisationer mulighed for at udrulle avancerede modeller uden at skulle udvide GPU-kapaciteten løbende.

Ifølge Backboard.io viser interne tests, at BBQ kan levere op til 2,7 gange hurtigere inference, hvilket effektivt giver en enkelt GPU mulighed for at udføre arbejde, der ellers ville kræve multiple acceleratorer. Teknologien er ikke designet til at erstatte eksisterende grundlæggende modeller, men til at optimere dem til produktionsdistributioner.

Konkurrerende i AI-Assisteret Softwareudvikling

Virksomheden introducerede også Backboard Studio, en AI-kodeplatform, der er rettet mod en af i dag’s mest konkurrerende AI-markeder.

I stedet for at udvikle sin egen frontiersprogmodel, tager Backboard en anden arkitektonisk tilgang. Platformen sidder oven på eksisterende modeller, mens den forsøger at forbedre effektiviteten gennem orkestrering, kontekststyring, rekursive arbejdsgange og tokenoptimering. Udviklere kan vælge mellem førende kommercielle modeller eller åbne kildealternativer, mens platformen styrer projektets kontekst, arbejdsgangsudførelse og kodegenerering til produktion.

Backboard hævder, at platformen opnår benchmarkresultater, der kan konkurrere med førende kodestøtter, samtidig med at den reducerer tokenbrugen med op til 30%, en stadig vigtigere overvejelse, da virksomheder søger at styre AI-driftsomkostninger.

Virksomheden fremhæver også virksomhedsudrulningsflexibilitet. Backboard Studio kan fungere enten som en skytjeneste eller inde for en organisations egen infrastruktur, hvilket giver mulighed for, at proprietær kildekode kan forblive inde for virksomhedens egne miljøer i stedet for at blive overført til tredjeparts-AI-udbydere.

Nash Konsoliderer Tusinder af AI-Modeller

En tredje komponent i annonceringen er Nash, en samlet chatapplikation, der giver adgang til tusinder af tekst- og billed-AI-modeller gennem en enkelt interface.

Begrebet beskæftiger sig med en stigende virksomhedsbekymring kendt som “skygge-AI”, hvor medarbejdere uafhængigt adopterer forbruger-AI-værktøjer uden for godkendte virksomhedssystemer. I stedet for at forsøge at blokere AI-brug stiller Backboard Nash som en centraliseret platform, der giver virksomheder adgang til et bredt udvalg af modeller, samtidig med at de opretholder styring over brugerdata og organisationshukommelse.

Den underliggende infrastruktur understøtter også Bring Your Own Key (BYOK), adaptiv kontekststyring og routing over tusinder af tilgængelige modeller gennem en enkelt platform.

Behandling af Hukommelse som AI-Infrastruktur

En af Backboards definerende tekniske fokusområder siden lanceringen har været varig AI-hukommelse.

Store sprogmodeller forbliver fundamentalt statiske, hvilket betyder, at samtaler, præferencer og historisk kontekst typisk forsvinder, medmindre udviklere bygger ekstra infrastruktur omkring dem. Backboard har positioneret sig selv som en dedikeret hukommelsesskikt, der fungerer på tværs af forskellige AI-modeller og -applikationer i stedet for at låse brugere til en enkelt økosystem.

Virksomheden siger, at deres hukommelsessystem i øjeblikket er nummer ét på både LoCoMo- og LongMemEval-benchmarkene, to bredt henvisede evalueringer, der måler lang-kontekstuel fornuft og varig hukommelsespræstation. Tidligere på året beskrev Backboard hukommelse som grundlæggende infrastruktur i stedet for blot endnu en funktion lagt oven på eksisterende modeller.

Denne arkitektur giver virksomheder mulighed for at bevare brugerhistorik, præferencer og kontekstuel viden, selv når de skifter mellem forskellige sprogmodeller.

AI, der Forbliver inde for Virksomhedens Grænser

På tværs af alle fire annonceringer kommer en konsekvent designfilosofi frem: virksomheder ønsker stadig mere AI-systemer, der fungerer under deres egen styring.

Backboards platform kan udrulles inde for en kundes private sky, hvilket giver virksomheder mulighed for at opretholde ejerskab over deres data, samtidig med at de anvender moderne AI-kapaciteter. Denne tilgang er særligt relevant for brancher, der håndterer følsomme oplysninger, herunder sundhedspleje, finansielle tjenester, regering og kritisk infrastruktur, hvor reguleringskrav ofte begrænser brugen af eksternt værtssede AI-tjenester.

I stedet for at fremstille suverænitet udelukkende som en national sag, fokuserer virksomhedens arkitektur på virksomhedsstyring – at holde modeller, hukommelse og applikationsdata inde for kundestyrede miljøer.

En Voksende Canadisk AI-Infrastruktur-Historie

Selv om meget af den globale AI-konversation stadig er centreret omkring Silicon Valley-fundament-modelludviklere, repræsenterer Backboard en anden kategori af AI-virksomheder, der vinder momentum: infrastrukturbuilderne, der fokuserer på at gøre eksisterende modeller mere praktiske til produktionsmiljøer.

Stiftet af Rob Imbeault, tidligere medstifter af den canadiske supply chain-softwarevirksomhed Assent, har Backboard koncentreret sig om at forbedre økonomien og de operationelle egenskaber ved virksomheds-AI i stedet for at konkurrere om at bygge den næste frontiersprogmodel. Tidligere på året hævede virksomheden en pre-seed-finansieringsrunde for at fortsætte med at udvikle sin AI-infrastrukturplatform.

Som virksomheds-AI modnes, kan teknologier, der reducerer inference-omkostninger, forbedrer hukommelse, simplificerer multi-model-udrulning og giver mulighed for selv-værtsede AI-miljøer, blive stadig vigtigere sammen med fremskridt i modelkapacitet selv. Backboards seneste udgivelser afspejler denne bredere skift – fra at bygge stadig større modeller til at bygge infrastruktur, der hjælper virksomheder med at udtrække mere værdi fra de modeller, de allerede bruger.