Backboard.io presenterar AI-infrastrukturstack med fokus på effektivitet, företagskontroll och suverän distribution

Såsom organisationer tävlar om att anta artificiell intelligens, har samtalet alltmer skiftat från rå modellprestanda till en mer praktisk fråga: hur kan företag köra AI till lägre kostnad samtidigt som de behåller kontrollen över sina data? Ottawa-baserade Backboard.io tror att svaret inte ligger i allt större GPU-kluster, utan i att göra befintlig AI-infrastruktur betydligt mer effektiv.

På Kanadadagen introducerade företaget fyra stora teknologier som omfattar modellkomprimering, AI-assisterad programvaruutveckling, multi-modell AI-åtkomst och långsiktig AI-minne. Medan tillkännagivandet betonar företagets kanadensiska rötter, är den bredare historien om infrastruktur designad för företag som vill minska AI-kostnader samtidigt som de håller känsliga arbetsbelastningar inom sina egna miljöer.

Gör befintliga GPU:er mer effektiva

Kanske den mest tekniskt betydelsefulla tillkännagivandet är BackboardQuant (BBQ), en modellkomprimeringsteknologi som företaget säger kan minska AI-modellstorlekar med så mycket som 70% samtidigt som den behåller nästan identisk utdatakvalitet.

Modellkomprimering har blivit ett alltmer viktigt område inom AI-forskning eftersom organisationer kämpar med de ökande kostnaderna för inferens. Mindre modeller förbrukar mindre minne, kräver färre hårdvaruresurser och kan ofta utföra snabbare, vilket gör att organisationer kan distribuera avancerade modeller utan att ständigt utöka GPU-kapaciteten.

Enligt Backboard.io visar intern testning att BBQ kan leverera upp till 2,7 gånger snabbare inferens, vilket i princip tillåter en enda GPU att utföra arbete som annars kan kräva flera acceleratorer. Istället för att ersätta befintliga grundmodeller är tekniken designad för att optimera dem för produktionsdistributioner.

Tävla i AI-assisterad programvaruutveckling

Företaget introducerade också Backboard Studio, en AI-kodplattform som riktar sig direkt mot en av dagens mest konkurrensutsatta AI-marknader.

Istället för att utveckla sin egen gränsmodell, tar Backboard en annan arkitekturansats. Plattformen sitter ovanpå befintliga modeller medan den försöker förbättra effektiviteten genom orkestrering, kontextshantering, rekursiva arbetsflöden och tokenoptimering. Utvecklare kan välja mellan ledande kommersiella modeller eller öppen källkodsalternativ medan plattformen hanterar projektkontext, arbetsflödesutförande och produktionsinriktad kodgeenerering.

Backboard hävdar att plattformen uppnår benchmarkresultat som kan mäta sig med ledande kodhjälpare samtidigt som den minskar tokenanvändningen med upp till 30%, ett alltmer viktigt övervägande när företag försöker hantera AI-driftskostnader.

Företaget betonar också företagsdistributionens flexibilitet. Backboard Studio kan fungera antingen som en molntjänst eller inom en organisations egen infrastruktur, vilket gör att proprietär källkod kan förbli inom företagsmiljöer istället för att överföras till tredjeparts AI-leverantörer.

Nash konsoliderar tusentals AI-modeller

En tredje komponent i tillkännagivandet är Nash, en enhetlig chattapplikation som ger åtkomst till tusentals text- och bild-AI-modeller via ett enda gränssnitt.

Begreppet hanterar en växande företagsfråga som kallas “skugg-AI”, där anställda oberoende antar konsument-AI-verktyg utanför godkända företagssystem. Istället för att försöka blockera AI-användning, positionerar Backboard Nash som en central plattform som ger organisationer åtkomst till en bred range av modeller samtidigt som de behåller styrning över användardata och organisatoriskt minne.

Den underliggande infrastrukturen stöder också Bring Your Own Key (BYOK), adaptiv kontextshantering och routing över tusentals tillgängliga modeller via en enda plattform.

Behandla minne som AI-infrastruktur

En av Backboards definierande tekniska fokus sedan lanseringen har varit beständigt AI-minne.

Stora språkmodeller förblir grundläggande tillståndslösa, vilket innebär att samtal, preferenser och historisk kontext vanligtvis försvinner om utvecklare inte bygger ytterligare infrastruktur runt dem. Backboard har positionerat sig som en dedikerad minneslager som fungerar över olika AI-modeller och applikationer snarare än att låsa användare till en enda ekosystem.

Företaget säger att deras minnessystem för närvarande rankas först på både LoCoMo och LongMemEval-benchmark, två allmänt refererade utvärderingar som mäter långkontextuell resonemang och beständigt minnesprestanda. Tidigare i år beskrev Backboard minne som grundläggande infrastruktur snarare än bara en funktion som lagts till på befintliga modeller.

Denna arkitektur gör det möjligt för organisationer att bevara användarhistorik, preferenser och kontextuell kunskap även när de växlar mellan olika språkmodeller.

AI som stannar inom företagsgränser

Över alla fyra tillkännagivanden framgår en konsekvent designfilosofi: företag vill alltmer ha AI-system som fungerar under deras egen styrning.

Backboards plattform kan distribueras inom en kunds privata moln, vilket gör att organisationer kan behålla ägandet av sina data samtidigt som de använder moderna AI-funktioner. Det tillvägagångssättet är särskilt relevant för branscher som hanterar känslig information, inklusive hälsovård, finansiella tjänster, regering och kritisk infrastruktur, där regleringskrav ofta begränsar användningen av externt värd AI-tjänster.

Istället för att ramla suveränitet enbart som en nationell fråga, fokuserar företagets arkitektur på företagskontroll – att hålla modeller, minne och applikationsdata inom kundhanterade miljöer.

En växande kanadensisk AI-infrastrukturhistoria

Även om mycket av den globala AI-samtalet fortfarande är centrerat kring Silicon Valley-grundmodellutvecklare, representerar Backboard en annan kategori av AI-företag som vinner momentum: infrastrukturbuilder fokuserade på att göra befintliga modeller mer praktiska för produktionsmiljöer.

Grundat av Rob Imbeault, tidigare medgrundare av det kanadensiska supply chain-programvaruföretaget Assent, har Backboard koncentrerat sig på att förbättra ekonomi och operativa egenskaper hos företags-AI snarare än att tävla om att bygga den nästa gränsmodellen. Tidigare i år höll företaget en för-seed-finansieringsrunda för att fortsätta utveckla sin AI-infrastrukturplattform.

Såsom företags-AI mognar, kan teknologier som minskar inferenskostnader, förbättrar minne, förenklar multi-modelldistribution och möjliggör självvärd AI-miljöer bli alltmer viktiga bredvid framsteg i modellförmåga. Backboards senaste utgåvor speglar den bredare skiftningen – från att bygga allt större modeller till att bygga infrastruktur som hjälper organisationer att extrahera mer värde från de modeller de redan använder.