Backboard.io představuje AI infrastrukturu zaměřenou na efektivitu, kontrolu podniků a suverénní nasazení

Podniky se závodí v přijetí umělé inteligence, diskuse se stále více přesunula od surového výkonu modelu k praktičtější otázce: jak mohou podniky provozovat umělou inteligenci při nižších nákladech a zároveň udržet kontrolu nad svými daty? Ottawa-based Backboard.io věří, že odpověď spočívá nejen v stále větších clusterech GPU, ale v tom, aby stávající infrastruktura umělé inteligence byla podstatně efektivnější.

V Den Kanady společnost představila čtyři hlavní technologie pokrývající kompresi modelů, AI-pomocný vývoj softwaru, multi-modelový přístup k AI a dlouhodobou AI paměť. Zatímco oznámení zdůrazňuje kanadské kořeny společnosti, širší příběh se týká infrastruktury navržené pro podniky, které chtějí snížit náklady na AI a zároveň udržet citlivé úlohy uvnitř svých vlastních prostředí.

Využití stávajících GPU

Možná nejvýznamnější technickou novinkou je BackboardQuant (BBQ), technologie komprese modelů, která podle společnosti může snížit velikost modelů AI až o 70 % a přitom zachovat téměř identickou kvalitu výstupu.

Komprese modelů se stala stále důležitějším oblastí výzkumu AI, protože podniky bojují se vzrůstajícími náklady na inferenci. Menší modely spotřebují méně paměti, vyžadují méně hardwarových zdrojů a mohou často vykonávat rychleji, což umožňuje podnikům nasazovat pokročilé modely bez neustálého rozšiřování kapacity GPU.

Podle Backboard.io vnitřní testy prokázaly, že BBQ může dodat až 2,7krát rychlejší inferenci, což efektivní umožňuje jedné GPU vykonávat práci, která by jinak vyžadovala několik urychlovačů. Namísto nahrazení stávajících základních modelů je technologie navržena tak, aby je optimalizovala pro produkční nasazení.

Soutěž v AI-pomocném vývoji softwaru

Společnost také představila Backboard Studio, platformu pro AI kódování, která je zaměřena přímo na jednu z nejvíce konkurenčních AI trhů.

Místo vývoje vlastního jazykového modelu na hranici výzkumu se Backboard uchýlí k odlišnému architektonickému přístupu. Platforma je umístěna nad stávajícími modely a snaží se zlepšit efektivitu prostřednictvím orchestrace, správy kontextu, rekurzivních pracovních postupů a optimalizace tokenů. Vývojáři si mohou vybrat z předních komerčních modelů nebo otevřených alternativ, zatímco platforma spravuje projektový kontext, provádění pracovních postupů a generování produkčního kódu.

Backboard tvrdí, že platforma dosahuje výsledků, které se vyrovnají vedoucím kódovacím asistentům, a zároveň snižuje spotřebu tokenů až o 30 %, což je stále důležitější考虑 při snaze podniků řídit náklady na AI.

Společnost také zdůrazňuje flexibilitu nasazení v podnikovém prostředí. Backboard Studio může fungovat jako cloudová služba nebo uvnitř infrastruktury podniku, což umožňuje, aby proprietární zdrojový kód zůstal uvnitř firemních prostředí místo přenosu na třetí strany AI poskytovatelů.

Nash konsoliduje tisíce AI modelů

Třetí součástí oznámení je Nash, jednotná chatovací aplikace, která poskytuje přístup k tisícům textových a obrazových AI modelů prostřednictvím jediného rozhraní.

Koncept řeší rostoucí podnikovou obavu známou jako “stínová AI”, kdy zaměstnanci nezávisle přijímají spotřební AI nástroje mimo schválené firemní systémy. Místo toho, aby se snažili blokovat použití AI, Backboard позиcionuje Nash jako centralizovanou platformu, která poskytuje podnikům přístup k širokému spektru modelů, zatímco udržuje kontrolu nad uživatelskými daty a firemní pamětí.

Podkladová infrastruktura také podporuje Bring Your Own Key (BYOK), adaptivní správu kontextu a směrování přes tisíce dostupných modelů prostřednictvím jediné platformy.

Léčba paměti jako AI infrastruktury

Jednou z definujících technických zaměření Backboardu od jeho spuštění je trvalá AI paměť.

Velké jazykové modely zůstávají fundamentalně bezzásadové, což znamená, že konverzace, preference a historický kontext obvykle zmizí, pokud vývojáři nevytvoří dodatečnou infrastrukturu kolem nich. Backboard se позиcionuje jako vyhrazená paměťová vrstva, která funguje napříč různými AI modely a aplikacemi, místo aby uzamkla uživatele do jediného ekosystému.

Společnost tvrdí, že její paměťový systém se目前 umístil na prvním místě v obou LoCoMo a LongMemEval benchmarcích, dvou široce citovaných hodnocení, která měří dlouhodobé kontextové uvažování a trvalou paměťovou výkonnost. Na začátku tohoto roku Backboard popsal paměť jako základovou infrastrukturu spíše než jen další funkci vrstvenou na stávající modely.

Tato architektura umožňuje podnikům uchovat historii uživatelů, preference a kontextové znalosti, i když přecházejí mezi různými jazykovými modely.

AI, která zůstává uvnitř podnikových hranic

V rámci všech čtyř oznámení se objevuje konzistentní designový filozofie: podniky stále více chtějí AI systémy, které fungují pod svou vlastní kontrolou.

Platforma Backboardu může být nasazena uvnitř privátního cloudu zákazníka, což umožňuje podnikům uchovat vlastnictví svých dat, zatímco využívají moderní AI schopnosti. Tento přístup je zvláště relevantní pro odvětví, která zpracovávají citlivé informace, včetně zdravotnictví, finančních služeb, vlády a kritické infrastruktury, kde regulační požadavky často omezují použití externě hostovaných AI služeb.

Místo toho, aby suverenitu vnímali pouze jako národní otázku, architektura společnosti se zaměřuje na kontrolu podniků – držení modelů, paměti a aplikací uvnitř prostředí spravovaných zákazníky.

Rostoucí kanadský příběh AI infrastruktury

Ačkoli většina globální AI konverzace zůstává soustředěna na vývojáře základních modelů v Silicon Valley, Backboard reprezentuje jinou kategorii AI společností, které získávají dynamiku: infrastruktura stavitele zaměřené na to, aby stávající modely byly více praktické pro produkční prostředí.

Společnost založená Robem Imbeaultem, dříve spolumajitelem kanadské softwarové společnosti Assent pro řízení dodavatelského řetězce, se soustředila na zlepšení ekonomiky a provozních charakteristik podnikové AI, místo aby soutěžila o stavbu dalšího hranice jazykového modelu. Na začátku tohoto roku společnost získala před-seed financování, aby pokračovala ve vývoji své AI infrastruktury.

Jakmile se podniková AI zralá, technologie, které snižují náklady na inferenci, zlepšují paměť, zjednodušují multi-modelové nasazení a umožňují samo-hostované AI prostředí, mohou se stát stále důležitějšími vedle pokroku v samotné schopnosti modelu. Poslední vydání Backboardu odráží tento širší posun – od budování stále větších modelů k budování infrastruktury, která pomáhá podnikům získat více hodnoty z modelů, které již používají.