Backboard.io Prezentuje Stos Infrastruktury AI Skoncentrowany na Wydajności, Kontrolę Przedsiębiorstw i Wdrożenie Suwerenne

Ponieważ organizacje rywalizują o przyjęcie sztucznej inteligencji, dyskusja przeniosła się z surowych wyników modelu do bardziej praktycznego pytania: jak przedsiębiorstwa mogą uruchamiać AI przy niższych kosztach, jednocześnie utrzymując kontrolę nad swoimi danymi? Firma z Ottawy, Backboard.io, uważa, że odpowiedź nie leży w coraz większych klastrach GPU, ale w tym, aby istniejącą infrastrukturę AI znacznie zwiększyć wydajność.

W Dzień Kanady, firma wprowadziła cztery główne technologie obejmujące kompresję modelu, rozwój oprogramowania wspomaganego przez AI, dostęp do wielu modeli AI oraz długoterminową pamięć AI. Chociaż ogłoszenie podkreśla korzenie kanadyjskie firmy, szersza historia dotyczy infrastruktury zaprojektowanej dla przedsiębiorstw, które chcą zmniejszyć koszty AI, jednocześnie utrzymując wrażliwe obciążenia wewnątrz własnych środowisk.

Robienie Istniejących GPU Bardziej Wydajnym

Być może najbardziej znaczące technicznie ogłoszenie to BackboardQuant (BBQ), technologia kompresji modelu, która według firmy może zmniejszyć rozmiar modeli AI o nawet 70%, jednocześnie utrzymując niemal identyczną jakość wyjściową.

Kompresja modelu stała się coraz ważniejszym obszarem badań nad AI, ponieważ organizacje walczą z rosnącymi kosztami inferencji. Mniejsze modele zużywają mniej pamięci, wymagają mniejszych zasobów sprzętowych i mogą często wykonywać się szybciej, pozwalając organizacjom wdrożyć zaawansowane modele bez ciągłego zwiększania pojemności GPU.

Według Backboard.io, wewnętrzne testy pokazują, że BBQ może dostarczyć nawet 2,7-krotnie szybszą inferencję, efektywnie pozwalając na wykonanie pracy, która mogłaby wymagać kilku przyspieszników, przez jeden GPU. Zamiast zastępować istniejące podstawowe modele, technologia ta jest zaprojektowana do optymalizacji ich pod kątem wdrożeń produkcyjnych.

Rywalizacja w Rozwoju Oprogramowania Wspomaganego przez AI

Firma wprowadziła również Backboard Studio, platformę kodowania AI skierowaną prosto do jednego z najbardziej konkurencyjnych rynków AI.

Zamiast tworzyć własny model językowy, Backboard przyjmuje inny architektoniczny podejście. Platforma umiejscowiona jest na górze istniejących modeli, próbując poprawić wydajność poprzez orkiestrację, zarządzanie kontekstem, rekursywne przepływy pracy i optymalizację tokenów. Deweloperzy mogą wybierać spośród wiodących komercyjnych modeli lub alternatyw open-source, podczas gdy platforma zarządza kontekstem projektu, wykonywaniem przepływu pracy i generowaniem kodu ukierunkowanego na produkcję.

Backboard twierdzi, że platforma osiąga wyniki benchmarkowe, które rywalizują z wiodącymi asystentami kodowania, jednocześnie zmniejszając użycie tokenów o nawet 30%, co jest coraz ważniejszym czynnikiem, gdy przedsiębiorstwa szukają sposobów na zarządzanie kosztami operacyjnymi AI.

Firma podkreśla również elastyczność wdrożenia przedsiębiorstwa. Backboard Studio może działać jako usługa chmurowa lub wewnątrz infrastruktury organizacji, pozwalając na pozostanie kodu źródłowego wewnątrz środowisk korporacyjnych zamiast przesyłania go do zewnętrznych dostawców AI.

Nash Konsoliduje Tysiące Modeli AI

Trzecim składnikiem ogłoszenia jest Nash, zjednoczona aplikacja czatu, która zapewnia dostęp do tysiąca modeli AI tekstowych i obrazowych za pośrednictwem jednego interfejsu.

Pojęcie to dotyczy rosnącej troski przedsiębiorstw znanej jako “cienie AI”, gdzie pracownicy niezależnie przyjmują konsumenckie narzędzia AI poza zatwierdzonymi systemami korporacyjnymi. Zamiast próbować zablokować użycie AI, Backboard pozycjonuje Nash jako scentralizowaną platformę, która daje organizacjom dostęp do szerokiego zakresu modeli, jednocześnie utrzymując kontrolę nad danymi użytkowników i pamięcią organizacyjną.

Podstawowa infrastruktura obsługuje również Przynieś Własny Klucz (BYOK), adaptacyjne zarządzanie kontekstem i routing przez tysiące dostępnych modeli za pośrednictwem jednej platformy.

Traktowanie Pamięci jako Infrastruktury AI

Jednym z definiujących technicznie focusów Backboard od jego startu była trwała pamięć AI.

Duże modele językowe pozostają fundamentalnie bezstanowe, co oznacza, że rozmowy, preferencje i historyczny kontekst zwykle znikają, chyba że deweloperzy budują dodatkową infrastrukturę wokół nich. Backboard pozycjonuje się jako warstwa pamięci dedykowana, która działa w różnych modelach AI i aplikacjach, zamiast zamykać użytkowników w jednym ekosystemie.

Firma twierdzi, że jej system pamięci obecnie zajmuje pierwsze miejsce w rankingu LoCoMo i LongMemEval, dwóch powszechnie cytowanych ocen, które mierzą długoterminową pamięć i wydajność. Wcześniej tego roku Backboard opisał pamięć jako podstawową infrastrukturę, a nie tylko kolejną funkcję warstwowej na istniejących modelach.

Ta architektura pozwala organizacjom na zachowanie historii użytkownika, preferencji i wiedzy kontekstowej, nawet w przypadku przełączania się między różnymi modelami językowymi.

AI, Która Pozostaje w Granicach Przedsiębiorstwa

Przez wszystkie cztery ogłoszenia, wyłania się spójna filozofia projektowa: przedsiębiorstwa coraz częściej chcą systemów AI, które działają pod ich własną kontrolą.

Platforma Backboard może być wdrożona wewnątrz chmury prywatnej klienta, pozwalając organizacjom na utrzymanie własności swoich danych, jednocześnie korzystając z nowoczesnych możliwości AI. Podejście to jest szczególnie istotne dla branż zajmujących się wrażliwymi informacjami, w tym opieki zdrowotnej, usług finansowych, rządu i infrastruktury krytycznej, gdzie wymagania regulacyjne często ograniczają użycie zewnętrznie hostowanych usług AI.

Zamiast postrzegać suwerenność wyłącznie jako kwestię narodową, architektura firmy koncentruje się na kontroli przedsiębiorstwa – utrzymaniu modeli, pamięci i danych aplikacji wewnątrz środowisk zarządzanych przez klienta.

Rosnąca Kanadyjska Historia Infrastruktury AI

Chociaż wiele globalnej dyskusji o AI nadal koncentruje się na deweloperach modeli podstawowych z Doliny Krzemowej, Backboard reprezentuje inną kategorię firm AI, które zyskują na impetzie: budowniczych infrastruktury skoncentrowanych na tym, aby istniejące modele były bardziej praktyczne dla środowisk produkcyjnych.

Założona przez Roba Imbeaulta, wcześniej współzałożyciela kanadyjskiej firmy oprogramowania łańcucha dostaw Assent, Backboard skoncentrowała się na poprawie ekonomiki i charakterystyki operacyjnej AI przedsiębiorstw, zamiast konkurowania o stworzenie następnego modelu językowego. Wcześniej tego roku firma zebrała rundę finansowania przed-seed, aby kontynuować rozwój swojej platformy infrastruktury AI.

W miarę dojrzewania AI przedsiębiorstw, technologie, które zmniejszają koszty inferencji, poprawiają pamięć, upraszczają wdrożenie wielu modeli i umożliwiają samodzielne środowiska AI, mogą stać się coraz ważniejsze wraz z postępem możliwości modelu. Najnowsze wydania Backboard odzwierciedlają ten szerszy trend – od budowy coraz większych modeli do budowy infrastruktury, która pomaga organizacjom wydobyć więcej wartości z modeli, których już używają.