Backboard.io prezintă stiva de infrastructură AI axată pe eficiență, control enterprise și implementare suverană

Pe măsură ce organizațiile se grăbesc să adopte inteligența artificială, discuția s-a mutat din ce în ce mai mult de la performanța brută a modelului la o întrebare mai practică: cum pot întreprinderile să ruleze AI la un cost mai mic, menținând în același timp controlul asupra datelor lor? Compania cu sediul în Ottawa, Backboard.io, consideră că răspunsul nu se află în clusteruri de GPU din ce în ce mai mari, ci în faptul de a face infrastructura de inteligență artificială existentă semnificativ mai eficientă.

În Ziua Canadei, compania a introdus patru tehnologii majore care acoperă compresia modelului, dezvoltarea de software asistată de inteligență artificială, accesul multi-model la inteligență artificială și memoria pe termen lung a inteligenței artificiale. În timp ce anunțul subliniază rădăcinile canadiene ale companiei, povestea mai largă se referă la infrastructura proiectată pentru întreprinderile care doresc să reducă costurile inteligenței artificiale, menținând în același timp sarcinile sensibile în interiorul propriilor medii.

Extinderea capacităților GPU existente

Poate cea mai semnificativă anunțare din punct de vedere tehnic este BackboardQuant (BBQ), o tehnologie de compresie a modelului care, potrivit companiei, poate reduce dimensiunile modelului de inteligență artificială cu până la 70%, menținând în același timp o calitate de ieșire aproape identică.

Compresia modelului a devenit o zonă din ce în ce mai importantă a cercetării în domeniul inteligenței artificiale, pe măsură ce organizațiile se confruntă cu costurile crescânde ale inferenței. Modelele mai mici consumă mai puțină memorie, necesită mai puține resurse hardware și pot executa mai rapid, permițând organizațiilor să implementeze modele avansate fără a fi nevoie să extindă în mod constant capacitatea GPU.

Conform declarațiilor Backboard.io, testele interne arată că BBQ poate oferi până la 2,7 ori inferență mai rapidă, permițând efectiv unui singur GPU să efectueze o muncă care ar putea necesita altfel mai mulți acceleratori. În loc de a înlocui modelele de fond existente, tehnologia este proiectată pentru a le optimiza pentru implementări de producție.

Concurența în dezvoltarea de software asistată de inteligență artificială

Compania a introdus, de asemenea, Backboard Studio, o platformă de codare asistată de inteligență artificială, care se adresează direct uneia dintre cele mai competitive piețe de inteligență artificială de astăzi.

În loc de a dezvolta propriul model de limbaj de frontieră, Backboard adoptă o abordare arhitecturală diferită. Platforma se situează deasupra modelelor existente, încercând să îmbunătățească eficiența prin orchestrare, gestionare a contextului, fluxuri de lucru recursive și optimizare a tokenilor. Dezvoltatorii pot alege dintre modelele comerciale de top sau alternativele open-source, în timp ce platforma gestionează contextul proiectului, execuția fluxului de lucru și generarea de cod orientat spre producție.

Backboard afirmă că platforma obține rezultate de referință care rivalizează cu asistenții de codare de top, reducând în același timp utilizarea tokenilor cu până la 30%, o considerație din ce în ce mai importantă pe măsură ce întreprinderile încearcă să gestioneze costurile de funcționare ale inteligenței artificiale.

Compania subliniază, de asemenea, flexibilitatea de implementare la nivel de întreprindere. Backboard Studio poate funcționa atât ca serviciu cloud, cât și în interiorul infrastructurii unei organizații, permițând codului sursă proprietar să rămână în interiorul mediilor corporative, în loc de a fi transmis către furnizorii de inteligență artificială terți.

Nash consolidează mii de modele de inteligență artificială

Un al treilea component al anunțului este Nash, o aplicație de chat unificată care oferă acces la mii de modele de inteligență artificială text și imagine prin intermediul unei singure interfețe.

Conceptul abordează o preocupare din ce în ce mai mare a întreprinderilor, cunoscută sub numele de “inteligență artificială din umbră”, în care angajații adoptă independent instrumente de inteligență artificială pentru consumatori din afara sistemelor corporative aprobate. În loc de a încerca să blocheze utilizarea inteligenței artificiale, Backboard poziționează Nash ca o platformă centralizată care oferă organizațiilor acces la o gamă largă de modele, menținând în același timp guvernanța asupra datelor utilizatorilor și a memoriei organizaționale.

Infrastructura subiacentă susține, de asemenea, Aducerea propriului cheie (BYOK), gestionarea adaptivă a contextului și rutarea prin mii de modele disponibile prin intermediul unei singure platforme.

Tratarea memoriei ca infrastructură de inteligență artificială

Una dintre focusările tehnice definitorii ale Backboard de la lansare a fost memoria persistentă a inteligenței artificiale.

Modelele de limbaj mare rămân fundamental fără stare, ceea ce înseamnă că conversațiile, preferințele și contextul istoric dispar de obicei, cu excepția cazului în care dezvoltatorii construiesc infrastructură suplimentară în jurul lor. Backboard s-a poziționat ca o straturi de memorie dedicată care funcționează peste diferite modele și aplicații de inteligență artificială, mai degrabă decât a bloca utilizatorii într-un singur ecosistem.

Compania afirmă că sistemul său de memorie se situează în prezent pe primul loc în ambele benchmark-uri LoCoMo și LongMemEval, două evaluări larg referențiate care măsoară raționamentul cu context lung și performanța memoriei persistente. La începutul acestui an, Backboard a descris memoria ca infrastructură fundamentală, mai degrabă decât doar o altă funcție stratificată peste modelele existente.

Această arhitectură permite organizațiilor să păstreze istoricul utilizatorilor, preferințele și cunoștințele contextuale, chiar și atunci când se switch-ează între diferite modele de limbaj.

Inteligența artificială care rămâne în interiorul granițelor întreprinderii

De-a lungul tuturor celor patru anunțuri, o filozofie de proiectare coerentă apare: întreprinderile doresc din ce în ce mai mult sisteme de inteligență artificială care funcționează sub guvernanța lor.

Platforma Backboard poate fi implementată în interiorul cloud-ului privat al unui client, permițând organizațiilor să păstreze proprietatea asupra datelor lor, în timp ce utilizează capacități moderne de inteligență artificială. Abordarea este deosebit de relevantă pentru industrii care manipulează informații sensibile, inclusiv sănătate, servicii financiare, guvern și infrastructură critică, în care cerințele de reglementare adesea limitează utilizarea serviciilor de inteligență artificială găzduite în exterior.

În loc de a prezenta suveranitatea doar ca o problemă națională, arhitectura companiei se concentrează asupra controlului la nivel de întreprindere – menținerea modelului, a memoriei și a datelor de aplicație în interiorul mediilor gestionate de clienți.

O poveste de infrastructură de inteligență artificială canadiană în creștere

Deși o mare parte a conversației globale despre inteligența artificială rămâne concentrată pe dezvoltatorii de modele de frontieră din Silicon Valley, Backboard reprezintă o altă categorie de companii de inteligență artificială care câștigă impuls: constructori de infrastructură care se concentrează pe faptul de a face modelele existente mai practice pentru medii de producție.

Fondată de Rob Imbeault, fost co-fondator al companiei canadiene de software pentru lanțuri de aprovizionare Assent, Backboard s-a concentrat pe îmbunătățirea economică și a caracteristicilor operaționale ale inteligenței artificiale la nivel de întreprindere, mai degrabă decât pe a concura pentru a construi următorul model de limbaj de frontieră. La începutul acestui an, compania a strâns un rundă de finanțare pre-seed pentru a continua dezvoltarea platformei sale de infrastructură de inteligență artificială.

Pe măsură ce inteligența artificială la nivel de întreprindere maturizează, tehnologiile care reduc costurile inferenței, îmbunătățesc memoria, simplifică implementarea multi-model și permit implementarea mediilor de inteligență artificială autogăzduite pot deveni din ce în ce mai importante, alături de progresele în capacitățile modelului în sine. Ultimelor lansări ale Backboard reflectă această schimbare mai largă – de la construirea unor modele din ce în ce mai mari la construirea unei infrastructuri care ajută organizațiile să extragă mai multă valoare din modelele pe care le utilizează deja.