Backboard.io Presenta una Piattaforma di Infrastruttura di Intelligenza Artificiale Focalizzata sull’Efficienza, il Controllo Aziendale e la Distribuzione Sovrana

Man mano che le organizzazioni corrono per adottare l’intelligenza artificiale, la conversazione si è spostata sempre più dal raw model performance a una questione più pratica: come possono le aziende eseguire l’AI a un costo inferiore mantenendo il controllo sui propri dati? Backboard.io, con sede a Ottawa, ritiene che la risposta non stia nelle sempre più grandi cluster di GPU, ma nel rendere l’infrastruttura di intelligenza artificiale esistente significativamente più efficiente.

Il giorno del Canada, l’azienda ha introdotto quattro tecnologie principali che coprono la compressione del modello, lo sviluppo del software assistito dall’AI, l’accesso multi-modello all’AI e la memoria a lungo termine dell’AI. Se l’annuncio mette in evidenza le radici canadesi dell’azienda, la storia più ampia riguarda un’infrastruttura progettata per le aziende che desiderano ridurre i costi dell’AI mantenendo i carichi di lavoro sensibili all’interno dei propri ambienti.

Portare le GPU Esistenti Oltre

Forse l’annuncio più significativo dal punto di vista tecnico è BackboardQuant (BBQ), una tecnologia di compressione del modello che l’azienda afferma può ridurre le dimensioni del modello di AI fino al 70% mantenendo una qualità di output quasi identica.

La compressione del modello è diventata un’area di ricerca sempre più importante nell’ambito dell’AI, poiché le organizzazioni lottano con il costo crescente dell’inferenza. I modelli più piccoli consumano meno memoria, richiedono meno risorse hardware e possono spesso eseguire più velocemente, consentendo alle organizzazioni di distribuire modelli avanzati senza dover continuamente espandere la capacità della GPU.

Secondo Backboard.io, i test interni mostrano che BBQ può offrire un’inferenza fino a 2,7 volte più veloce, consentendo effettivamente a una sola GPU di svolgere il lavoro che altrimenti potrebbe richiedere più acceleratori. Piuttosto che sostituire i modelli di base esistenti, la tecnologia è progettata per ottimizzarli per le distribuzioni di produzione.

Competere nello Sviluppo del Software Assistito dall’AI

L’azienda ha anche introdotto Backboard Studio, una piattaforma di codifica dell’AI rivolta direttamente a uno dei mercati di AI più competitivi di oggi.

Invece di sviluppare un proprio modello linguistico di frontiera, Backboard adotta un approccio architettonico diverso. La piattaforma si trova sopra i modelli esistenti, cercando di migliorare l’efficienza attraverso l’orchestrazione, la gestione del contesto, i flussi di lavoro ricorsivi e l’ottimizzazione dei token. Gli sviluppatori possono scegliere tra modelli commerciali leader o alternative open-source, mentre la piattaforma gestisce il contesto del progetto, l’esecuzione del flusso di lavoro e la generazione di codice orientata alla produzione.

Backboard afferma che la piattaforma raggiunge risultati di benchmark che rivaleggiano con gli assistenti di codifica leader, riducendo l’utilizzo dei token fino al 30%, una considerazione sempre più importante mentre le aziende cercano di gestire i costi operativi dell’AI.

L’azienda sottolinea anche la flessibilità di distribuzione aziendale. Backboard Studio può funzionare come servizio cloud o all’interno dell’infrastruttura di un’azienda, consentendo al codice sorgente proprietario di rimanere all’interno degli ambienti aziendali invece di essere trasmesso a fornitori di AI di terze parti.

Nash Consolida Migliaia di Modelli di AI

Un terzo componente dell’annuncio è Nash, un’applicazione di chat unificata che fornisce l’accesso a migliaia di modelli di AI testuali e di immagini attraverso una singola interfaccia.

Il concetto affronta una crescente preoccupazione aziendale conosciuta come “shadow AI”, dove i dipendenti adottano indipendentemente strumenti di AI per consumatori al di fuori dei sistemi aziendali approvati. Piuttosto che cercare di bloccare l’utilizzo dell’AI, Backboard posiziona Nash come una piattaforma centralizzata che fornisce alle organizzazioni l’accesso a una vasta gamma di modelli, mantenendo al contempo la governance sui dati degli utenti e sulla memoria organizzativa.

L’infrastruttura sottostante supporta anche Bring Your Own Key (BYOK), la gestione del contesto adattivo e il routing su migliaia di modelli disponibili attraverso una singola piattaforma.

Trattare la Memoria come Infrastruttura di AI

Uno degli obiettivi tecnici di Backboard fin dalla sua creazione è stata la memoria persistente dell’AI.

I grandi modelli linguistici rimangono fondamentalmente senza stato, il che significa che le conversazioni, le preferenze e il contesto storico di solito scompaiono a meno che gli sviluppatori non costruiscano ulteriore infrastruttura intorno ad essi. Backboard si è posizionata come uno strato di memoria dedicato che funziona attraverso diversi modelli e applicazioni di AI, piuttosto che bloccare gli utenti in un singolo ecosistema.

L’azienda afferma che il suo sistema di memoria attualmente si classifica al primo posto sia nella valutazione LoCoMo che in LongMemEval, due valutazioni ampiamente citate che misurano il ragionamento a lungo contesto e le prestazioni della memoria persistente. All’inizio di quest’anno, Backboard ha descritto la memoria come infrastruttura fondamentale piuttosto che come un’altra funzionalità stratificata sui modelli esistenti.

Questa architettura consente alle organizzazioni di preservare la storia degli utenti, le preferenze e le conoscenze contestuali anche quando si passa tra diversi modelli linguistici.

AI che Rimane all’Interno dei Confini Aziendali

In tutti e quattro gli annunci, emerge una filosofia di progettazione coerente: le aziende desiderano sempre più sistemi di AI che operano sotto la loro governance.

La piattaforma di Backboard può essere distribuita all’interno di un cloud privato del cliente, consentendo alle organizzazioni di mantenere la proprietà dei propri dati mentre utilizzano capacità di AI moderne. Questo approccio è particolarmente rilevante per le industrie che gestiscono informazioni sensibili, tra cui sanità, servizi finanziari, governo e infrastrutture critiche, dove spesso i requisiti normativi limitano l’utilizzo di servizi di AI ospitati esternamente.

Piuttosto che inquadrare la sovranità solo come una questione nazionale, l’architettura dell’azienda si concentra sul controllo aziendale: mantenere modelli, memoria e dati dell’applicazione all’interno degli ambienti gestiti dal cliente.

Una Storia di Infrastruttura di Intelligenza Artificiale Canadese in Crescita

Sebbene gran parte della conversazione globale sull’AI sia ancora centrata sugli sviluppatori di modelli di base della Silicon Valley, Backboard rappresenta un’altra categoria di aziende di AI che guadagna slancio: costruttori di infrastrutture che si concentrano sul rendere i modelli esistenti più pratici per gli ambienti di produzione.

Fondata da Rob Imbeault, precedentemente co-fondatore della società canadese di software per la catena di approvvigionamento Assent, Backboard si è concentrata sul migliorare l’economia e le caratteristiche operative dell’AI aziendale, piuttosto che competere per costruire il prossimo modello linguistico di frontiera. All’inizio di quest’anno, l’azienda ha raccolto un round di finanziamento pre-seed per continuare a sviluppare la sua piattaforma di infrastruttura di AI.

Man mano che l’AI aziendale matura, le tecnologie che riducono i costi di inferenza, migliorano la memoria, semplificano la distribuzione multi-modello e consentono ambienti di AI auto-ospitati potrebbero diventare sempre più importanti insieme ai progressi nelle capacità dei modelli stessi. Le ultime uscite di Backboard riflettono questo cambiamento più ampio: passare dal costruire modelli sempre più grandi al costruire infrastrutture che aiutano le organizzazioni a estrarre più valore dai modelli che già utilizzano.