Backboard.io présente une pile d’infrastructure d’IA axée sur l’efficacité, le contrôle d’entreprise et le déploiement souverain

Alors que les organisations se précipitent pour adopter l’intelligence artificielle, la conversation a de plus en plus dévié de la performance brute des modèles pour se concentrer sur une question plus pratique : comment les entreprises peuvent-elles exécuter l’IA à moindre coût tout en maintenant le contrôle sur leurs données ? La société basée à Ottawa, Backboard.io, croit que la réponse ne réside pas dans des grappes de GPU toujours plus grandes, mais dans le fait de rendre l’infrastructure d’IA existante nettement plus efficace.

Le jour de la fête du Canada, l’entreprise a présenté quatre technologies majeures couvrant la compression de modèles, le développement de logiciels assisté par l’IA, l’accès multi-modèles à l’IA et la mémoire à long terme de l’IA. Bien que l’annonce mette en évidence les racines canadiennes de l’entreprise, l’histoire plus large concerne une infrastructure conçue pour les entreprises qui souhaitent réduire les coûts de l’IA tout en gardant les charges de travail sensibles à l’intérieur de leurs propres environnements.

Faire aller les GPU existants plus loin

La plus importante annonce technique est peut-être BackboardQuant (BBQ), une technologie de compression de modèles que l’entreprise affirme capable de réduire les tailles de modèles d’IA de jusqu’à 70 % tout en maintenant une qualité de sortie quasi identique.

La compression de modèles est devenue un domaine de recherche en IA de plus en plus important à mesure que les organisations luttent contre le coût croissant de l’inférence. Les modèles plus petits consomment moins de mémoire, nécessitent moins de ressources matérielles et peuvent souvent s’exécuter plus rapidement, permettant aux organisations de déployer des modèles avancés sans devoir constamment augmenter la capacité des GPU.

Selon Backboard.io, les tests internes montrent que BBQ peut offrir jusqu’à 2,7 fois plus de vitesse d’inférence, permettant ainsi à un seul GPU d’effectuer un travail qui pourrait autrement nécessiter plusieurs accélérateurs. Plutôt que de remplacer les modèles de base existants, la technologie est conçue pour les optimiser pour les déploiements de production.

Concourir dans le développement de logiciels assisté par l’IA

L’entreprise a également présenté Backboard Studio, une plateforme de codage assisté par l’IA visant directement l’un des marchés de l’IA les plus compétitifs d’aujourd’hui.

Au lieu de développer son propre modèle de langage de pointe, Backboard adopte une approche architecturale différente. La plateforme est située au-dessus des modèles existants tout en essayant d’améliorer l’efficacité grâce à l’orchestration, à la gestion du contexte, aux flux de travail récursifs et à l’optimisation des jetons. Les développeurs peuvent choisir parmi les modèles commerciaux de pointe ou les alternatives open source, tandis que la plateforme gère le contexte du projet, l’exécution du flux de travail et la génération de code orientée production.

Backboard affirme que la plateforme obtient des résultats de référence qui rivalisent avec les assistants de codage de pointe tout en réduisant l’utilisation des jetons de jusqu’à 30 %, une considération de plus en plus importante à mesure que les entreprises cherchent à gérer les coûts d’exploitation de l’IA.

L’entreprise met également l’accent sur la flexibilité de déploiement d’entreprise. Backboard Studio peut fonctionner soit en tant que service cloud, soit à l’intérieur de l’infrastructure d’une organisation, permettant ainsi au code source propriétaire de rester à l’intérieur des environnements d’entreprise au lieu d’être transmis à des fournisseurs d’IA tiers.

Nash consolide des milliers de modèles d’IA

Un troisième élément de l’annonce est Nash, une application de chat unifiée qui offre un accès à des milliers de modèles d’IA de texte et d’image via une seule interface.

Le concept répond à une préoccupation croissante des entreprises connue sous le nom de “shadow AI”, où les employés adoptent de manière indépendante des outils d’IA grand public en dehors des systèmes d’entreprise approuvés. Plutôt que d’essayer de bloquer l’utilisation de l’IA, Backboard positionne Nash comme une plateforme centralisée qui donne aux organisations un accès à une large gamme de modèles tout en maintenant la gouvernance sur les données des utilisateurs et la mémoire organisationnelle.

L’infrastructure sous-jacente prend également en charge Bring Your Own Key (BYOK), la gestion de contexte adaptative et l’acheminement sur des milliers de modèles disponibles via une seule plateforme.

Considérer la mémoire comme une infrastructure d’IA

L’un des objectifs techniques définisseurs de Backboard depuis son lancement a été la mémoire d’IA persistante.

Les grands modèles de langage restent fondamentalement sans état, ce qui signifie que les conversations, les préférences et le contexte historique disparaissent généralement à moins que les développeurs ne construisent une infrastructure supplémentaire autour d’eux. Backboard s’est positionné comme une couche de mémoire dédiée qui fonctionne sur différents modèles et applications d’IA plutôt que de verrouiller les utilisateurs dans un seul écosystème.

L’entreprise affirme que son système de mémoire se classe actuellement en tête des benchmarks LoCoMo et LongMemEval, deux évaluations largement référencées qui mesurent la raisonnement à long contexte et les performances de mémoire persistante. Plus tôt cette année, Backboard a décrit la mémoire comme une infrastructure fondamentale plutôt que comme une fonctionnalité supplémentaire superposée aux modèles existants.

Cette architecture permet aux organisations de préserver l’historique des utilisateurs, les préférences et les connaissances contextuelles même lorsqu’elles passent d’un modèle de langage à un autre.

IA qui reste à l’intérieur des frontières de l’entreprise

À travers toutes les quatre annonces, une philosophie de conception cohérente émerge : les entreprises veulent de plus en plus d’IA qui fonctionnent sous leur propre gouvernance.

La plateforme de Backboard peut être déployée à l’intérieur d’un nuage privé client, permettant ainsi aux organisations de conserver la propriété de leurs données tout en utilisant les capacités d’IA modernes. Cette approche est particulièrement pertinente pour les industries qui traitent des informations sensibles, notamment les soins de santé, les services financiers, le gouvernement et les infrastructures critiques, où les exigences réglementaires limitent souvent l’utilisation de services d’IA hébergés à l’extérieur.

Plutôt que de considérer la souveraineté uniquement comme une question nationale, l’architecture de l’entreprise se concentre sur le contrôle d’entreprise – en gardant les modèles, la mémoire et les données d’application à l’intérieur des environnements gérés par le client.

Une histoire d’infrastructure d’IA canadienne en croissance

Bien que la majeure partie de la conversation mondiale sur l’IA soit encore centrée sur les développeurs de modèles de base de la Silicon Valley, Backboard représente une autre catégorie d’entreprise d’IA qui gagne du momentum : les bâtisseurs d’infrastructure qui se concentrent sur le rendement des modèles existants plus pratiques pour les environnements de production.

Fondée par Rob Imbeault, précédemment co-fondateur de la société canadienne de logiciels de chaîne d’approvisionnement Assent, Backboard s’est concentrée sur l’amélioration de l’économie et des caractéristiques opérationnelles de l’IA d’entreprise plutôt que de concourir pour construire le prochain modèle de langage de pointe. Plus tôt cette année, l’entreprise a levé un tour de financement pré-semence pour continuer à développer sa plateforme d’infrastructure d’IA.

À mesure que l’IA d’entreprise mûrit, les technologies qui réduisent les coûts d’inférence, améliorent la mémoire, simplifient le déploiement multi-modèles et permettent les environnements d’IA auto-hébergés peuvent devenir de plus en plus importantes aux côtés des progrès des capacités de modèle elles-mêmes. Les dernières versions de Backboard reflètent ce changement plus large – passer de la construction de modèles toujours plus grands à la construction d’une infrastructure qui aide les organisations à extraire plus de valeur des modèles qu’elles utilisent déjà.