Backboard.io Presenta una Pila de Infraestructura de Inteligencia Artificial Centrada en Eficiencia, Control Empresarial y Despliegue Soberano

Como las organizaciones se esfuerzan por adoptar la inteligencia artificial, la conversación ha cambiado cada vez más de la capacidad bruta del modelo a una pregunta más práctica: ¿cómo pueden las empresas ejecutar la inteligencia artificial a un costo más bajo mientras mantienen el control sobre sus datos? Backboard.io, con sede en Ottawa, cree que la respuesta no se encuentra en clústeres de GPU cada vez más grandes, sino en hacer que la infraestructura de inteligencia artificial existente sea significativamente más eficiente.

El Día de Canadá, la empresa presentó cuatro tecnologías importantes que abarcan la compresión de modelos, el desarrollo de software asistido por inteligencia artificial, el acceso a múltiples modelos de inteligencia artificial y la memoria de inteligencia artificial a largo plazo. Si bien el anuncio destaca las raíces canadienses de la empresa, la historia más amplia se trata de infraestructura diseñada para empresas que desean reducir los costos de la inteligencia artificial mientras mantienen las cargas de trabajo sensibles dentro de sus propios entornos.

Hacer que las GPU Existentes Sean Más Eficientes

Quizás el anuncio más significativo desde el punto de vista técnico sea BackboardQuant (BBQ), una tecnología de compresión de modelos que, según la empresa, puede reducir el tamaño de los modelos de inteligencia artificial hasta un 70% mientras mantiene una calidad de salida casi idéntica.

La compresión de modelos se ha convertido en un área de investigación de inteligencia artificial cada vez más importante a medida que las organizaciones luchan con el costo creciente de la inferencia. Los modelos más pequeños consumen menos memoria, requieren menos recursos de hardware y pueden ejecutarse más rápido, lo que permite a las organizaciones implementar modelos avanzados sin tener que expandir continuamente la capacidad de los GPU.

Según Backboard.io, las pruebas internas muestran que BBQ puede ofrecer hasta 2,7 veces más velocidad de inferencia, lo que permite efectivamente que un solo GPU realice trabajo que de otro modo requeriría múltiples aceleradores. En lugar de reemplazar los modelos de base existentes, la tecnología está diseñada para optimizarlos para despliegues de producción.

Competir en el Desarrollo de Software Asistido por Inteligencia Artificial

La empresa también presentó Backboard Studio, una plataforma de codificación de inteligencia artificial dirigida directamente a uno de los mercados de inteligencia artificial más competitivos de hoy en día.

En lugar de desarrollar su propio modelo de lenguaje de vanguardia, Backboard adopta un enfoque arquitectónico diferente. La plataforma se sitúa sobre los modelos existentes mientras intenta mejorar la eficiencia a través de la orquestación, la gestión del contexto, los flujos de trabajo recursivos y la optimización de tokens. Los desarrolladores pueden elegir entre modelos comerciales líderes o alternativas de código abierto, mientras que la plataforma gestiona el contexto del proyecto, la ejecución del flujo de trabajo y la generación de código orientado a la producción.

Backboard afirma que la plataforma logra resultados de referencia que rivalizan con los asistentes de codificación líderes mientras reduce el uso de tokens hasta un 30%, una consideración cada vez más importante a medida que las empresas buscan gestionar los costos operativos de la inteligencia artificial.

La empresa también enfatiza la flexibilidad de despliegue empresarial. Backboard Studio puede funcionar como un servicio en la nube o dentro de la infraestructura de una organización, lo que permite que el código fuente propietario permanezca dentro de los entornos corporativos en lugar de ser transmitido a proveedores de inteligencia artificial de terceros.

Nash Consolida Miles de Modelos de Inteligencia Artificial

Un tercer componente del anuncio es Nash, una aplicación de chat unificada que proporciona acceso a miles de modelos de inteligencia artificial de texto e imagen a través de una sola interfaz.

El concepto aborda una creciente preocupación empresarial conocida como “inteligencia artificial en la sombra”, donde los empleados adoptan herramientas de inteligencia artificial de consumidores fuera de los sistemas corporativos aprobados. En lugar de intentar bloquear el uso de la inteligencia artificial, Backboard posiciona a Nash como una plataforma centralizada que da a las organizaciones acceso a una amplia gama de modelos mientras mantiene la gobernanza sobre los datos de los usuarios y la memoria organizacional.

La infraestructura subyacente también admite Traiga su propia clave (BYOK), la gestión de contexto adaptativa y la enrutamiento a través de miles de modelos disponibles a través de una sola plataforma.

Tratar la Memoria como Infraestructura de Inteligencia Artificial

Uno de los enfoques técnicos definitorios de Backboard desde su lanzamiento ha sido la memoria de inteligencia artificial persistente.

Los grandes modelos de lenguaje siguen siendo fundamentalmente sin estado, lo que significa que las conversaciones, las preferencias y el contexto histórico suelen desaparecer a menos que los desarrolladores construyan infraestructura adicional alrededor de ellos. Backboard se ha posicionado como una capa de memoria dedicada que funciona en diferentes modelos y aplicaciones de inteligencia artificial en lugar de bloquear a los usuarios en un solo ecosistema.

La empresa afirma que su sistema de memoria actualmente ocupa el primer lugar en las pruebas de referencia LoCoMo y LongMemEval, dos evaluaciones ampliamente referenciadas que miden el razonamiento de contexto a largo plazo y el rendimiento de la memoria persistente. A principios de este año, Backboard describió la memoria como infraestructura fundamental en lugar de simplemente otra característica capa sobre los modelos existentes.

Esta arquitectura permite a las organizaciones conservar la historia del usuario, las preferencias y el conocimiento contextual incluso cuando cambian entre diferentes modelos de lenguaje.

Inteligencia Artificial que Permanece Dentro de los Límites Empresariales

A lo largo de los cuatro anuncios, surge una filosofía de diseño coherente: las empresas cada vez más quieren sistemas de inteligencia artificial que operen bajo su propia gobernanza.

La plataforma de Backboard se puede implementar dentro de la nube privada de un cliente, lo que permite a las organizaciones conservar la propiedad de sus datos mientras utilizan capacidades de inteligencia artificial modernas. Este enfoque es particularmente relevante para las industrias que manejan información sensible, incluidos los servicios de salud, los servicios financieros, el gobierno y la infraestructura crítica, donde los requisitos reglamentarios a menudo limitan el uso de servicios de inteligencia artificial alojados externamente.

En lugar de enmarcar la soberanía únicamente como un tema nacional, la arquitectura de la empresa se centra en el control empresarial: mantener los modelos, la memoria y los datos de la aplicación dentro de los entornos administrados por el cliente.

Una Historia Creciente de Infraestructura de Inteligencia Artificial Canadiense

Aunque gran parte de la conversación global sobre la inteligencia artificial sigue centrada en los desarrolladores de modelos de base de Silicon Valley, Backboard representa otra categoría de empresas de inteligencia artificial que ganan impulso: constructores de infraestructura centrados en hacer que los modelos existentes sean más prácticos para entornos de producción.

Fundada por Rob Imbeault, anteriormente cofundador de la empresa de software de cadena de suministro canadiense Assent, Backboard se ha centrado en mejorar la economía y las características operativas de la inteligencia artificial empresarial en lugar de competir para construir el próximo modelo de lenguaje de vanguardia. A principios de este año, la empresa recaudó una ronda de financiación de pre-seed para continuar desarrollando su plataforma de infraestructura de inteligencia artificial.

À medida que la inteligencia artificial empresarial madura, las tecnologías que reducen los costos de inferencia, mejoran la memoria, simplifican el despliegue de múltiples modelos y permiten entornos de inteligencia artificial autohospedados pueden volverse cada vez más importantes junto con los avances en la capacidad del modelo en sí. Los últimos lanzamientos de Backboard reflejan ese cambio más amplio: de construir modelos cada vez más grandes a construir infraestructura que ayuda a las organizaciones a extraer más valor de los modelos que ya utilizan.