Backboard.io, 효율성, 기업 제어, 주권 배포에 중점을 둔 AI 인프라 스택 공개

조직이 인공 지능을 채택하기 위해 경쟁하는 가운데, 대화는 원시 모델 성능에서 더 실제적인 질문으로 이동하고 있습니다. 즉, 기업은 어떻게 하여 더 낮은 비용으로 AI를 실행하면서 데이터를 제어할 수 있을까? 오타와 기반의 Backboard.io는 그 답이 더 큰 GPU 클러스터가 아니라 기존 AI 인프라를 훨씬 더 효율적으로 만드는 데 있다고 믿습니다.

캐나다 데이에, 회사는 모델 압축, AI 지원 소프트웨어 개발, 다중 모델 AI 액세스, 장기 AI 메모리를 포함하는 4가지 주요 기술을 발표했습니다. 발표는 회사의 캐나다 뿌리를 강조하지만, 더 큰 이야기는 기업이 AI 비용을 줄이면서 민감한 워크로드를 자체 환경에 유지하려는 인프라에 관한 것입니다.

기존 GPU의 효율성 향상

가장 기술적으로 중요한 발표는 BackboardQuant (BBQ)입니다. 이는 회사가 말하는 모델 압축 기술로, AI 모델 크기를 최대 70%까지 줄일 수 있으며 출력 품질은 거의 동일하게 유지할 수 있다고 합니다.

모델 압축은 조직이 추론 비용 증가와 싸우는 가운데 점점 더 중요한 AI 연구 분야가 되었습니다. 더 작은 모델은 메모리를 덜 소비하고, 하드웨어 리소스를 덜 필요로 하며, 종종 더 빠르게 실행할 수 있으므로, 조직은 기존 GPU 용량을 계속 확장하지 않고도 고급 모델을 배포할 수 있습니다.

Backboard.io에 따르면, 내부 테스트에서는 BBQ가 최대 2.7배 빠른 추론을 제공할 수 있다고 합니다. 이는 효과적으로 단일 GPU에서 여러 가속기가 필요할 수 있는 작업을 수행할 수 있음을 의미합니다. 기존의 기초 모델을 대체하는 것이 아니라, 기술은 생산 배포를 위해 최적화하도록 설계되었습니다.

AI 지원 소프트웨어 개발 경쟁

회사는 또한 Backboard Studio를 발표했습니다. 이는 오늘날 가장 경쟁적인 AI 시장 중 하나를 대상으로 하는 AI 코딩 플랫폼입니다.

자체 전위 언어 모델을 개발하는 대신, Backboard는 다른 아키텍처 접근 방식을 취합니다. 플랫폼은 기존 모델 위에 위치하며 오케스트레이션, 컨텍스트 관리, 재귀 워크플로, 토큰 최적화를 통해 효율성을 개선하려고 합니다. 개발자는 주요 상업용 모델이나 오픈 소스 대안 중에서 선택할 수 있으며, 플랫폼은 프로젝트 컨텍스트, 워크플로 실행, 생산 지향 코드 생성을 관리합니다.

Backboard는 플랫폼이 주요 코딩 어시스턴트와 경쟁하는 벤치마크 결과를 달성하면서 토큰 사용을 최대 30%까지 줄일 수 있다고 주장합니다. 이는 기업이 AI 운영 비용을 관리하려고 할 때 점점 더 중요한 고려 사항입니다.

회사는 또한 기업 배포의 유연성을 강조합니다. Backboard Studio는 클라우드 서비스로 또는 조직의 자체 인프라 내에서 작동할 수 있으므로, 사유 소스 코드가 제3자 AI 제공업체에게 전송되는 대신 기업 환경 내에 유지될 수 있습니다.

Nash, 수천 개의 AI 모델 통합

발표의 세 번째 구성 요소는 Nash입니다. 이는 단일 인터페이스를 통해 수천 개의 텍스트 및 이미지 AI 모델에 액세스할 수 있는統一 채팅 애플리케이션입니다.

이 개념은 “_shadow AI_”라고 하는 점점 더 큰 기업 문제를 해결하는 것입니다. 여기서 직원들은 승인된 기업 시스템 외부에서 소비자 AI 도구를 독립적으로 채택합니다. Backboard는 Nash를 중앙 집중식 플랫폼으로 пози션하여 조직이 모델 및 사용자 데이터와 조직 메모리에 대한 거버넌스를 유지하면서 모델의 광범위한 범위에 액세스할 수 있도록 합니다.

기반 인프라는 또한 Bring Your Own Key (BYOK), 적응형 컨텍스트 관리 및 단일 플랫폼을 통해 수천 개의 사용 가능한 모델로 라우팅을 지원합니다.

메모리를 AI 인프라로 다루기

Backboard의 정의 기술 초점 중 하나는 지속 가능한 AI 메모리입니다.

대규모 언어 모델은 본질적으로 상태가 없으므로, 대화, 선호도 및 역사적 컨텍스트는 개발자가 추가 인프라를 모델 주위에 구축하지 않는 한 일반적으로 사라집니다. Backboard는 단일 생태계에 사용자를 잠금하지 않고 다양한 AI 모델 및 애플리케이션에서 작동하는 전용 메모리 계층으로 자신을 위치시켰습니다.

회사는 현재 메모리 시스템이 LoCoMo 및 LongMemEval 벤치마크에서 1위를 차지하고 있다고 말합니다. 이는 장기 컨텍스트 추론 및 지속적인 메모리 성능을 측정하는 두 가지 널리 참조되는 평가입니다. 이 회사는今年초에 메모리를 기초 인프라로 간주했으며, 기존 모델에 추가된 또 다른 기능이 아닙니다.

이 아키텍처는 조직이 다른 언어 모델 사이를 전환할 때에도 사용자 기록, 선호도 및 컨텍스트 지식을 보존할 수 있도록 합니다.

기업 경계 내에서 유지되는 AI

네 가지 발표 모두 일관된 설계 철학이 나타납니다. 즉, 기업은 자체 거버넌스 하에 작동하는 AI 시스템을 점점 더 원하고 있습니다.

Backboard의 플랫폼은 고객의 사설 클라우드 내에서 배포할 수 있으므로, 조직은 데이터의 소유권을 유지하면서 최신 AI 기능을 사용할 수 있습니다. 이러한 접근 방식은 의료, 금융 서비스, 정부 및 중요 인프라와 같은 민감한 정보를 처리하는 산업에서 특히 관련이 있습니다. 여기서 규제 요구 사항은 종종 외부 호스팅 AI 서비스의 사용을 제한합니다.

국가적인 문제로의 주권을 프레임하는 대신, 회사의 아키텍처는 기업 제어에 중점을 둡니다. 즉, 모델, 메모리 및 애플리케이션 데이터를 고객이 관리하는 환경 내에 유지하는 것입니다.

캐나다의 성장하는 AI 인프라 이야기

전 세계적인 AI 대화가 여전히 실리콘 밸리의 기초 모델 개발자 중심으로 돌아가는 동안, Backboard는 또 다른 유형의 AI 회사로 부상하고 있습니다. 즉, 기존 모델을 생산 환경에서 더 실제적으로 만드는 데 중점을 둔 인프라 빌더입니다.

캐나다 공급망 소프트웨어 회사 Assent의 공동 창립자인 Rob Imbeault가 설립한 Backboard는 기업 AI의 경제성 및 운영 특성을 개선하는 데 중점을 두었습니다. 기초 모델을 경쟁적으로 개발하는 대신, 회사는今年초에 AI 인프라 플랫폼 개발을 계속하기 위해 시드 펀딩 라운드를 모금했습니다.

기업 AI가 성숙함에 따라, 추론 비용을 줄이고, 메모리를 개선하며, 다중 모델 배포를 단순화하고, 자체 호스팅 AI 환경을 활성화하는 기술은 모델 자체의 기능 향상과 함께 점점 더 중요해질 수 있습니다. Backboard의 최신 릴리스는 더 큰 모델을 구축하는 것에서 기존 모델에서 더 많은 가치를 추출하는 데 도움이 되는 인프라를 구축하는 것으로의 전환을 반영합니다.