Backboard.io、効率、企業コントロール、主権デプロイに焦点を当てたAIインフラストラクチャスタックを発表

企業が人工知能を採用する競争が激化する中、会話は生のモデル性能から、より実用的な質問に移りつつあります。企業は、AIを低コストで実行しながらデータをコントロールする方法を見つけることができますか？オタワに拠点を置くBackboard.ioは、その答えが、常に大きいGPUクラスターを構築することではなく、既存のAIインフラストラクチャを大幅に効率化することにあると考えています。

カナダの日、同社は、モデル圧縮、AIアシストソフトウェア開発、マルチモデルAIアクセス、長期AIメモリを網羅する4つの主要テクノロジーを発表しました。発表は同社のカナダルーツを強調していますが、より広範な物語は、企業がAIコストを削減しながら機密ワークロードを自社環境内に保つことを望む企業のために設計されたインフラストラクチャについてです。

既存のGPUをさらに活用する

おそらく最も技術的に重要な発表は、BackboardQuant (BBQ)です。これは、同社がAIモデルサイズを最大70%削減しながらほぼ同じ出力品質を維持できるというモデル圧縮テクノロジーです。

モデル圧縮は、組織が推論コストの増加に苦労するにつれて、AI研究の重要な分野となっています。小さいモデルはメモリを消費し、ハードウェアリソースを必要とし、実行速度が速くなることが多いため、企業はGPU容量を拡張することなく高度なモデルを展開できます。

Backboard.ioによると、社内テストでは、BBQは最大2.7倍の高速な推論を実現し、1つのGPUで複数のアクセラレータが必要となる作業を実行できるということです。基礎モデルを置き換えるのではなく、テクノロジーはそれらをプロダクション展開のために最適化するように設計されています。

AIアシストソフトウェア開発での競争

同社はまた、Backboard Studioを発表しました。これは、今日の最も競争の激しいAI市場の1つをターゲットにしたAIコーディングプラットフォームです。

独自のフロンティア言語モデルを開発するのではなく、Backboardは異なるアーキテクチャアプローチを取ります。プラットフォームは既存のモデル上に構築され、オーケストレーション、コンテキスト管理、再帰的なワークフロー、トークン最適化を通じて効率性を向上させます。開発者は、リーディングコマーシャルモデルまたはオープンソースの代替モデルから選択し、プラットフォームはプロジェクトコンテキスト、ワークフローの実行、プロダクション向けコード生成を管理します。

Backboardは、プラットフォームが、トークンの使用量を最大30%削減しながら、リーディングコーディングアシスタントと同等のベンチマーク結果を達成すると主張しています。これは、企業がAIの運用コストを管理しようとする中で、ますます重要な考慮事項となっています。

同社はまた、企業の展開の柔軟性を強調しています。Backboard Studioは、クラウドサービスとして、または組織の自社インフラストラクチャ内で動作できます。つまり、独自のソースコードを第三者のAIプロバイダーに送信するのではなく、企業環境内に保持できます。

Nashが数千のAIモデルを統合する

発表の3つ目のコンポーネントは、Nashです。これは、単一のインターフェースを通じてテキストと画像のAIモデルにアクセスする統一されたチャットアプリケーションです。

このコンセプトは、従業員が承認された企業システムの外で消費者向けAIツールを個別に採用する「影のAI」として知られる企業の懸念に取り組んでいます。AIの使用をブロックするのではなく、BackboardはNashを、組織が幅広いモデルにアクセスできる中央プラットフォームとして位置付け、ユーザーデータと組織のメモリに対する管理を維持しています。

基礎となるインフラストラクチャはまた、Bring Your Own Key (BYOK)、アダプティブコンテキスト管理、および単一のプラットフォームを介した数千の利用可能なモデルのルーティングをサポートしています。

メモリをAIインフラストラクチャとして扱う

Backboardの技術的な焦点の1つは、立ち上げ以来、永続的なAIメモリです。

大規模な言語モデルは基本的にステートレスであるため、開発者が追加のインフラストラクチャを構築しない限り、会話、好み、歴史的なコンテキストは通常消失します。Backboardは、単一のエコシステムにユーザーをロックインするのではなく、さまざまなAIモデルおよびアプリケーションにわたるメモリレイヤーとして機能することに重点を置いています。

同社は、メモリシステムが現在、LoCoMoとLongMemEvalベンチマークの両方で1位であると述べています。これらは、長いコンテキストの推論と永続的なメモリのパフォーマンスを測定する2つの広く参照される評価です。今年の初め、Backboardはメモリを、単に既存のモデルに追加された機能ではなく、基礎となるインフラストラクチャとして説明しました。

このアーキテクチャにより、企業は、さまざまな言語モデル間を切り替えても、ユーザーの履歴、好み、およびコンテキストの知識を保持できます。

企業の境界内に留まるAI

4つの発表を通じて、一貫した設計哲学が浮かび上がってきます。企業は、自社の管理下で動作するAIシステムを望んでいます。

Backboardのプラットフォームは、顧客のプライベートクラウド内に展開できます。つまり、企業は、データの所有権を維持しながら、最新のAI機能を使用できます。このアプローチは、ヘルスケア、金融サービス、政府、クリティカルインフラストラクチャなどの機密情報を扱う業界にとって特に重要です。規制要件により、外部でホストされるAIサービスを使用することが制限されることがよくあります。

同社は、主権を国家問題としてのみとらえるのではなく、企業コントロールに焦点を当て、モデル、メモリ、およびアプリケーションデータを顧客が管理する環境内に保つことに重点を置いています。

カナダのAIインフラストラクチャの成長物語

世界のAI会話の多くはまだシリコンバレーの基礎モデル開発者を中心に展開されていますが、Backboardは、もう1つのカテゴリのAI企業を表しています。プロダクション環境で既存のモデルをより実用的にすることに焦点を当てたインフラストラクチャビルダーです。

カナダのサプライチェーンソフトウェア会社Assentの共同創設者であるRob Imbeaultによって設立されたBackboardは、企業のAIの経済性と運用的特性を向上させることに重点を置いてきました。今年の初め、同社はAIインフラストラクチャプラットフォームの開発を続けるために、シードラウンドの資金調達を行いました。

企業のAIが成熟するにつれて、推論コストを削減し、メモリを改善し、マルチモデルの展開を簡素化し、セルフホストAI環境を可能にするテクノロジーは、モデル機能の向上とともにますます重要になる可能性があります。Backboardの最新リリースは、より大きなモデルを構築することから、既存のモデルからより多くの価値を抽出するのに役立つインフラストラクチャを構築することに焦点を当てた、より広範なシフトを反映しています。