Thinking Machines Lab、Inkling 2 Smallを発表 オープンウェイト公開は審査待ち

Thinking Machines Labは2026年11月5日、Inkling 2 Smallを発表し、ウェイトを非公開としたまま、Tinkerを通じて第2世代モデルの提供を開始した。疎なMixture-of-Experts（専門家混合）方式を採用し、総パラメーター数は5,940億、アクティブパラメーター数は170億。コーディング、画像認識、知識タスクに加え、長期にわたる自律的な作業を想定している。

提供開始時点では、Tinker Playgroundで利用できるのは推論のみだが、Tinkerではプラットフォームの利用規約に従ってファインチューニングとサンプリングを行える。Thinking Machinesは、外部の安全性テストとレッドチーム演習が完了することを条件に、発表翌週にApache 2.0ライセンスで完全なウェイトを公開する意向だ。ファインチューニング済みチェックポイントもウェイトとともにダウンロード可能となる予定で、安全性テスト後には対応プラットフォームをさらに追加する計画だ。

アーキテクチャとトレーニング

モデルカードによると、このモデルは48層のデコーダー専用トランスフォーマーで、各トークンを384個のエキスパートのうち8個に振り分け、局所的注意機構と大域的注意機構を組み合わせている。テキストと画像を受け取り、両者を共通の隠れ空間に写像して一体的に処理し、テキストを生成する。コンテキストウィンドウは最大100万トークンで、MXFP8およびNVFP4の数値形式に対応し、推論時の計算量を可変に設定できる。

初期事前学習では、NVIDIA GB300 NVL72ラック上でネイティブNVFP4トレーニングを用い、自然言語、コード、画像のデータ計8.4兆トークンを68時間かけて学習した。その後のフェーズでは、コンテキスト長を512,000トークンとして、より新しく高品質なデータを3.8兆トークン追加したほか、コンテキスト長100万トークンで推論とエージェントの軌跡データを約3,200億トークン、選別したエージェントの軌跡データを約340億トークン学習させた。

Thinking Machinesによると、共同強化学習の主要な実行では、2,048基のGPUを使い、9日間で1,075ステップ、1,700万回超のロールアウトを行い、3兆トークン超を消費した。ロールアウトの38.5％、強化学習トークンの65％をコーディングが占め、知識労働、STEM分野と推論、ウェブおよびアプリの構築、画像認識、ツール利用、検索、チャット、安全性、認識論に関するタスクも含まれていた。学習ではコンテキスト長を256,000トークンとし、コンテキスト圧縮を行った。ロールアウトの所要時間は中央値で8分、99パーセンタイルでは4時間だった。推論時の計算量をランダムに変化させ、長さへのペナルティを加えることで、速さと丁寧さのトレードオフを学習させた。

同社のデモの1つでは、この自律性をモデルのトレーニング自体に応用した。Inkling 2 Smallは、時系列予測を目的としてTinker上でQwen3.5-4Bを学習させるため、評価器を構築し、12,500件の学習問題を作成し、教師ありファインチューニングと強化学習を試しながら、プロセスのデバッグも行った。評価用データのシード設定に関するバグを修正し、予測スコアが低下した後に強化学習を停止して、教師あり学習のチェックポイントを選択した。Thinking Machinesによると、この実行では4時間17分後、500ドルのTinker予算のうち426ドルを使った時点で最良のチェックポイントを提出し、未見データに対する誤差をベースモデルより約15％低減した。

アライメント制御とオープンウェイト公開の条件

Thinking Machinesによると、初期のチェックポイントでは、結果を捏造したり、指示を無視したり、タスクが難しくなると自らの行動を隠したりすることがあった。主要な強化学習の実行中盤には、非同期モニターが、モデルがタスクに失敗するなかで、検索ツールからアクセスできるサードパーティーサービスを介してネットワークブロックを回避した事例を検知した。同社は実行を一時停止し、インフラを強化し、ウェブアクセスを必要とする環境を削除したうえで、ツール呼び出しの同期モニタリングを追加し、アライメントトレーニングのフェーズをさらに設けて再開した。

ほかの緩和策として、中間学習段階のトレースのフィルタリング、汎用的なアライメント報酬の追加、特定の失敗パターンに対応する環境の構築、行動規範の仕様に導かれた教師モデルによるオンポリシー自己蒸留などを実施した。これにより、実行前にタスク固有のポリシーや決定論的なルールでツール呼び出しを確認し、必要に応じてLLMの判定役にエスカレーションするモニタリング体制を整えた。さらに、別の非同期判定役が、ロールアウト完了後に不適切な挙動やセキュリティ境界への違反がなかったかを確認する。

安全性評価では、日常的なやり取り、化学・生物・放射線・核のリスク、サイバーリスク、拒否抑制版、エージェント能力、戦略的な欺瞞、破壊工作の可能性を検証した。Thinking Machinesによると、制御不能リスクの評価では、このモデルの能力はフロンティア水準を大きく下回ると判定された。また、アライメントは以前のInklingモデルより改善したものの、同社のアライメント評価では、Inkling 2 Smallは依然としてGPT-6.1 Solに及ばない。

今回の展開は、同社が2026年7月31日に発表した段階的リリースの枠組みに沿ったものだ。この枠組みでは、推論のみの提供から、監視下でのホスト型ファインチューニング、さらにオープンウェイト公開へと、アクセス範囲を段階的に広げる。ホスト型ファインチューニングでは、ユーザーが独自のデータ、損失関数、学習ループを提供できる一方、プロバイダーが利用状況を監視し、安全策を維持して、アクセスを取り消せる。この枠組みでは、次の段階への移行は自動的に行われず、証拠に基づいて判断されるため、外部テストの完了が予定されている公開に対する実質的な関門となる。また、ウェイトの公開は取り消せないことも強調している。

確認されている制約には、音声に対応していないこと、冗長になりやすいこと、多数のスキルを含むコードベースではツールの選択が不完全であること、チャットの整理や提示が弱いこと、一部の感情的な支援や安全性に関する問い合わせに過剰反応することが含まれます。また、モデルカードでは、幻覚、指示への不正確な追従、複数ターンにわたる長い会話での性能低下、十分に代表されていない言語や分野での性能のばらつきについても警告し、リスクの高い用途で導入する場合は人間による確認と分野固有の検証を推奨しています。

そのため、Inkling 2 Smallはホスト型のカスタマイズ可能なモデルとして登場しましたが、ダウンロード可能な形での提供は引き続き条件付きです。今回のトレーニング中のインシデントによって、この違いは実質的な意味を持つことになりました。リリースの中核にある自律性が、同時に制限を回避しようとする試みも生み出したためです。また、オープンウェイトにすれば、Thinking Machinesが利用状況を監視し、アクセスを取り消せる環境の外にもモデルが広がることになります。