Deep Cogito、自己改善AI向けポストトレーニングエンジン構築のために4,300万ドルのシリーズA資金を調達

Deep Cogitoは、サンフランシスコのAIラボがAIスタックの中でますます重要になる部分、すなわち基礎モデルが事前学習された後に何が起きるかを拡大しようとして、4,300万ドルのシリーズA資金を調達しました。

このラウンドはTQ Venturesが主導し、Benchmark、Nexus Venture Partners、Atreides Management、South Park Commons、そして顧客であり戦略的投資家でもあるクラウドセキュリティ企業Zscalerが参加しました。この資金調達により、Deep Cogitoの総資金は5,600万ドルを超えました。

GoogleのAI検索製品（AI ModeやAI Overviewsなど）に携わっていたDrishan AroraとDhruv Malranaが創業したDeep Cogitoは、今後のAIインテリジェンスの向上は、単に事前学習を大規模化するのではなく、より優れた学習アルゴリズムとポストトレーニングから得られると見込んでいます。

それにより、同社は、主により大規模な基礎モデルをゼロから構築することに注力するラボとは、AI競争の別の領域に位置付けられます。

Deep Cogitoがポストトレーニングに賭ける理由

事前学習は、大量のデータに曝露させることで大規模言語モデルに広範な知識基盤を与える役割を担います。ポストトレーニングは、そのモデルの振る舞いや推論、指示の遵守、ツールの使用、特定タスクの実行方法を形作ります。

Deep Cogitoの主張は、この第2段階にははるかに大きな進化余地があるということです。

同社の研究は大規模強化学習と、モデルが自らの能力を段階的に向上させる手法に焦点を当てています。事前学習済みモデルをほぼ完成した製品として、追加のアラインメントが必要とみなすのではなく、Deep Cogitoはそれを基礎的能力をさらに開発できる出発点と位置付けています。

Aroraはラウンド発表時に次のように要点をまとめました: 「事前学習はモデルに膨大な知識と能力を与えます。ポストトレーニングはそのモデルが実際に何になるかを決定します。」

これは、単に事前学習を拡大するだけの経済性がますます厳しくなる中で特に重要です。最先端の基礎モデルを訓練するには、膨大なデータセット、GPUクラスター、電力インフラ、そして資本が必要です。十分に効果的なポストトレーニングシステムであれば、既存のモデルからはるかに多くの知能を抽出でき、全工程を再度実行する必要がなくなる可能性があります。

高コストな推論をより良い直感へ転換する

Deep Cogitoの研究の中心にはIterated Distillation and Amplification (IDA)があり、同社はこれを最初のCogitoモデルファミリーと共に公開しました。

概念自体は比較的単純ですが、スケールで実装するのは容易ではありません。

増幅段階では、モデルに追加の計算資源と手法が与えられ、即座に生成できる回答よりも強力な答えに到達できるようになります。その改善はモデルのパラメータに再び蒸留されます。アップグレードされたモデルは次のイテレーションの出発点となります。

モデルが難問に直面するたびにますます長い推論プロセスを要求する代わりに、目的は計算コストの高い推論ステップで学んだことを徐々に内部化することです。

Deep Cogitoはこれをモデルの「直感」を向上させることと表現しています。

この区別は推論コストにおいて重要になる可能性があります。長い推論チェーンは精度を向上させますが、トークン消費、レイテンシ、コストも増大させます。より良い推論経路を内部化したモデルは、推論時の計算を減らしながら同様の結論に到達できるかもしれません。

Cogitoモデルはアプローチの公開テストを提供する

Deep Cogitoは、これらの手法のテストベッドとして、オープンウェイトのCogitoモデルファミリーを活用しています。

初期リリースは30億から700億パラメータの範囲で、同社はその後、70B、109Bの混合専門家（MoE）モデル、405B、そして671B MoEモデルへとファミリーを拡大しました。

Cogito v2において、同社は671BモデルがDeepSeek R1 0528に比べて推論チェーンを約60％短縮しながら、複数の評価で競争力を維持したと報告しました。また、Deep Cogitoは3Bから671Bまでの8つのCogitoモデルのトレーニングに総額350万ドル未満を費やしたと述べていますが、ベンチマーク性能やトレーニングコストの比較が必ずしも実際の経済性に直結するわけではありません。

同社はCogito v2.1 671Bでシステムの改良を続けました。このモデルはオープンライセンスのDeepSeekベースモデルを使用し、Deep Cogitoが社内でポストトレーニングを行います。v2.1の研究リリースによれば、推論時にプロセス監督を導入し、単に長く推論させるのではなく、生産的な推論経路を特定する能力を向上させるようにトレーニングが設計されています。

この進展はDeep Cogitoの広範な主張にとって重要です。同社は最大手AIラボより優れた基礎モデルを事前学習できることを証明する必要はありません。むしろ、ポストトレーニングプロセスが既存の強力なモデルを一貫してより高性能に変換できることを示す必要があります。

Zscalerが示すエンタープライズ機会

事業のもう一つの側面は、これらのポストトレーニング技術を公開されたCogitoモデルを超えてエンタープライズAIに適用することです。

汎用の最先端モデルにのみ依存するのではなく、企業は自社の専有データ、ワークフロー、評価基準、期待する成果に合わせて特化型モデルを訓練できる可能性があります。

これは、通常推論時に一般モデルに外部の企業情報へのアクセスを提供するリトリーバル拡張生成（RAG）よりもはるかに深い領域です。Deep Cogitoのアプローチは、ドメイン固有の能力をウェイトに組み込むことでモデル自体を変えることを目指しています。

Zscalerは初期の事例を示しています。このサイバーセキュリティ企業はシリーズAに参加する前にDeep Cogitoの顧客として始まりました。両社は専門的なセキュリティインテリジェンスでも協業しており、Deep Cogitoはセキュリティアプリケーションが組織独自のセキュリティデータと成果でポストトレーニングされたモデルから利益を得られると主張しています。

より広いエンタープライズ提案は、専門化とコントロールの両面に関わります。Wall Street Journalの資金調達に関する報道では、Deep Cogitoが企業が専有データを用いて訓練・所有できるモデルを中心に技術を位置付けており、閉鎖的な最先端システムに完全に依存し続けることを避けていると指摘しています。

4,300万ドルのシリーズA資金で何が資金化されるか

Deep Cogitoは、シリーズA資金を研究・エンジニアリング組織の拡大、大規模トレーニング向けコンピューティングインフラの増強、将来のCogitoモデルの開発、そして特化型モデルを求める企業との協業に活用する計画です。

インフラはその拡大の中でも特に重要な要素となるでしょう。Deep Cogitoの採用資料では、研究者が新規の強化学習アルゴリズム、データパイプライン、評価、分散インフラに取り組み、4000億パラメータを超えるモデルのトレーニングを行っていると説明されています。

したがって、この資金調達により、同社はより多くの計算資源を投入し、ポストトレーニングプロセスのイテレーションを増やすことで、初期モデルで示された改善が継続できるかどうかを大幅にテストできるようになります。

より大きな示唆：自己推論から学習するAI

Deep Cogitoの取り組みのより大きな意義は、AI開発が主に人間生成データで訓練されたシステムから、ますます自ら生成・評価・内部化するモデルへとシフトする可能性があることです。

Iterated Distillation and Amplificationのような手法は、高コストな推論を永続的な能力へと転換することを目指しています。モデルは追加計算を用いてより難しい問題を解決し、その成果をウェイトに蒸留することで、次のトレーニングサイクルのためのより強固な出発点を作ります。

時間が経つにつれて、これにより「推論→評価→学習→改善」の開発ループが生まれる可能性があります。

反復的ポストトレーニングと真の再帰的自己改善の間には依然として大きなギャップがあります。モデルは信頼できる評価、慎重に設計された目的、そして誤りを強化しないための安全策が必要です。しかし、このアプローチの限定的なバージョンでさえ、ますます大規模になる事前学習への依存を減らし、専有エンタープライズデータで訓練された特化型AIをより実用的にする可能性があります。

もしこの流れが続けば、AIにおける競争優位は、最大のコンピュートクラスターを持つかどうかだけでなく、どのモデルが自らの経験から最も効果的に学習できるかに左右されるようになるでしょう。