大規模な事前学習とそれに続くタスク固有の微調整による言語モデルの驚くべき成功により、このアプローチは標準的な手法として確立されました。同様に、 コンピュータビジョン 手法は、事前トレーニングに大規模なデータ スケールを徐々に取り入れています。LAION5B、Instagram-3.5B、JFT-300M、LVD142M、Visual Genome、YFCC100M などの大規模なデータセットの出現により、従来のベンチマークの範囲をはるかに超えたデータ コーパスの探索が可能になりました。この分野での顕著な研究には、DINOv2、MAWS、AIM などがあります。DINOv2 は、LDV-142M データセットで対照的な iBot 手法をスケーリングすることにより、自己教師あり特徴の生成において最先端のパフォーマンスを実現します。MAWS は、数十億の画像に対するマスク オートエンコーダ (MAE) のスケーリングを研究します。AIM は、ビジョン トランスフォーマーの BERT に似た自己回帰視覚事前トレーニングのスケーラビリティを調査します。一般的な画像の事前トレーニングやゼロショット画像分類に主に焦点を当てたこれらの方法とは対照的に、Sapiens は明確に人間中心のアプローチを採用しています。Sapiens のモデルは、事前トレーニングに膨大な人間の画像コレクションを活用し、その後、人間関連のさまざまなタスクに合わせて微調整します。大規模な 3D 人間のデジタル化の追求は、コンピューター ビジョンにおける重要な目標であり続けています。 

制御された環境またはスタジオ環境内では大きな進歩が遂げられていますが、これらの方法を制約のない環境に拡張するには依然として課題が残っています。これらの課題に対処するには、自然環境の画像からキーポイントの推定、体の部位のセグメンテーション、深度推定、表面法線予測など、複数の基本的なタスクを実行できる多目的モデルの開発が不可欠です。この作業で、Sapiens は、自然環境に一般化できるこれらの重要な人間の視覚タスクのモデルの開発を目指しています。現在、公開されている最大の言語モデルには 100 億を超えるパラメーターが含まれており、より一般的に使用されている言語モデルには約 7 億のパラメーターが含まれています。対照的に、Vision Transformers (ViT) は、同様のアーキテクチャを共有しているにもかかわらず、この程度まで拡張されていません。この方向への注目すべき取り組みとしては、テキストと画像の両方でトレーニングされた高密度 ViT-4B の開発や、ViT-22B の安定したトレーニングのための手法の策定などがありますが、一般的に使用されているビジョン バックボーンは、依然として 300M ～ 600M のパラメーターの範囲にあり、主に約 224 ピクセルの画像解像度で事前トレーニングされています。同様に、DiT などの既存のトランスフォーマー ベースの画像生成モデルは、700M 未満のパラメーターを使用し、高度に圧縮された潜在空間で動作します。このギャップを埋めるために、Sapiens では、何百万もの人間の画像で 1024 ピクセルの画像解像度でネイティブに事前トレーニングされた、大規模で高解像度の ViT モデルのコレクションを導入しています。 

Sapiens は、2D ポーズ推定、身体部位のセグメンテーション、深度推定、表面法線予測という 1 つの基本的な人間中心の視覚タスク用のモデル ファミリーを提供します。Sapiens モデルは 300K の高解像度推論をネイティブにサポートしており、0.3 億枚を超える実際の人間の画像で事前トレーニングされたモデルを微調整するだけで、個々のタスクに簡単に適応できます。Sapiens は、同じ計算予算があれば、キュレーションされた人間の画像のデータセットで自己教師あり事前トレーニングを行うと、さまざまな人間中心のタスクのパフォーマンスが大幅に向上することを確認しています。結果として得られるモデルは、ラベル付けされたデータが不足していたり​​完全に合成されている場合でも、実際のデータに対して顕著な一般化を示します。シンプルなモデル設計によりスケーラビリティも実現され、パラメータの数が 2 から 7.6 億に拡大するにつれて、タスク全体のモデル パフォーマンスが向上します。 Sapiens は、さまざまな人間中心のベンチマークで既存のベースラインを一貫して上回り、Humans-5K (ポーズ) で 17.1 mAP、Humans-2K (部分セグメント) で 22.4 mIoU、Hi4D (深度) で 53.5% の相対 RMSE、THuman2 (通常) で XNUMX% の相対角度誤差など、これまでの最先端の結果を大幅に上回る改善を達成しました。 

サピエンス：人間の視覚モデルのブレークスルー

近年、2D および 3D でフォトリアリスティックな人間を生成するための目覚ましい進歩が見られます。これらの方法の成功は、2D キー ポイント、きめ細かい身体部位のセグメンテーション、深度、表面法線などのさまざまな資産の堅牢な推定に大きく起因しています。ただし、これらの資産の堅牢で正確な推定は依然として活発な研究分野であり、個々のタスクのパフォーマンスを向上させる複雑なシステムが、より広範な採用の妨げになることがよくあります。さらに、実際の環境で正確なグラウンド トゥルースの注釈を取得することは、拡張が非常に難しいことで知られています。Sapiens の目標は、実際の環境でこれらの資産を推測するための統一されたフレームワークとモデルを提供し、すべての人に幅広い人間中心のアプリケーションを提供することです。

サピエンスは、このような人間中心のモデルは、一般化、幅広い適用性、高い忠実度という 3 つの基準を満たす必要があると主張しています。一般化により、目に見えない条件に対する堅牢性が確保され、モデルはさまざまな環境で一貫して機能できるようになります。幅広い適用性は、モデルの汎用性を示し、最小限の変更で幅広いタスクに適しています。高い忠実度は、忠実な人間生成タスクに不可欠な、正確で高解像度の出力を生成するモデルの能力を示します。この論文では、これらの属性を具体化するモデル (総称してサピエンスと呼ばれます) の開発について詳しく説明します。

洞察に従って、Sapiens は一般化の鍵となる大規模なデータセットとスケーラブルなモデルアーキテクチャを活用します。より広い適用性を実現するために、Sapiens は事前トレーニングしてから微調整するアプローチを採用し、事前トレーニング後に最小限の調整で特定のタスクに適応できるようにします。このアプローチは、重要な疑問を提起します。事前トレーニングにはどのような種類のデータが最も効果的でしょうか。計算上の制限を考えると、できるだけ多くの人間の画像を収集することに重点を置くべきでしょうか、それとも現実世界の変動をよりよく反映するために、あまり厳選されていないセットで事前トレーニングすることが望ましいのでしょうか。既存の方法では、下流のタスクのコンテキストでの事前トレーニングデータの分布が見落とされることがよくあります。事前トレーニングデータの分布が人間固有のタスクに与える影響を調査するために、Sapiens は 300 億の多様な人間の画像を特徴とする Humans-300M データセットを収集します。これらのラベルなしの画像は、300 億から 2 億のパラメーター数で、一連のビジョントランスフォーマーを最初から事前トレーニングするために使用されます。

大規模なデータセットから汎用的な視覚的特徴を学習するための様々な自己教師あり学習法の中で、サピエンスは マスクオートエンコーダ Sapiens は、事前トレーニングのシンプルさと効率性から MAE アプローチを採用しています。対照的または多重推論戦略と比較してシングルパス推論モデルを備えた MAE では、同じ計算リソースで大量の画像を処理できます。忠実度を高めるために、従来の方法とは対照的に、Sapiens は事前トレーニングのネイティブ入力解像度を 1024 ピクセルに増やし、既存の最大のビジョン バックボーンと比較して FLOP が約 4 倍増加します。各モデルは、1.2 兆トークンで事前トレーニングされています。人間中心のタスクの微調整のために、Sapiens は一貫したエンコーダー デコーダー アーキテクチャを使用します。エンコーダーは事前トレーニングからの重みで初期化され、軽量でタスク固有のヘッドであるデコーダーはランダムに初期化されます。その後、両方のコンポーネントがエンドツーエンドで微調整されます。Sapiens は、次の図に示すように、2D ポーズ推定、身体部位のセグメンテーション、深度、および法線推定の XNUMX つの主要タスクに重点を置いています。 

これまでの研究と一致して、Sapiens はラベルの品質がモデルの実際のパフォーマンスに重大な影響を与えることを確認しています。公開ベンチマークにはノイズの多いラベルが含まれることが多く、モデルの微調整中に一貫性のない監視信号が提供されます。同時に、きめの細かい正確な注釈を使用して、3D 人間のデジタル化という Sapiens の主な目標に密接に一致させることが重要です。この目的のために、Sapiens は、姿勢推定のための 2D 全身キーポイントの大幅に密度の高いセットと、身体部位のセグメンテーションのための詳細なクラス語彙を提案し、以前のデータセットの範囲を超えています。具体的には、Sapiens は、身体、手、足、表面、顔を網羅する 308 個のキーポイントの包括的なコレクションを導入しています。さらに、Sapiens はセグメンテーションクラス語彙を 28 クラスに拡張し、髪、舌、歯、上唇/下唇、胴体などの身体部位をカバーしています。注釈の品質と一貫性、および高度な自動化を保証するために、Sapiens はマルチビュー キャプチャ セットアップを使用してポーズ注釈とセグメンテーション注釈を収集します。また、Sapiens は深度と法線の推定に人間中心の合成データを使用し、RenderPeople の 600 の詳細なスキャンを活用して高解像度の深度マップと表面法線を生成します。Sapiens は、ドメイン固有の大規模な事前トレーニングと限定的ながらも高品質の注釈を組み合わせることで、堅牢な実環境における一般化が実現できることを実証しています。全体として、Sapiens の方法は、コストがかかり多様な注釈のセットを収集する必要なく、現実世界のシナリオで実行できる高精度の識別モデルを開発するための効果的な戦略を示しています。

サピエンス：方法と建築

Sapiens は事前トレーニングにマスクオートエンコーダ (MAE) アプローチを採用しています。このモデルは、部分的な観察に基づいて元の人間の画像を再構築するようにトレーニングされます。すべてのオートエンコーダと同様に、Sapiens のモデルには、可視画像を潜在表現にマッピングするエンコーダと、この潜在表現から元の画像を再構築するデコーダがあります。事前トレーニングデータセットは、単一の人間の画像と複数の人間の画像の両方で構成され、各画像は正方形のアスペクト比で固定サイズにサイズ変更されています。 ViT画像は、固定されたパッチ サイズを持つ、重なり合わない規則的なパッチに分割されます。これらのパッチのサブセットがランダムに選択されてマスクされ、残りの部分は表示されたままになります。マスクされたパッチと表示されたパッチの比率 (マスキング率) は、トレーニング中は一定のままです。

Sapiens のモデルは、スケール、切り抜き、対象者の年齢と民族、対象者数など、さまざまな画像特性にわたって一般化を示します。モデル内の各パッチ トークンは、標準 ViT の 0.02% と比較して画像領域の 0.4% を占め、16 倍の削減となり、モデルのきめ細かなトークン間推論が実現します。マスク率が 95% に増加しても、Sapiens のモデルは、保持されたサンプルで人体構造の妥当な再構築を実現します。次の画像は、Sapien の事前トレーニング済みモデルによる、目に見えない人間の画像の再構築を示しています。 

さらに、Sapiens は事前トレーニングに、人間の画像のみに焦点を当てた約 1 億枚の自然画像からなる大規模な独自のデータセットを活用しています。事前処理では、透かし、テキスト、芸術的な描写、または不自然な要素を含む画像を破棄します。次に、Sapiens は既製の人物バウンディング ボックス検出器を使用して画像をフィルターし、検出スコアが 0.9 を超え、バウンディング ボックスの寸法が 300 ピクセルを超える画像を保持します。データセット内の 248 億 XNUMX 万枚を超える画像には、複数の被写体が含まれています。 

2D姿勢推定

Sapienフレームワークは、次の図に示すように、K = 17 [67]、K = 133 [55]、およびK = 308の新しい非常に詳細なスケルトンを含む複数のスケルトンにわたってPのエンコーダとデコーダを微調整します。

最大 68 個の顔のキーポイントを持つ既存の形式と比較して、Sapien の注釈は、目、唇、鼻、耳の周りの代表的なポイントを含む 243 個の顔のキーポイントで構成されています。この設計は、現実世界の顔の表情の微妙な詳細を細かくキャプチャするように調整されています。これらのキーポイントを使用して、Sapien フレームワークは、屋内キャプチャ セットアップから 1K 解像度で 4 万枚の画像に手動で注釈を付けました。以前のタスクと同様に、法線推定器 N のデコーダー出力チャネルを 3 に設定しました。これは、各ピクセルの法線ベクトルの xyz コンポーネントに対応しています。生成された合成データは、表面法線推定の監視としても使用されます。

サピエンス：実験と結果

Sapiens-2B は、1024 個の A100 GPU を使用して 18 日間 PyTorch で事前トレーニングされています。Sapiens はすべての実験に AdamW オプティマイザーを使用しています。学習スケジュールには、短い線形ウォームアップ、事前トレーニング用のコサイン アニーリング、微調整用の線形減衰が含まれます。すべてのモデルは、1024 × 1024 の解像度、パッチ サイズ 16 で最初から事前トレーニングされています。微調整のために、入力画像は 4:3 の比率、つまり 1024 × 768 にサイズ変更されます。Sapiens は、クロッピング、スケーリング、反転、測光歪みなどの標準的な拡張を適用します。セグメンテーション、深度、および通常の予測タスクのために、人間以外の COCO 画像からのランダムな背景が追加されます。重要なのは、Sapiens は一般化を維持するために微分学習率を使用しており、最初のレイヤーでは学習率を低くし、後続のレイヤーでは徐々に学習率を高くしていることです。レイヤーごとの学習率の減衰は 0.85 に設定され、エンコーダーの重み減衰は 0.1 に設定されます。

Sapiens の設計仕様は、次の表に詳しく示されています。特定のアプローチに従って、Sapiens は深さではなく幅でモデルのスケーリングを優先します。特に、Sapiens-0.3B モデルは、アーキテクチャ的には従来の ViT-Large に似ていますが、解像度が高いため、XNUMX 倍の FLOP で構成されています。

Sapiens は、高忠実度の注釈を使用して、顔、体、足、手 (K = 308) のポーズ推定用に微調整されています。トレーニングには、Sapiens は 1 万枚の画像を含むトレーニング セットを使用し、評価には 5K 枚の画像を含む Humans5K というテスト セットを使用します。評価はトップダウン アプローチに従い、Sapiens は境界ボックスに既製の検出器を使用し、単一の人間のポーズ推論を実行します。表 3 は、全身のポーズ推定のための Sapiens モデルと既存の方法との比較を示しています。すべての方法は、Sapiens の 114 個のキー ポイント語彙と COCO-WholeBody の 308 個のキー ポイント語彙の間の 133 個の共通キー ポイントで評価されます。Sapiens-0.6B は、現在の最先端技術である DWPose-l を +2.8 AP 上回っています。タスクに合わせて調整された機能蒸留を備えた複雑な生徒と教師のフレームワークを利用する DWPose とは異なり、Sapiens は、大規模な人間中心の事前トレーニングを備えた一般的なエンコーダー/デコーダー アーキテクチャを採用しています。

興味深いことに、同じパラメータ数であっても、Sapiens モデルは他のモデルと比較して優れたパフォーマンスを発揮します。たとえば、Sapiens-0.3B は VitPose+-L を +5.6 AP 上回り、Sapiens-0.6B は VitPose+-H を +7.9 AP 上回ります。Sapiens ファミリー内では、モデルのサイズとパフォーマンスの間に直接的な相関関係があることを示しています。Sapiens-2B は 61.1 AP で新たな最先端技術を樹立し、先行技術に比べて +7.6 AP の大幅な改善を実現しています。屋内キャプチャ スタジオからの注釈による微調整にもかかわらず、Sapiens は、次の図に示すように、現実世界のシナリオに対する堅牢な一般化を示しています。

Sapiens は、28 クラスのセグメンテーション語彙を使用して微調整および評価されています。トレーニング セットは 100 万枚の画像で構成され、テスト セットの Humans-2K は 2 枚の画像で構成されています。Sapiens は、各メソッドによって提案された事前トレーニング済みのチェックポイントを初期化として使用し、同じトレーニング セットで微調整された既存の身体部位セグメンテーション メソッドと比較されます。ポーズ推定と同様に、Sapiens はセグメンテーションの一般化を示します。これは次の表で示されています。

興味深いことに、最小のモデルである Sapiens-0.3B は、高解像度と大規模な人間中心の事前トレーニングにより、Mask2Former や DeepLabV3+ などの既存の最先端のセグメンテーション手法よりも 12.6 mIoU 優れています。さらに、モデル サイズを大きくすると、セグメンテーションのパフォーマンスがさらに向上します。Sapiens-2B は、テスト セットで 81.2 mIoU と 89.4 mAcc で最高のパフォーマンスを達成しています。次の図は、Sapiens モデルの定性的な結果を示しています。

まとめ：

Sapiens は、人間中心の視覚モデルを基盤モデルの領域に進める大きな一歩です。Sapiens モデルは、さまざまな人間中心のタスクにわたって強力な一般化機能を発揮します。最先端のパフォーマンスは、(i) 人間を理解するために特別に調整された厳選されたデータセットでの大規模な事前トレーニング、(ii) 拡張された高解像度および大容量のビジョン トランスフォーマー バックボーン、(iii) 拡張スタジオおよび合成データに対する高品質の注釈によって実現されています。Sapiens モデルは、多数の下流タスクの重要な構成要素となり、コミュニティのかなり広い部分に高品質のビジョン バックボーンへのアクセスを提供する可能性があります。