2024 年のコンピューター ビジョンに関する文献のトレンドに関する個人的な見解

私は約 5 年間、Arxiv やその他の場所でコンピューター ビジョン (CV) と画像合成の研究現場を継続的に追跡してきましたが、時間の経過とともに傾向が明らかになり、毎年新しい方向に変化しています。

そこで、2024年が終わりに近づくにつれて、コンピュータビジョンとパターン認識のArxiv投稿におけるいくつかの新しい、または進化する特徴を見てみるのが適切だと思いました。 これらの観察は、現場を何百時間も研究した結果に基づくものですが、あくまでも逸話的なものです。

東アジアの継続的な台頭

2023 年末までに、私は「音声合成」カテゴリの文献の大部分が中国や東アジアの他の地域から出ていることに気付きました。2024 年末には、これが画像やビデオの合成研究の分野にも当てはまることを（逸話的に）観察しなければなりません。

これは、中国と近隣諸国が必ずしも常に最高の成果を出しているということを意味するものではない（確かに、 反対の証拠また、中国では（西洋と同様）最も興味深く強力な新しい開発システムのいくつかが独占的であり、研究文献から除外される可能性が高いことも考慮されていません。

しかし、この点では東アジアが量的に西側を上回っていることを示唆している。それがどれだけ価値があるかは、 エジソン流の粘り強さ通常は効果がないことが判明している 解決困難な障害に直面して.

全 多くのそのような障害 生成 AI では、どれが既存のアーキテクチャに対応することで解決でき、どれをゼロから再検討する必要があるのか​​を知ることは容易ではありません。

東アジアの研究者がコンピューター ビジョンに関する論文をより多く発表しているようですが、私は「フランケンシュタイン」スタイルのプロジェクト、つまり、限られたアーキテクチャ上の新規性 (または単に異なるタイプのデータ) を追加しながら、以前の研究を融合する取り組みの頻度が増加していることに気づきました。

今年は、東アジア（主に中国または中国が関与する共同研究）からの応募がはるかに多く、実力重視ではなく定員重視のようで、すでに応募者数が多い分野で信号対雑音比が大幅に増加しました。

同時に、2024年には東アジアの新聞もますます多くなり、私の注目と賞賛を集めています。ですから、これがすべて数字のゲームであるならば、失敗しているわけではありませんが、安くもありません。

提出量の増加

2024 年には、すべての発行国における論文の量が明らかに増加しました。

最も人気のある出版日は年間を通じて変わります。現在のところ火曜日で、コンピューター ビジョンとパターン認識セクションへの投稿数は、ピーク期間 (300 月～350 月と XNUMX 月～XNUMX 月、つまりそれぞれ会議シーズンと「年間割り当て締め切り」シーズン) には XNUMX 日で約 XNUMX～XNUMX 件になることがよくあります。

私の経験以外にも、Arxiv自体が 2024年XNUMX月の応募件数が過去最高合計 6000 件の新規投稿があり、コンピューター ビジョン セクションは機械学習に次いで XNUMX 番目に多く投稿されたセクションとなりました。

ただし、Arxiv の機械学習セクションは「追加」または集約されたスーパーカテゴリとして使用されることが多いため、コンピュータービジョンとパターン認識が実際には最も多く投稿されている Arxiv カテゴリであると考えられます。

Arxivの 独自の統計 確かに、コンピュータサイエンスが応募作品数で明らかにトップを占めています。

過去 5 年間、Arxiv の投稿統計ではコンピューター サイエンス (CS) が主流でした。 出典: https://info.arxiv.org/about/reports/submission_category_by_year.html

スタンフォード大学の 2024AIインデックスは、最新の統計をまだ報告できていないものの、近年の機械学習に関する学術論文の提出数の顕著な増加も強調している。

2024年の数字は入手できないものの、スタンフォード大学の報告書は機械学習論文の投稿数が劇的に増加していることを示しています。 出典: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

普及>メッシュフレームワークの急増

私にとってもう一つの明らかな傾向は、レバレッジを扱った論文の大幅な増加であった。 潜在拡散モデル （LDM）として 発電機 メッシュベースの「従来の」CGI モデルです。

このタイプのプロジェクトには、テンセントの インスタントメッシュ3D, 3Dトピア, ², V3D, MV編集, GIMD拡散、同様の製品は数多く存在します。

3Dtopia の拡散ベースのプロセスによるメッシュの生成と改良。 出典: https://arxiv.org/pdf/2403.02234

この新たな研究の流れは、拡散モデルなどの生成システムの継続的な扱いにくさに対する暗黙の譲歩と見なすことができます。拡散モデルは、拡散>メッシュ モデルが現在採用しようとしているすべてのシステムの潜在的な代替として宣伝されてからわずか 2 年しか経っておらず、拡散は 30 年以上前に遡るテクノロジーとワークフローのツールの役割に追いやられています。

オープンソースの創始者Stability.ai 安定拡散 モデルは、リリースされたばかり 安定のゼロ123、とりわけ、 ニューラル ラディアンス フィールド AI生成画像の（NeRF）解釈は、UnityなどのCGI分野、ビデオゲーム、拡張現実、および明示的な3D座標を必要とするその他のプラットフォームで使用できる明示的なメッシュベースのCGIモデルを作成するための橋渡しとして機能します。 連続関数.

クリックして再生します。 Stable Diffusion で生成された画像は、有理 CGI メッシュに変換できます。ここでは、Stable Zero 123 を使用した画像 > CGI ワークフローの結果を示します。 出典: https://www.youtube.com/watch?v=RxsssDD48Xc

3Dセマンティクス

生成AI分野では、ビジョンと生成システムの2Dシステムと3Dシステムの実装を区別しています。たとえば、 顔のランドマークフレームワークしかし 表します すべての場合において、3D オブジェクト (面) は必ずしもアドレス指定可能な 3D 座標を計算するわけではありません。

一般的 FANAlignシステム2017 年頃のディープフェイク アーキテクチャなどで広く使用されている は、次の両方のアプローチに対応できます。

上の図では、認識された顔の輪郭と特徴のみに基づいて 2D ランドマークが生成されています。下の図では、ランドマークが 3D X/Y/Z 空間に合理化されています。 出典: https://github.com/1adrianb/face-alignment

「ディープフェイク」が 曖昧で乗っ取られた用語同様に、「3D」もコンピュータービジョン研究において紛らわしい用語になっています。

消費者にとって、これは通常、ステレオ対応メディア (視聴者が特殊なメガネを着用する必要がある映画など) を意味します。一方、視覚効果の専門家やモデラーにとっては、2D アートワーク (概念スケッチなど) と、Maya や Cinema3D などの「4D プログラム」で操作できるメッシュベースのモデルを区別することを意味します。

しかし、コンピュータビジョンでは、それは単に デカルト座標系 どこかに存在する 潜在空間 モデルの ユーザーが直接操作したり、対処したりできるとは限らない。少なくとも、サードパーティの解釈型CGIベースのシステムがなければ、 3DMM or 炎.

したがって、 拡散>3D 不正確であるだけでなく、 どれか 生成 CGI モデルを生成するための入力として、さまざまな種類の画像 (実際の写真を含む) を使用できますが、より曖昧さが少ない「メッシュ」という用語の方が適切です。

しかし、曖昧さをさらに複雑にしているのは、拡散 is 新たなプロジェクトの大多数では、ソース写真をメッシュに解釈する必要がある。そのため、より適切な説明は次のようになるだろう。 画像からメッシュへ一方、 画像>拡散>メッシュ さらに正確な説明です。

しかし、取締役会や投資家の関心を引くための広報発表では、それを売り込むのは難しい。

建築の行き詰まりの証拠

2023年と比べても、過去12か月間の論文を見ると、 厳しい実用上の限界 拡散ベースの生成について。

主な障害は、物語的にも時間的にも一貫性のあるビデオを生成し、異なるビデオ クリップ間だけでなく、生成された単一のビデオ クリップの短い実行時間にわたっても、キャラクターとオブジェクトの外観の一貫性を維持することです。

拡散合成における最後の画期的な革新は LoRAの登場 2022年。Fluxなどの新しいシステムでは、Stable Diffusionが以前は生成された画像内でテキストコンテンツを再現できなかったなどの一部の異常値の問題が改善され、全体的な画像品質が向上しましたが、2024年に私が研究した論文の大部分は、基本的に皿の上で食べ物を動かすだけのものでした。

こうした膠着状態は、生成的敵対ネットワーク (GAN) やニューラル ラディアンス フィールド (NeRF) でも以前に発生しており、どちらも当初の潜在能力を十分に発揮できず、従来のシステムでますます活用されるようになっています (Stable Zero 123 での NeRF の使用など、上記を参照)。これは拡散モデルでも発生しているようです。

ガウススプラッティング研究のピボット

2023年末にはラスタライズ方式が 3D ガウス スプラッティング 3年代初頭に医療用画像技術として登場した1990DGSは、突然 オートエンコーダベース 人間の画像合成の課題（顔のシミュレーションや再現、アイデンティティの転送など）を解決するシステム。

2023年のASH論文では、 全身3DGS人間一方、 ガウスアバター オートエンコーダや他の競合方法と比較して大幅に改善された詳細と、印象的なクロス再現を提供しました。

しかし、今年は 3DGS ヒト合成におけるそのような画期的な瞬間が比較的少なく、この問題に取り組んだ論文のほとんどは上記の研究の派生か、その能力を超えることができなかったかのいずれかでした。

代わりに、3DGS ではその基本的な建築的実現可能性の向上に重点が置かれ、改善された 3DGS の外部環境を提案する論文が次々と発表されるようになりました。 特別な注意 同時位置推定とマッピング（SLAM) 3DGSアプローチは、次のようなプロジェクトで採用されています。 ガウススプラッティングSLAM, スプラットスラム, ガウスSLAM, ドロイド-スプラット、他の多くの間で。

スプラットベースの人間合成を継続または拡張しようとしたプロジェクトには、 ミグス, GEM, EVA, オクフュージョン, FAGヘッド, ヒューマンスプラット, GGヘッド, 議事録, トポ4D他にもいくつかあるが、これらの発表はいずれも、2023年後半に発表された論文の当初のインパクトに匹敵するものではなかった。

検査サンプルの「ワインスタイン時代」は（ゆっくりと）減少傾向にある

東南アジア全般（特に中国）の研究では、少々「刺激的な」内容が含まれているため、レビュー記事で再公開するには問題のあるテスト例がよく取り上げられます。

その地域の研究者が自分たちの成果で注目を集めようとしているからなのかどうかは議論の余地があるが、過去18か月間、生成AI（画像や動画）に関する論文のデフォルトとして、若くて露出度の高い女性や少女をプロジェクトの例として使うことが増えている。NSFWぎりぎりの例としては、次のようなものがある。 ユニアニメイト, コントロール次へ、そして非常に「無味乾燥」な論文でさえ、 フレシェビデオモーション距離によるモーション一貫性の評価 （FVMD）。

これは、潜在的拡散モデル (LDM) を中心に集まったサブレディットやその他のコミュニティの一般的な傾向に沿ったもので、ルール 34 は依然として顕著です。

セレブ対決

この種の不適切な例は、AIプロセスが有名人の肖像を恣意的に利用すべきではないという認識の高まりと重なる。特に、例を無批判に使用する研究においてはそうだ。 特色 魅力的な有名人、多くの場合は女性を取り上げ、疑わしい状況に置きます。

一例です あらゆるドレッシングは、非常に若いアニメ風の女性キャラクターをフィーチャーしているほか、マリリン・モンローなどの古典的な有名人や、アン・ハサウェイ（このような使用法を非難している）などの現在の有名人のアイデンティティも自由に使用しています。 かなり声高に).

東南アジアの新聞では、現在の著名人や「古典的」な著名人を恣意的に起用することは依然としてかなり一般的だが、その習慣は少しずつ減少している。 出典: https://crayon-shinchan.github.io/AnyDressing/

In 西部の 論文によると、この特定の慣行は2024年を通じて著しく減少しており、FAANGやOpenAIなどの他の高レベルの研究機関からの大規模なリリースが主導しています。将来の訴訟の可能性を批判的に認識しているこれらの大手企業は、 架空の 写真のようにリアルな人々。

彼らが作っているシステム（例えば 画像 および ヴェオ2）は明らかにそのような出力が可能ですが、西洋の生成 AI プロジェクトの例では、現在、「かわいい」、ディズニー風の、極めて「安全な」画像や動画がトレンドになっています。

Imagen は「フォトリアリスティック」な出力を作成する能力を誇っているにもかかわらず、Google Research が宣伝するサンプルは典型的には空想的で「家族向け」のものであり、フォトリアリスティックな人間は慎重に避けられているか、最小限の例しか提供されていません。 ソース: https://imagen.research.google/

洗顔

西洋の履歴書の文献では、この不誠実なアプローチは特に カスタム化 システム - 複数の例にわたって特定の人物の一貫した類似性を作成できる方法（つまり、LoRAや古い ドリームブース).

例としては、 直交視覚埋め込み, LoRA 作曲家、Googleの インストラクトブース、その他多数。

これまでの経緯から、ユーザーは毛皮やフワフワしたキャラクターよりも、写真のようにリアルな人間を作成することに興味があるようですが、Google の InstructBooth はかわいらしさを 11 倍に高めています。 出典: https://sites.google.com/view/instructbooth

しかし、「かわいい例」の台頭は、他のCVおよび統合研究分野でも見られ、例えば次のようなプロジェクトで見られる。 コンプ4D, V3D, デザイン編集, ユニエディット, フェイスチェーン （これは、より現実的なユーザーの期待に応えるものである。 GitHubページ）、及び DPG-T2I、他の多くの間で。

このようなシステム（例えば LoRA）は比較的安価なハードウェアで家庭ユーザーでも作成できるため、無料でダウンロードできる有名人のモデルが急増している。 civit.aiドメイン そしてコミュニティ。このような不正使用は、次のようなアーキテクチャのオープンソース化によって可能となっている。 安定拡散 および Flux.

生成テキスト画像（T2I）やテキスト動画（T2V）システムの安全機能を突破して、プラットフォームの利用規約で禁止されている素材を作成することはよくありますが、最高のシステム（RunwayMLやSoraなど）の制限された機能と、単にパフォーマンスの高いシステム（ 安定した動画の普及, コグビデオ および現地での展開 渾源）は、多くの人が信じているように、実際には閉店していない。

むしろ、これらの独自システムとオープンソース システムは、それぞれ同じように役に立たなくなる恐れがあります。高価でハイパースケールの T2V システムは、訴訟の恐れから過度に制限される可能性があります。一方、オープンソース システムにはライセンス インフラストラクチャとデータセットの監視がないため、より厳格な規制が施行されると、市場から完全に締め出される可能性があります。

初版発行日：24年2024月XNUMX日火曜日