Andersonの視点
ガウシアンスプラッティングを用いた画像編集
Unite.AI を Google の優先ソースに追加
ポーランドと英国での研究者の新しい共同研究では、ガウシアンスプラッティングを用いて画像を編集する可能性を提案しています。選択された画像の一部を一時的に3D空間に解釈し、ユーザーが3D表現を変更および操作できるようにし、そして変換を適用することができます。
猫の頭の向きを変更するために、関連するセクションをガウシアンスプラッティングを用いて3D空間に移動し、ユーザーが操作します。変更はその後適用されます。このプロセスは、Adobeソフトウェアの様々なモーダルテクニックと同様で、インターフェースが現在の複雑なプロセスが完了するまでロックされます。ソース: https://github.com/waczjoan/MiraGe/
ガウシアンスプラット要素は一時的に三角形のメッシュで表現され、CGI状態に入り、物理エンジンが自然な動きを解釈できるようになります。静的な状態を変更するか、アニメーションを生成することができます。
新しいMiraGeシステムに統合された物理エンジンは、アニメーションまたは画像の静的な変更のために自然な物理的動きを解釈できます。
このプロセスには、潜在拡散モデル(LDMs)は含まれていません。つまり、AdobeのFireflyシステムとは異なり、Adobe Stock（旧Fotolia）でトレーニングされたものではありません。
システム、MiraGeは、選択された部分を3D空間に解釈し、幾何学を推測するために、ミラー画像を作成し、スプラットに体現できる3D座標を近似します。
再生するMiraGeシステムで変更された要素の追加の例
著者らは、MiraGeシステムを以前のアプローチと比較し、ターゲットタスクで最先端のパフォーマンスを達成していることを発見しました。
zBrushモデリングシステムのユーザーは、このプロセスに馴染みがあるでしょう。zBrushでは、ユーザーが基本的に3Dモデルを「平坦化」し、2Dの詳細を追加しながら、基礎となるメッシュを保持し、新しい詳細を解釈することができます。これは、MiraGeメソッドの反対で、FireflyやPhotoshopスタイルのモーダル操作、たとえば歪みや粗い3D解釈と同様に機能します。
パラメータ化されたガウシアンスプラットは、MiraGeが2D画像の選択された領域の高品質な再構成を作成し、仮想3D選択にソフトボディ物理を適用できるようにします。
論文では次のように述べられています：
‘私たちは、人間の解釈をシミュレートするモデルを導入します。具体的には、私たちのモデルは、写真や紙のシートのように、2D画像を平面の物体として扱います。’
‘このアプローチにより、直感的で柔軟な画像編集が可能になり、人間の認識のニュアンスを捉えながら、複雑な変換を可能にします。’
新しい論文、MiraGe: Editable 2D Images using Gaussian Splattingは、クラクフのヤギェウォ大学とケンブリッジ大学の4人の著者から来ています。システムの完全なコードは、GitHubで公開されています。
研究者らが課題に取り組んだ方法を見てみましょう。
方法
MiraGeアプローチでは、ガウシアンメッシュスプラッティング(GaMeS)パラメータ化を使用します。これは、2人の著者を含むグループによって開発された技術です。GaMeSにより、ガウシアンスプラットは従来のCGIメッシュとして解釈され、標準的な歪みや変更技術の対象となることができます。
MiraGeは、2D空間の「平坦な」ガウシアンスを解釈し、GaMeSを使用してコンテンツを一時的にGSplat有効な3D空間に「引っ張り出します」。
各平坦ガウシアンは、三角形のクラウドの3点として表現され、操作可能な「三角形スープ」と呼ばれるものになります。ソース: https://arxiv.org/pdf/2410.01521
上記の画像の左下隅で、MiraGeが編集する画像のセクションの「ミラー画像」を作成していることがわかります。
著者らは次のように述べています：
‘私たちは、Y軸に沿って対称的に配置された2つのカメラを使用する新しいアプローチを採用しています。最初のカメラは元の画像を再構成するように設計されていますが、2番目のカメラはミラー反射をモデル化します。写真は、3D空間内の透明なトレーシングペーパーシートとして概念化されます。反射は、画像を水平方向に反転することで効果的に表現できます。このミラーカメラ設定は、生成された反射の忠実度を高め、視覚的な要素を正確に捉えるための堅牢な解決策を提供します。’
論文では、ガメスパラメータ化が選択された領域をガウシアン/メッシュ表現に抽出すると、画像はマテリアルポイント法（MPM）技術を使用して再構成されると述べられています。
この技術は、2018年のCSAIL論文で初めて概説されました。
MiraGeでは、変更プロセス中に、ガウシアンスプラットはメッシュバージョンの同等のガイドプロキシとして存在し、3DMM CGIモデルが、NeRFなどの暗黙的なニューラルレンダリング技術のオーケストレーション方法として頻繁に使用されます。
このプロセスでは、2次元の物体が3D空間にモデル化され、編集の影響を受けない画像の部分は、ユーザーには表示されません。編集の結果は、プロセスが完了するまで明らかではありません。
MiraGeは、人気のオープンソース3Dプログラム、Blenderに統合できます。Blenderは現在、AIを含むワークフローで頻繁に使用されています。
2D画像の人物の腕を移動するBlenderでのMiraGeのワークフロー
著者らは、ガウシアンスプラッティングに基づく2つの変形アプローチ、アモルファスとグラファイトを提供しています。
アモルファスアプローチは、GaMeS方法を直接使用し、抽出された2D選択を3D空間で自由に移動できるようにします。一方、グラファイトアプローチは、初期化とトレーニング中にガウシアンを2D空間に制限します。
研究者らは、アモルファスアプローチが複雑な形状をグラファイトよりも良く扱えるかもしれないが、「裂け目」またはリフトアーチファクトがより明らかであることを発見しました。ここで、変形の端は影響を受けない画像の部分と一致します。
したがって、彼らは先ほど述べた「ミラー画像」システムを開発しました：
‘私たちは、Y軸に沿って対称的に配置された2つのカメラを使用する新しいアプローチを採用しています。最初のカメラは元の画像を再構成するように設計されていますが、2番目のカメラはミラー反射をモデル化します。写真は、3D空間内の透明なトレーシングペーパーシートとして概念化されます。反射は、画像を水平方向に反転することで効果的に表現できます。このミラーカメラ設定は、生成された反射の忠実度を高め、視覚的な要素を正確に捉えるための堅牢な解決策を提供します。’
論文では、MiraGeが外部物理エンジン、たとえばBlenderやTaichi_Elementsで使用できることも示しています。
データとテスト
MiraGeの画像品質評価のテストでは、信号対雑音比(SNR)とMS-SIMメトリクスが使用されました。
使用されたデータセットは、Kodak Lossless True Color Image Suiteと、DIV2Kの検証セットでした。これらのデータセットの解像度は、最も近い以前の研究、Gaussian Imageとの比較に適していました。試験された他のライバルフレームワークには、SIREN、WIRE、NVIDIAのInstant Neural Graphics Primitives(I-NGP)とNeuRBFがありました。
実験は、NVIDIA GEFORCE RTX 4070ラップトップとNVIDIA RTX 2080で行われました。
新しい論文に掲載された結果によると、MiraGeは選択された以前のフレームワークに対して最先端の結果を提供します。
これらの結果について、著者らは次のように述べています：
‘私たちの提案は、両方のデータセットで以前の解決策を上回っていることがわかります。両方のメトリクスで測定された品質は、すべての以前のアプローチと比較して著しく改善されています。’
結論
MiraGeの2Dガウシアンスプラッティングの採用は、画像の変更に影響を与える可能性のある、非常に興味深い代替手段となるかもしれません。
拡散モデルを使用して画像を変更することは、LDMsの制限や、テキストベースのユーザー要求に対する「過度に想像力のある」アプローチの制限によって制限されることがあります。
したがって、画像の一部を一時的に3D空間に引き出し、操作し、変更を適用する能力は、ガウシアンスプラッティングが将来適しているタスクであると考えられます。
* 論文にはある程度の混乱があり、Amorphous-Mirageが最も効果的で有能な方法であると言及しているにもかかわらず、不要なガウシアン（アーチファクト）を生成する傾向があると主張しています。一方、Graphite-Mirageはより柔軟であると主張しています。Amorphous-Mirageが最も詳細なものを取得し、Graphite-Mirageが最も柔軟性の高いものを取得するようです。両方の方法が論文に提示されており、多様な長所と短所を持っているため、著者の好み、あるいはそうでない場合は、現在は明らかではありません。
初版は2024年10月3日に公開されました
