Alex Petrenko, Zibra AIのCEO兼共同創設者 Alex Petrenko Zibra AIのCEO兼共同創設者

リアルタイムボリュメトリックスが映画の物語を書き直す方法

映画のセットでは、VFX監督だけが低解像度のプレビューモニターでボリュメトリック効果を確認できた時代がありました。複雑なシーンを撮影することができました。例えば、古代の森の中を渦巻く霧、焼け跡の廊下で踊る火の粉、魔法使いの杖に纏わりつく空気のような魔法などです。しかし、ポストプロダクションまで誰もその一片も見ることができませんでした。制作クルーは、無機的な周囲を見て、灰色の壁の前で演技をしました。俳優たちは、舞台上で漂う塵や煙を見ながら演技をしなければなりませんでした。すべてが変わりました。研究室から制作スタジオへと現れたリアルタイムボリュメトリックスにより、カメラの視線に応じて息を吹くような大気を隠す幕が開けられました。今日の映画製作者は、撮影中に大気の深さを形作り、細かい調整をすることができます。映画の世界がどのように構築され、物語がどのように形作られるかを書き直すことができます。従来のワークフローでは、監督は直感と記憶に頼り、煙のような霞や炎のような火を想像しながらカメラを回していました。低解像度のプロキシ（低解像度のパーティクルテストや簡略化された幾何学的ボリューム）が最終的な効果の代わりとなり、レンダリングファームでの長い夜の後で初めてボリュメトリックテクスチャーが現れました。俳優たちは、暗いLEDウォールやグリーンスクリーンの前で演技をしました。目をつぶって、ぼんやりした光を見たり、抽象的なシルエットを見たりしました。彼らのイメージは技術的な図面に繋がっており、映画の中で実際に存在する大気とは繋がっていませんでした。制作が終了すると、レンダリングファームは、煙が物体の周りを渦巻く、高解像度のボリュメトリックスキャンを作成するために、数時間または数日間作業しました。火の粉が風に反応したり、魔法の光がヒーローのジェスチャーに続いたりします。これらのオーバーナイトプロセスは、フィードバックループに危険な遅延をもたらし、創造的な選択肢を固定し、即興性の余地をほとんど残しませんでした。ディズニーは、マンダロリアンのためにLEDステージクラフトを導入しました。実写のLEDウォールと事前に録音されたボリュメトリックシミュレーションを組み合わせ、没入感のある環境を暗示しました。ILMxLABの最先端のLEDボリュームチェンバーは、近似値に頼り、最終的な合成が到着するまで、監督は創造的な決定を再考しなければなりませんでした。NVIDIAのリアルタイムボリュメトリックレイトレーシングデモがGDCで注目を集めたとき、それは単なる技術的な展示ではありませんでした。ボリュメトリックライティング、煙、パーティクルがレンダリングファームの壁の後ろではなく、ゲームエンジンのビューポート内で生きていることを示したからです。Unreal Engineの組み込みボリュメトリッククラウドとフォグシステムは、これらの効果がシネマティックな解像度でストリーミングできることを証明しました。突然、俳優が息を吹き出し、顔の周りに舞う霧を見て、演技が変わりました。監督は空気をつまみ、濃い霧や明るい炎を要求し、フィードバックが瞬時に届けられました。カメラマンやVFXアーティストは、長い時間、別々の部屋に分かれていましたが、今では一つの生きたキャンバス上で、光やパーティクルの挙動を形作ることで、同時に仕事をするようになりました。しかし、ほとんどのスタジオはまだ、オフライン優先のインフラストラクチャにしがみついています。未圧縮のボリュメトリックキャプチャーから得られる膨大なデータがストレージアレイに降り注ぎ、予算が膨らみ、サイクルが焼き尽くされます。ハードウェアのボトルネックが創造的なイテレーションを妨げ、チームはシミュレーションが収束するのを数時間、または数日間待たなければなりません。クラウドの請求書は膨らみ、コストはしばしば制作のライフサイクルの後半で初めて調べられます。これは、シロ化された階層の終焉を示しています。リアルタイムエンジンは、パフォーマンスとポストプロダクションの間の線が壁ではなくグラデーションであることを証明しました。SIGGRAPH 2024でのリアルタイムライブのプレゼンテーションで、この革新的なリアルタイムレンダリングとシミュレーションの仕組みがどのように機能するかを見ることができます。これは、リアルタイムエンジンがよりインタラクティブで即時のポストプロダクションプロセスを可能にしていることを示しています。チームは、ロックされたシーケンスを次の部門に手渡すのではなく、同じ共有キャンバス上で共同作業をしています。舞台演劇のように、霧がキャラクターの息に合わせて流れ、視覚効果が俳優の心拍に合わせて脈動する、すべてが即興でコレオグラフィーされているのです。ボリュメトリックスは、単なる大気の装飾ではありません。新しいシネマティック言語を構成しています。細かい霧は、キャラクターの疑問を反映し、危機のときに厚くなります。光る粒子が、消えゆく記憶のように散らばり、心に響くスコアに合わせて脈動します。マイクロソフトのVR物語のためのライブボリュメトリックキャプチャーの実験は、環境がユーザーの行動に応じて分岐し、反応することを示しています。映画も、固定された性質を脱し、世界自体が物語に参加する、反応する体験になることができます。セットの周囲が動的なパフォーマンスのパートナーになったとき、物語は以前考えられなかった深みとニュアンスを得ます。創造的なチームは、即興、コラボレーション、感情の共鳴の新たな可能性を解き放ち、意図と発見に応じて反応するボリュメトリック要素の生きた言語によって導かれます。ただし、この潜在能力を実現するには、スタジオがオフライン優先の過去の隠れたコストに立ち向かわなければなりません。データの負担、ワークフローのシロ化、次の世代のアーティストを失うリスクです。進むべき道は、リアルタイムボリュメトリックスを制作慣行の織り込み、ツール、才能、文化を統一されたビジョンに向けて整えることです。これは、業界を再考し、アイデアとイメージの間の障壁を解消し、毎フレームが人間の創造性とリアルタイムテクノロジーによって生み出される可能性で脈動する時代を受け入れることへの誘いです。