テキストから3D生成AIのしくみ：Meta 3D Gen、OpenAI Shap-Eなど

import numpy as np

<p>def sphere_sdf(x, y, z, radius=1.0)：
return np.sqrt(x**2 + y**2 + z**2) - radius</p>

<p># 3D点でSDFを評価する
point = [0.5, 0.5, 0.5]
distance = sphere_sdf(*point)
print(f"球面への距離：{distance}")</p>

</div>
</div>
</div>
<h3 class="font-bold">生成モデル</h3>
<p class="whitespace-pre-wrap break-words">テキストから3Dシステムのコアは、3D表現を生成するための生成モデルです。ほとんどの最先端モデルは、2Dイメージ生成で使用されるものと同様の拡散モデルのバリエーションを使用しています。</p>
<p class="whitespace-pre-wrap break-words">拡散モデルは、データに徐々にノイズを追加し、次にこのプロセスを逆にすることを学習することで機能します。3D生成の場合、このプロセスは選択された3D表現の空間で発生します。</p>
<p class="whitespace-pre-wrap break-words">拡散モデルのトレーニングステップの簡略化された疑似コードは、以下のようになります。</p>

<div class="relative flex flex-col rounded-lg">
<div class="pointer-events-none sticky z-20 my-0.5 ml-0.5 flex items-center justify-end px-1.5 py-1 mix-blend-luminosity top-0">
<div class="from-bg-300/90 to-bg-300/70 pointer-events-auto rounded-md bg-gradient-to-b p-0.5 backdrop-blur-md">

[code language="PYTHON"]
def diffusion_training_step(model, x_0, text_embedding)：
# ランダムなタイムステップをサンプリングする
t = torch.randint(0, num_timesteps, (1,))

<p># 入力にノイズを追加する
noise = torch.randn_like(x_0)
x_t = add_noise(x_0, noise, t)</p>

<p># ノイズを予測する
predicted_noise = model(x_t, t, text_embedding)</p>

<p># ロスを計算する
loss = F.mse_loss(noise, predicted_noise)</p>

return loss

<p># トレーニングループ
for batch in dataloader：
x_0, text = batch
text_embedding = encode_text(text)
loss = diffusion_training_step(model, x_0, text_embedding)
loss.backward()
optimizer.step()

import torch
import torch.nn.functional as F
import pytorch3d.renderer as pr

<p>def render_mesh(vertices, faces, image_size=256)：
# レンダラーを作成する
renderer = pr.MeshRenderer(
rasterizer=pr.MeshRasterizer(),
shader=pr.SoftPhongShader()
)</p>

<p># カメラを設定する
cameras = pr.FoVPerspectiveCameras()</p>

<p># レンダリングする
images = renderer(vertices, faces, cameras=cameras)</p>

return images

<p># 例
vertices = torch.rand(1, 100, 3) # ランダムな頂点
faces = torch.randint(0, 100, (1, 200, 3)) # ランダムな面
rendered_images = render_mesh(vertices, faces)

class TextTo3D(nn.Module)：
def __init__(self)：
super().__init__()
self.text_encoder = BertModel.from_pretrained('bert-base-uncased')
self.diffusion_model = DiffusionModel()
self.refiner = RefinerNetwork()
self.renderer = DifferentiableRenderer()

<p>def forward(self, text_prompt)：
# テキストをエンコードする
text_embedding = self.text_encoder(text_prompt).last_hidden_state.mean(dim=1)</p>

<p># 初期の3D表現を生成する
initial_3d = self.diffusion_model(text_embedding)</p>

<p># 複数のビューをレンダリングする
views = self.renderer(initial_3d, num_views=4)</p>

<p># マルチビューの一貫性に基づいて精緻化する
refined_3d = self.refiner(initial_3d, views)</p>

return refined_3d

<p># 例
model = TextTo3D()
text_prompt = "赤いスポーツカー"
generated_3d = model(text_prompt)

利用可能なトップテキストから3Dアセットモデル

3DGen – Meta

3DGenは、テキストから3Dコンテンツ（キャラクター、プロップ、シーンなど）を生成する問題に対処するように設計されています。

大規模言語とテキストから3Dモデル – 3d-gen

3DGenは、物理ベースのレンダリング（PBR）をサポートしており、これはリアルな3Dアセットの再照明に不可欠です。また、既存の3D形状に対して新しいテクスチャを生成することもできます。パイプラインには、テキストから3Dとテキストからテクスチャの生成を担当する2つの重要なコンポーネント、Meta 3D AssetGenとMeta 3D TextureGenが含まれています。

Meta 3D AssetGen

Meta 3D AssetGen（Siddiqui et al.、2024）は、テキストプロンプトから3Dアセットを初期生成する責任を負います。このコンポーネントは、約30秒でテクスチャとPBRマテリアルマップを備えた3Dメッシュを生成します。

Meta 3D TextureGen

Meta 3D TextureGen（Bensadoun et al.、2024）は、AssetGenによって生成されたテクスチャを精緻化します。また、既存の3Dメッシュに対して新しいテクスチャを生成することもできます。このステージでは、約20秒かかります。