访谈

Hannah (Linan) Zhou,Meshy 联合创始成员兼产品负责人——访谈系列

mm
将 Unite.AI 添加到您在 Google 上的首选来源

Hannah (Linan) Zhou 是 Meshy 的联合创始成员兼产品负责人,专注于构建和扩展用于 3D 内容创作的生成式 AI 工具。在 Meshy,她参与制定公司的产品战略,覆盖面向消费者和企业的应用,包括 3D 生成、AI 智能体、开发者 API,以及旨在将生成式 3D 技术融入专业创意流程的工作流。Zhou 曾表示,她的工作重点是构建和扩展 Meshy 的 3D 生成式 AI 平台,尤其致力于让创作者更容易使用这项技术,同时开发企业客户所需的安全、协作、分析和基础设施能力。她曾在 Brandeis University 攻读研究生,学习机器学习、数据分析、Python、R 和商业智能。

Meshy 是一个由 AI 驱动的 3D 内容创作平台,旨在大幅提升制作可用于生产的 3D 资产的速度,并让这一过程更易上手。该平台能够将文字描述、照片、草图和概念艺术转化为 3D 模型,同时提供 AI 纹理生成、动画、自动绑定、开发者 API,以及通过其 3D Agent 实现的对话式 3D 创作。其技术应用于游戏、3D 打印、增强现实与虚拟现实、产品设计、教育及其他创意行业。Meshy 表示,平台拥有超过 1,200 万名注册用户,创建的模型超过 1 亿个;其工具已被大型科技、游戏、设计和制造企业的团队使用。

您的职业生涯始于审计和金融,之后您重大转向科技行业,成为 Meshy 的联合创始成员兼产品负责人。最初是什么吸引您投身生成式 3D?您的分析背景又如何影响您评估一项新能力是否真正实用,而不只是视觉效果出众?

我职业生涯的前一阶段从事审计和金融工作,这段经历让我学会从多个角度同时审视一家企业,因为单一数字无法说明企业的经营状况是否健康。如今,我也用这种方式评估产品。一个演示看起来令人印象深刻,只能说明它通过了一项检验。在着手开发之前,我希望它能通过几项检验:它是否能为用户创造真正的价值?这种价值对应的市场有多大?交付它需要付出多少成本?背后是否有稳健的商业模式?许多视觉效果出众的功能都过不了其中一项检验。值得开发的功能往往能通过所有检验。

吸引我投身 3D 的,是一个简单的信念:每个人都能进行 3D 创作。孩子们早在有人教他们之前,就会用积木和黏土搭建东西。阻碍人们的不是能力,而是工具。传统的 3D 创作要求人们花费数年时间学习大多数人从未打开过的软件。我想打造一款能消除这一障碍的产品,让 7 岁的孩子和 70 岁的祖母都无需接受这些培训,就能创作 3D 作品。

Ultra 4K 专注于提升 4K 几何分辨率,而非纹理分辨率。对于可能一时难以理解两者区别的创作者来说,提升生成表面的实际几何细节,为何会成为 AI 生成 3D 领域如此重要的前沿方向?

几何和纹理承担着不同的作用。几何定义资产的实际表面,纹理则呈现其视觉外观。纹理可以营造鳞片、缝线或雕刻的效果,但真正的几何结构会改变轮廓,能够自然地响应光线、投射阴影,并在雕刻、渲染和 3D 打印工作流中始终作为网格的一部分保留下来。

过去几年里,行业在整体结构和对齐方面取得了重大进展。这些难题尚未解决,但随着基准水平不断提高,创作者自然会开始关注更细微之处。问题不再只是模型的整体形状是否正确,还包括赋予它个性的细节——盔甲上的雕刻、生物身上的鳞片,或带子上的缝线——是否真正呈现在几何结构中。

这对创作者很重要,因为每一处缺失的细节都会在后续流程中变成手动工作。Ultra 4K 旨在提升初始素材的质量,让艺术家减少重建基础表面结构所花的时间,把更多精力用于根据自身创作目标打磨资产。

Meshy 指出,轮廓破损或多出肢体等重大结构性问题已不再那么常见,因此更精细的几何细节成为尚待攻克的难题之一。鳞片、褶皱、雕刻和刻纹表面等特征,为何会给生成模型带来特别大的技术挑战?

精细的几何特征之所以难以生成,是因为它们的尺度远小于物体整体。模型可能理解了龙的轮廓,却仍无法呈现每片鳞片的结构;也可能还原了一件盔甲,却把上面的雕刻线条磨平了。

此外,从 2D 图像生成 3D 内容本身就存在歧义。同一处彩色图案可能代表颜料、纹理、阴影,也可能是实体凸起。模型必须判断哪些视觉信号应转化为实际几何结构,并在整个表面上连贯地重建这些结构。

最后,细节必须贯穿整个处理流程并得以保留。高分辨率生成、网格提取和简化都必须保留有意义的特征,避免将其变成噪点或造成不必要的多边形密度。挑战在于生成连贯且对创作者有用的细节,而不只是增加表面变化。

哪些底层改进让 Ultra 4K 成为可能?其中最重大的进展是来自基础模型、训练数据、重建技术、推理流程,还是 Meshy 表示 3D 几何体的方式?

Ultra 4K 的实现得益于几何处理流程中的多项改进,而非某一项孤立的变化。我们将 Meshy 的几何表示和生成主干网络从 2048³ 扩展到 4096³,并配合高精度网格提取与简化,使新增的分辨率转化为有意义的表面结构,而不只是更高的多边形数量。

在这样的规模下,模型运行于一个包含数十亿个体素的空间中。未经简化的 Ultra 4K 网格最多可包含 8000 万个三角形,因此,提取和简化阶段对于保留精细细节、同时生成创作者能够使用的资产至关重要。

目前,Ultra 4K 支持单视图生成,而 Ultra 2K 则适用于单视图和多视图工作流程。待达到同等质量标准后,Ultra 4K 将支持多视图。

Meshy 使用多分辨率法线渲染,在不依赖纹理的情况下衡量不同尺度下有多少几何结构得以保留。你们为何选择这种评估方法?它能揭示哪些常规视觉比较或几何基准可能遗漏的信息?

如果讨论的是几何本身,我们就需要一种能够单独评估表面的方法。纹理、材质、光照和后期处理都可能让相对平坦的表面看起来细节丰富;而仅看多边形数量,也无法判断这些多边形是否构成了有意义的结构。

我们的 Detail Richness 基准会从多个固定视角渲染每个模型,并在固定的屏幕分辨率下衡量可见表面中有多少部分在单个像素范围内呈现方向变化。在较低的渲染分辨率下,该指标捕捉较大的整体结构;在较高分辨率下,它则能检测到脊线、缝线、鳞片和雕刻纹样等更精细的特征。

我们还会使用结构细节丰富、但纹理简单的输入,从而减少绘制出来的外观与物理形态之间的歧义。这样,我们就能聚焦于一个问题:不同尺度下,有多少有意义的几何结构得以保留?它无法衡量对齐度、拓扑结构、平滑度、纹理质量或可编辑性,因此我们将其视为更全面的评估框架中的一部分,而非衡量资产质量的完整指标。

你们在发布前的测试发现,Ultra 4K 生成的几何细节比受测的其他领先系统更多;与此同时,Meshy 也谨慎地区分了几何细节与对齐度、拓扑结构、平滑度、纹理质量和可编辑性。当没有任何单一基准能够全面反映资产质量时,整个行业应如何看待 AI 生成 3D 内容的评估?

我们认为,评估 AI 生成的 3D 内容时,应逐项考察各个维度,并结合预期工作流程来判断。几何细节、图像对齐度、拓扑结构、表面平滑度、纹理质量、可编辑性和生成速度都很重要,但它们的重要程度会因任务而异。用于数字雕刻的初始模型、实时游戏道具和适合 3D 打印的模型,对“最佳”的定义并不相同。

这意味着基准测试应明确说明自身衡量的内容。评估几何效果时,必须使用无纹理渲染图或黏土渲染图,并进行近距离检查;评估图像对齐度时,应重点考察形体和部件是否与参考图相符;评估是否适合投入生产时,还需要测试拓扑结构、绑定、编辑以及性能方面的限制。

我们也认为,评估过程应当透明、可复现,并标注时间。模型迭代很快,因此基准测试反映的是某一时点的情况,而不是永久有效的排名。整个行业的长期目标应当是建立一套开放的多维评估方法,让创作者和独立研究人员能够复现这些方法,并根据自己的工作流程加以使用。

Ultra 4K 似乎尤其面向数字雕刻、电影道具、收藏手办、细节丰富的角色和主视觉资产等用途。目前,AI 生成的资产距离直接用于 Blender、ZBrush、Maya 或 Unreal Engine 等专业工作流程、且无需大量手动清理,还有多远?

AI 生成的资产已经能在专业工具中发挥作用,但它们距离“直接使用”还有多远,取决于资产本身和具体工作流程。

在概念探索、设计参考以及部分静态资产或背景资产的制作中,生成模型可以缩短从想法到可编辑 3D 初始模型的过程。艺术家可以将模型导入 Blender、ZBrush、Maya 或 Unreal Engine,更早开始评估形态、构图和细节,而不必从空白场景着手。

对于主视觉资产、绑定角色以及其他高要求的制作工作,通常仍需要额外准备。可能需要调整拓扑,以适应形变需求或实时性能预算;材质和纹理可能需要针对具体工作流程进行调整;最终的艺术指导仍由艺术家做出创意决策。不同资产及其用途所需的清理工作量差异很大。

Ultra 4K 改进了交接流程中的一个重要环节:几何模型初始基础的质量。当网格中已经包含褶皱、雕刻纹路、鳞片等特征时,艺术家就能减少重建表面结构所花的时间,把更多精力用于针对预期用途打磨资产。我们认为,这是朝着满足制作需求迈出的实质性一步——这并不意味着将艺术家排除在流程之外,而是为他们的工作提供更好的基础。

Meshy 现在提供 Standard、Ultra 2K 和 Ultra 4K,而不是默认采用最高分辨率。您如何看待生成速度、计算成本、几何保真度,以及特定创作任务实际所需质量之间的取舍?

这三种模式分别面向不同的制作阶段和用途,并非简单的“好、更好、最好”分级。

Standard 注重速度和快速迭代,适合前期探索、构图测试,以及在屏幕上始终较小的资产。Ultra 2K 在保真度和灵活性之间取得平衡,同时支持单视图和多视图生成。Ultra 4K 则适用于资产的细微几何结构至关重要的场景,例如雕刻参考、收藏级人偶、特写道具或细节丰富的角色。

合适的选择取决于资产的用途。手机游戏中的背景道具和收藏级人偶,对分辨率或多边形预算的需求并不相同。更高分辨率需要更多计算资源,因此,真正值得考虑的问题不是“哪种模式最高?”而是“哪种模式能为这项任务带来肉眼可见的价值?”

一种实用的工作流程是:先用 Standard 或 Ultra 2K 探索主题和构图,再针对最有潜力的方案使用 Ultra 4K,前提是精细的几何细节对最终效果至关重要。这样既能保持快速迭代,也能将最高保真度的生成集中用于创作者确实能够看到并利用其差异的部分。

Ultra 4K 的几何分辨率为 4096³,简化前的原始网格最多可达 8000 万个三角形。资产确有需要时,这种规模很有价值;但我们的产品原则是,在每个阶段为创作者提供恰当的质量和控制水平,而不是默认使用最高计算资源。

随着几何细节日益丰富,拓扑和可编辑性是否会成为下一个主要瓶颈?在高度精细的 AI 生成模型能够像传统制作的资产一样,便于专业艺术家修改、绑定、制作动画和优化之前,还需要完成哪些工作?

是的,拓扑和可编辑性是近期最具体的挑战之一。专业绑定需要沿着人体结构和关节走向的边流、形变表现可预测的多边形密度,以及符合目标引擎或渲染器限制的网格。AI 生成的网格可以包含丰富的表面细节,但目前还无法稳定地符合这些制作规范。在许多动画工作流程中,艺术家仍需先进行拓扑重建,才能真正开始绑定。

同样的问题也会影响编辑。高密度的生成网格可以带来出色的视觉保真度,也适合雕刻,但其结构未必便于执行选择整齐的边环、添加可控切线、调整比例或为形变做准备等操作。如果能提供更多语义和程序化控制——让用户修改设计决策,而非手动重做表面——生成资产的灵活性将大幅提升。

由于拓扑处于绑定、蒙皮、混合变形和物理模拟等环节的上游,拓扑方面的进步有望改善整个制作流程。这里有两条互为补充的路径:生成模型可以学习生成更符合制作需求的几何结构,自动化后处理则可以将细节丰富的网格转换为适用于特定任务的拓扑。最有用的方案或许是将两者结合起来,既保留创作者需要的视觉细节,又根据他们实际使用的工作流程调整网格。

展望 Ultra 4K 之后,您认为生成式 3D 的下一个重大突破会是什么:更高的几何保真度、更完善的拓扑、构成一致的多对象场景、可用于动画制作的资产、更深入的物理理解,还是最终能够生成完整交互式 3D 世界的模型?

几何保真度还会不断提高,但我认为这并不是下一个突破。下一个突破是生成的资产能够经受实际使用,无需人工修复。对于 3D 打印用户而言,这意味着模型首次切片和打印后,成品就能呈现他们想要的形状。对于游戏团队而言,这意味着干净的拓扑、合理的部件划分和规范的 UV,这样资产无需先进行拓扑重建就能绑定。目前,生成的资产是很出色的起点。真正的突破在于,它们不再只是起点。

之后,我认为最大的变化并非模型又多了一项能力,而是谁来完成这项工作。如今,模型与结果之间仍然需要有人介入:选择工具、修复网格,并检查模型能否打印出来,或是否符合游戏引擎的预算。下一步是由智能体端到端地完成整个任务。你只需描述想要什么,以及它将用于何处,系统就会规划步骤、运行工具,并根据目标检查自己的输出;只有在需要由你做出创意决策时,它才会来征求你的意见。交互式世界是自然的发展方向,但要构建这些世界,首先必须让素材变得可靠。我们的使命是让每个创意都成为 3D 现实;而现实意味着人们能够将其打印出来、用于游戏,或交付发布。

感谢您接受这次精彩的采访。希望了解更多的读者,请访问 Meshy。 

安托万是一位富有远见的领导者,也是 Unite.AI 的创始合伙人。他怀着坚定的热情,致力于塑造和推动人工智能与机器人技术的未来。作为一名多次创业的企业家,他相信人工智能将像电力一样深刻地改变社会,并经常热情地谈论颠覆性技术和通用人工智能(AGI)的潜力。

作为一名未来学家,他致力于探索这些创新将如何塑造我们的世界。此外,他还是 Securities.io 的创始人。该平台专注于投资正在重新定义未来、重塑整个行业的前沿技术。