Meshy 창립 멤버 겸 제품 총괄 Hannah (Linan) Zhou 인터뷰

Meshy의 창립 멤버이자 제품 총괄인 Hannah (Linan) Zhou는 3D 콘텐츠 제작을 위한 생성형 AI 도구를 개발하고 확장하는 데 주력하는 제품 리더다. Meshy에서 Zhou는 3D 생성, AI 에이전트, 개발자 API를 비롯해 생성형 3D를 전문 크리에이티브 제작 파이프라인에 통합하도록 설계된 워크플로 등 소비자용 및 기업용 애플리케이션 전반의 제품 전략 수립을 돕고 있다. Zhou는 Meshy의 3D 생성형 AI 플랫폼을 개발하고 확장하는 일을 중심으로 업무를 해 왔다고 설명하며, 크리에이터가 이 기술을 쉽게 이용할 수 있도록 하는 한편 기업 고객에게 필요한 보안, 협업, 분석 및 인프라 역량을 구축하는 데 특히 주력해 왔다. Zhou는 Brandeis University에서 대학원 과정을 밟았으며, 머신러닝, 데이터 분석, Python, R, 비즈니스 인텔리전스를 중점적으로 공부했다.

Meshy는 제작 현장에서 바로 사용할 수 있는 3D 에셋을 훨씬 빠르고 쉽게 만들 수 있도록 설계된 AI 기반 3D 콘텐츠 제작 플랫폼이다. 텍스트 설명, 사진, 스케치, 콘셉트 아트를 3D 모델로 변환할 수 있으며, AI 텍스처링, 애니메이션, 자동 리깅, 개발자 API와 3D Agent를 통한 대화형 3D 제작 기능도 제공한다. 이 기술은 게임, 3D 프린팅, 증강 현실 및 가상 현실, 제품 디자인, 교육을 비롯한 다양한 창작 산업에서 활용된다. Meshy는 등록 사용자가 1,200만 명을 넘고 제작된 모델이 1억 개를 초과한다고 밝혔으며, 주요 기술·게임·디자인·제조 기업의 팀들이 Meshy 도구를 사용하고 있다.

경력 초반에는 감사와 금융 분야에서 일하다가 큰 전환을 거쳐 기술 업계로 진출했고, Meshy의 창립 멤버이자 제품 총괄이 되셨습니다. 처음 생성형 3D에 관심을 갖게 된 계기는 무엇이었나요? 또 분석 분야에서 쌓은 배경은 새로운 기능이 단지 시각적으로 인상적인 데 그치지 않고 실제로 유용한지 평가하는 방식에 어떤 영향을 주었나요?

경력 초반에는 감사와 금융 분야에서 일했습니다. 그 경험을 통해 기업이 건전한지 하나의 숫자만으로는 알 수 없으므로, 여러 관점에서 동시에 살펴보는 법을 배웠습니다. 지금도 같은 방식으로 제품을 평가합니다. 인상적인 시연은 한 가지 기준을 통과한 것입니다. 하지만 무언가를 만들기 전에 저는 여러 기준을 통과하기를 바랍니다. 사용자에게 실질적인 가치를 제공하는가, 그 가치를 원하는 시장의 규모는 어느 정도인가, 제공하는 데 비용이 얼마나 드는가, 그리고 탄탄한 사업 모델이 있는가 하는 기준입니다. 시각적으로 눈길을 끄는 기능 중 상당수는 이 기준 가운데 하나를 충족하지 못합니다. 만들 가치가 있는 기능은 대체로 모든 기준을 통과합니다.

제가 3D에 관심을 갖게 된 이유는 간단한 믿음 때문입니다. 누구나 3D로 창작할 수 있다는 것입니다. 아이들은 누가 가르쳐 주기 훨씬 전부터 블록과 점토로 무언가를 만듭니다. 사람들을 가로막는 것은 능력이 아니라 도구입니다. 전통적인 3D 제작을 하려면 대부분 한 번도 실행해 본 적 없는 소프트웨어를 수년간 배워야 합니다. 저는 그런 장벽을 없애는 제품을 만들고 싶었습니다. 그래야 일곱 살 아이도 일흔 살 할머니도 그런 교육을 받지 않고 3D로 무언가를 만들 수 있으니까요.

Ultra 4K는 텍스처 해상도가 아니라 4K 기하 해상도에 초점을 맞춥니다. 이 차이를 바로 이해하지 못할 수도 있는 크리에이터를 위해 설명해 주신다면, 생성된 표면의 실제 물리적 디테일을 높이는 일이 AI 생성 3D의 중요한 다음 과제로 떠오른 이유는 무엇인가요?

기하 구조와 텍스처는 서로 다른 역할을 합니다. 기하 구조는 에셋의 실제 표면을 정의하고, 텍스처는 시각적 외관을 표현합니다. 텍스처로 비늘이나 바느질 자국, 새긴 무늬를 나타낼 수는 있지만, 실제 기하 구조는 실루엣을 바꾸고 빛에 자연스럽게 반응하며 그림자를 드리웁니다. 또한 조각, 렌더링, 3D 프린팅 작업 과정에서도 메시의 일부로 유지됩니다.

지난 몇 년 동안 업계는 전반적인 구조와 정렬을 크게 개선해 왔습니다. 이 문제들이 완전히 해결된 것은 아니지만, 기본 성능이 향상되면서 크리에이터들은 자연스럽게 더 세밀한 부분을 살펴보게 됩니다. 이제 중요한 질문은 모델의 전체적인 형태가 올바른가에 그치지 않습니다. 갑옷에 새긴 무늬, 생물의 비늘, 끈의 바느질처럼 대상의 개성을 드러내는 디테일이 실제 기하 구조에 구현되어 있는지도 중요합니다.

크리에이터에게 이 점이 중요한 이유는 디테일이 빠질 때마다 후속 작업에서 직접 보완해야 하기 때문입니다. Ultra 4K는 초기 결과물의 품질을 높여 아티스트가 기본적인 표면 구조를 다시 만드는 데 쓰는 시간을 줄이고, 자신의 창작 목표에 맞게 에셋을 다듬는 데 더 많은 시간을 쓸 수 있도록 설계됐습니다.

Meshy는 실루엣이 깨지거나 팔다리가 추가로 생기는 등 구조적인 결함이 덜 발생하게 되면서, 더 세밀한 기하 디테일이 남은 어려운 문제 가운데 하나가 됐다고 설명합니다. 비늘, 주름, 새긴 무늬, 조각된 표면 같은 특징을 생성형 모델이 구현하기 어려운 기술적 이유는 무엇인가요?

세밀한 기하학적 특징은 전체 대상보다 훨씬 작은 규모에 있기 때문에 구현하기 어렵습니다. 모델이 용의 실루엣은 이해하더라도 비늘 하나하나의 구조는 놓칠 수 있고, 갑옷을 재현하면서 표면에 새겨진 선은 매끄럽게 지워 버릴 수도 있습니다.

2D 이미지에서 3D를 생성할 때는 본질적인 모호성도 있습니다. 색이 있는 무늬가 페인트인지, 텍스처인지, 그림자인지, 실제로 솟아오른 표면인지 이미지 만으로는 분명하지 않을 수 있습니다. 모델은 어떤 시각적 신호를 실제 기하 구조로 구현해야 할지 판단한 다음, 표면 전체에 걸쳐 그 구조를 일관되게 재구성해야 합니다.

마지막으로, 세부 표현은 전체 파이프라인을 거치는 동안 보존되어야 합니다. 고해상도 생성, 메시 추출, 단순화 과정에서는 의미 있는 특징을 살리되 이를 노이즈나 불필요하게 높은 폴리곤 밀도로 바꾸지 않아야 합니다. 단순히 표면의 변화를 늘리는 데 그치지 않고, 창작자에게 일관되고 유용한 세부 표현을 만들어 내는 것이 과제입니다.

Ultra 4K를 가능하게 한 내부적인 변화는 무엇이었나요? 가장 큰 발전은 기반 모델, 학습 데이터, 재구성 기법, 추론 파이프라인 중 어디에서 이루어졌나요, 아니면 Meshy가 3D 지오메트리를 표현하는 방식에서 비롯되었나요?

Ultra 4K는 한 가지 개별적인 변화가 아니라 지오메트리 파이프라인 전반의 개선을 통해 구현되었습니다. Meshy의 지오메트리 표현과 생성 백본을 2048³에서 4096³으로 확장한 뒤, 고정밀 메시 추출 및 단순화 기술을 결합해 추가된 해상도가 단순히 폴리곤 수를 늘리는 데 그치지 않고 의미 있는 표면 구조로 이어지도록 했습니다.

이 규모에서 모델은 수십억 개의 복셀로 이루어진 공간에서 작동합니다. 단순화 전 원본 Ultra 4K 메시에는 삼각형이 최대 8,000만 개까지 포함될 수 있으므로, 창작자가 실제로 다룰 수 있는 에셋을 만들면서도 미세한 세부 표현을 보존하려면 추출 및 단순화 단계가 매우 중요합니다.

현재 Ultra 4K는 단일 시점 생성을 지원하며, Ultra 2K는 단일 시점과 다중 시점 워크플로 모두에서 사용할 수 있습니다. Ultra 4K의 다중 시점 지원은 동일한 품질 기준을 충족한 뒤 제공될 예정입니다.

Meshy는 텍스처에 의존하지 않고 여러 스케일에서 얼마나 많은 지오메트리 구조가 보존되는지 측정하기 위해 다중 해상도 노멀 렌더링을 사용합니다. 이 평가 방식을 선택한 이유는 무엇이며, 일반적인 시각 비교나 지오메트리 벤치마크로는 놓칠 수 있는 어떤 점을 보여 주나요?

주장이 구체적으로 지오메트리에 관한 것이라면, 표면 자체를 분리해 평가할 수 있는 방법이 필요합니다. 텍스처, 재질, 조명, 후처리로 비교적 평평한 표면도 매우 세밀해 보이게 만들 수 있습니다. 반면 폴리곤 수만으로는 그 폴리곤에 의미 있는 구조가 담겨 있는지 알 수 없습니다.

상세도 풍부성 벤치마크는 고정된 화면 해상도에서 각 모델을 여러 방향에서 렌더링하고, 화면에 보이는 표면 중 픽셀 단위로 방향 변화가 나타나는 부분이 얼마나 되는지 측정합니다. 렌더링 해상도가 낮을 때는 이 지표가 더 큰 구조를 포착하고, 해상도가 높을 때는 능선, 바느질 자국, 비늘, 각인과 같은 더 미세한 특징에 민감해집니다.

또한 구조적 세부 표현은 풍부하지만 텍스처는 단순한 입력도 사용해, 색칠된 외관과 물리적 형태 사이의 모호함을 줄입니다. 이를 통해 한 가지 질문에 집중해 답할 수 있습니다. 여러 스케일에서 의미 있는 지오메트리 구조가 얼마나 보존되었는가? 이 지표는 정렬, 위상 구조, 매끄러움, 텍스처 품질, 편집 가능성을 측정하지 않으므로, 에셋 품질을 완전히 평가하는 기준이 아니라 더 폭넓은 평가 체계의 한 부분으로 제시합니다.

출시 테스트에서 Ultra 4K는 테스트한 다른 주요 시스템보다 더 많은 지오메트리 세부 표현을 구현한 것으로 나타났습니다. 한편 Meshy는 지오메트리 세부 표현과 정렬, 위상 구조, 매끄러움, 텍스처 품질, 편집 가능성을 구분해 평가합니다. 전체적인 에셋 품질을 포착하는 단일 벤치마크가 없는 상황에서 업계는 AI 생성 3D를 어떻게 평가해야 할까요?

AI 생성 3D는 각 평가 항목별로, 그리고 실제로 사용할 워크플로의 맥락에서 평가해야 한다고 생각합니다. 지오메트리 세부 표현, 이미지 정렬, 위상 구조, 표면의 매끄러움, 텍스처 품질, 편집 가능성, 생성 속도는 모두 중요하지만, 작업에 따라 그 중요도는 달라집니다. 디지털 조형의 출발점, 실시간 게임용 소품, 3D 프린팅용 모델에서 ‘최고’의 기준은 서로 같지 않습니다.

따라서 벤치마크는 무엇을 측정하는지 명확히 밝혀야 합니다. 지오메트리에 관한 주장을 평가할 때는 텍스처를 입히지 않은 렌더링이나 클레이 렌더링, 그리고 확대 검토가 필수입니다. 이미지 정렬을 평가한다면 형태와 각 부분이 참조 이미지와 일치하는지에 초점을 맞춰야 합니다. 실제 제작에 투입할 수 있는지를 평가할 때는 위상 구조, 리깅, 편집, 성능 제약도 함께 검증해야 합니다.

평가는 투명하고 재현 가능하며 시점을 명시해야 한다고도 생각합니다. 모델은 빠르게 발전하므로 벤치마크는 영구적인 순위가 아니라 특정 시점의 결과를 보여 주는 스냅샷입니다. 업계가 장기적으로 지향해야 할 목표는 창작자와 독립 연구자가 재현하고 각자의 워크플로에 맞춰 활용할 수 있는 개방형 다차원 평가 방법을 마련하는 것입니다.

Ultra 4K는 특히 디지털 조형, 시네마틱 소품, 수집용 피규어, 세밀한 캐릭터, 히어로 에셋을 겨냥한 것으로 보입니다. AI 생성 에셋을 상당한 수작업 정리 없이 Blender, ZBrush, Maya, Unreal Engine의 전문 워크플로에 바로 투입할 수 있는 수준에 얼마나 가까워졌나요?

AI 생성 에셋은 이미 전문 도구에서 유용하게 쓰이고 있지만, ‘바로 사용’할 수 있는 정도는 에셋과 워크플로에 따라 달라집니다.

콘셉트 탐색과 디자인 참고 자료, 일부 정적 에셋이나 배경 에셋의 경우 생성 모델은 아이디어에서 편집 가능한 3D 작업물에 이르는 시간을 단축할 수 있습니다. 아티스트는 빈 장면에서 시작하는 경우보다 훨씬 일찍 모델을 Blender, ZBrush, Maya, Unreal Engine으로 가져와 형태와 구도, 세부 표현을 검토할 수 있습니다.

주요 에셋, 리깅된 캐릭터, 그 밖에 높은 수준의 제작 작업이 필요한 경우에는 여전히 추가 준비가 필요한 일이 많습니다. 변형이나 실시간 처리 예산에 맞게 토폴로지를 조정해야 할 수 있고, 사용 중인 워크플로에 맞춰 머티리얼과 텍스처를 수정해야 할 수도 있습니다. 최종 아트 디렉션은 여전히 아티스트가 내리는 창의적인 결정입니다. 에셋을 손보는 데 필요한 작업량은 에셋의 종류와 사용 목적에 따라 크게 달라집니다.

Ultra 4K는 이 작업 인계 과정에서 중요한 한 부분, 즉 기하 구조의 출발점이 되는 메시의 품질을 개선합니다. 메시 자체에 주름, 각인, 비늘 등의 특징이 이미 구현되어 있으면 아티스트는 표면 구조를 다시 만드는 데 시간을 덜 들이고, 에셋을 의도한 용도에 맞게 다듬는 데 더 집중할 수 있습니다. 이는 아티스트를 작업 과정에서 배제하는 것이 아니라, 아티스트의 작업에 더 나은 기반을 제공함으로써 실제 제작에 한 걸음 더 다가가는 의미 있는 진전이라고 봅니다.

Meshy는 이제 최고 해상도를 기본값으로 삼는 대신 Standard, Ultra 2K, Ultra 4K를 제공합니다. 생성 속도, 연산 비용, 기하학적 충실도, 그리고 각 창작 작업에 실제로 필요한 품질 수준 사이의 균형을 어떻게 고려하시나요?

세 가지 모드는 단순히 좋음, 더 좋음, 가장 좋음으로 나뉘는 단계가 아니라, 서로 다른 작업 단계와 사용 목적에 맞춰 설계되었습니다.

Standard는 속도와 빠른 반복 작업에 중점을 둡니다. 초기 탐색, 구도 테스트, 화면에서 작게 보이는 에셋에 적합합니다. Ultra 2K는 단일 뷰 생성과 다중 뷰 생성을 모두 지원하며, 충실도와 유연성의 균형을 제공합니다. Ultra 4K는 조각 작업용 참고 자료, 수집용 피규어, 클로즈업 소품, 세밀한 캐릭터처럼 미세한 기하 구조가 에셋의 핵심인 경우를 위한 모드입니다.

적합한 모드는 에셋의 사용처에 따라 달라집니다. 모바일 게임의 배경 소품과 수집용 피규어는 같은 해상도나 폴리곤 예산으로 이점을 얻지 않습니다. 해상도를 높이면 더 많은 연산이 필요하므로, 중요한 질문은 “어떤 모드가 최고 사양인가?”가 아니라 “이 작업에서 어떤 모드가 눈에 띄는 가치를 더하는가?”입니다.

실용적인 워크플로에서는 Standard 또는 Ultra 2K로 주제와 구도를 탐색한 다음, 최종 결과물에 미세한 기하학적 디테일이 중요하다면 가장 유망한 후보에 Ultra 4K를 사용합니다. 이렇게 하면 반복 작업은 빠르게 진행하면서도, 제작자가 실제로 차이를 확인하고 활용할 부분에 최고 충실도의 생성을 집중할 수 있습니다.

Ultra 4K는 4096³ 기하 해상도로 작동하며, 메시를 단순화하기 전 원시 메시의 삼각형 수는 최대 8천만 개에 달할 수 있습니다. 에셋에 필요한 경우에는 이 규모가 유용하지만, 제품 설계의 원칙은 최대 연산량을 기본값으로 삼는 것이 아니라 각 작업 단계에 적합한 품질과 제어 수준을 제작자에게 제공하는 것입니다.

기하 구조가 점점 더 정교해지면서 토폴로지와 편집 가능성이 다음 주요 병목이 될까요? AI로 생성한 고도로 세밀한 모델을 전문 아티스트가 기존 제작 에셋만큼 쉽게 수정하고, 리깅하고, 애니메이션을 적용하고, 최적화할 수 있으려면 어떤 작업이 더 필요할까요?

그렇습니다. 토폴로지와 편집 가능성은 가까운 시일 내에 해결해야 할 가장 구체적인 과제에 속합니다. 전문적인 리깅을 위해서는 해부학적 구조와 관절을 따라 이어지는 엣지 흐름, 예측 가능한 방식으로 변형되는 폴리곤 밀도, 그리고 대상 엔진이나 렌더러의 제약 조건을 충족하는 메시가 필요합니다. AI 생성 메시에는 표면 디테일이 풍부하게 담길 수 있지만, 아직 이러한 제작 관례를 일관되게 구현하지는 못합니다. 여러 애니메이션 워크플로에서는 본격적으로 리깅을 시작하기 전에 아티스트가 여전히 리토폴로지 작업을 해야 합니다.

같은 문제는 편집에도 영향을 미칩니다. 밀도가 높은 생성 메시도 시각적 충실도나 조각 작업에는 훌륭할 수 있지만, 깔끔한 루프 선택, 원하는 방식으로 제어할 수 있는 절단면 추가, 비율 변경, 변형을 위한 준비 같은 작업에 적합한 구조를 갖추지 못한 경우가 있습니다. 표면을 일일이 다시 손보는 대신 설계상의 결정을 바꾸는 등, 더 높은 수준의 의미적·절차적 제어를 할 수 있다면 생성 에셋의 유연성이 크게 향상될 것입니다.

토폴로지는 리깅, 스키닝, 블렌드 셰이프, 물리 시뮬레이션보다 앞선 단계에 있으므로, 이 분야의 발전은 제작 파이프라인 전체를 개선할 수 있습니다. 서로 보완적인 접근법은 두 가지입니다. 생성 모델이 실제 제작에 적합한 기하 구조를 만들도록 학습시키는 방법과, 자동 후처리로 풍부한 메시를 작업별 토폴로지로 변환하는 방법입니다. 제작자가 원하는 시각적 디테일을 유지하면서도 실제로 사용하는 워크플로에 맞게 메시를 조정하려면 두 방법을 결합하는 것이 가장 효과적일 수 있습니다.

Ultra 4K를 넘어 생성형 3D의 다음 주요 도약은 무엇이라고 보시나요? 더 높은 기하학적 충실도, 더 나은 토폴로지, 여러 객체로 구성된 일관된 장면, 애니메이션에 바로 사용할 수 있는 에셋, 더 뛰어난 물리적 이해, 아니면 궁극적으로 완전한 인터랙티브 3D 세계를 생성할 수 있는 모델일까요?

기하학적 충실도는 계속 향상되겠지만, 다음 도약이 그것이라고 생각하지는 않습니다. 다음 도약은 사람이 손보지 않아도 실제 사용을 견디는 에셋입니다. 3D 프린팅 사용자라면 모델을 슬라이싱하고 출력했을 때 첫 시도부터 원하는 형태로 완성된다는 뜻입니다. 게임 팀이라면 토폴로지가 깔끔하고, 파츠가 적절히 구성되며, UV가 제대로 설정되어 있어 리토폴로지 작업 없이도 에셋을 리깅할 수 있다는 뜻입니다. 현재 생성 에셋은 훌륭한 출발점입니다. 그 출발점이라는 한계를 넘어서는 것이 다음 도약입니다.

그다음으로 가장 큰 변화는 모델의 기능이 하나 더 추가되는 것이 아니라, 누가 작업을 하느냐라고 생각합니다. 지금은 여전히 사람이 모델과 결과물 사이에 있습니다. 사용할 도구를 고르고, 메시를 수정하고, 출력할 수 있는지 또는 게임 엔진의 예산에 맞는지 확인합니다. 다음 단계는 처음부터 끝까지 작업을 맡는 에이전트입니다. 원하는 결과물과 그 결과물이 사용될 곳을 설명하면 시스템이 단계를 계획하고, 도구를 실행하고, 결과물이 목적에 맞는지 자체적으로 확인한 뒤, 오직 여러분이 직접 내려야 할 창의적인 결정이 있을 때만 다시 의견을 구합니다. 상호작용형 세계는 자연스러운 확장 방향이지만, 먼저 신뢰할 수 있는 에셋을 기반으로 만들어야 합니다. 우리의 사명은 모든 아이디어를 3D 현실로 구현하는 것입니다. 여기서 현실이란 사람이 출력하거나, 플레이하거나, 실제 제품으로 출시할 수 있는 것을 뜻합니다.

멋진 인터뷰에 감사드립니다. 더 자세히 알고 싶은 독자는 Meshy를 방문해 보세요.