Ханна (Линань) Чжоу, соучредитель и руководитель продуктового направления Meshy — серия интервью

Ханна (Линань) Чжоу, соучредитель и руководитель продуктового направления Meshy, занимается разработкой и масштабированием инструментов генеративного ИИ для создания 3D-контента. В Meshy она участвует в формировании продуктовой стратегии компании для потребительского и корпоративного сегментов, в том числе в сферах генерации 3D-моделей, ИИ-агентов, API для разработчиков и рабочих процессов, позволяющих интегрировать генеративные 3D-технологии в профессиональные творческие процессы. По словам Чжоу, её работа сосредоточена на разработке и масштабировании платформы Meshy для генеративного ИИ в сфере 3D, причём особое внимание уделяется доступности технологии для авторов, а также созданию функций безопасности, совместной работы и аналитики и необходимой корпоративным клиентам инфраструктуры. Она также училась в магистратуре Brandeis University, где изучала машинное обучение, аналитику данных, Python, R и бизнес-аналитику.

Meshy — платформа для создания 3D-контента на базе ИИ, призванная значительно ускорить и упростить создание готовых к производству 3D-ресурсов. Она преобразует текстовые описания, фотографии, эскизы и концепт-арт в 3D-модели, а также предлагает текстурирование с помощью ИИ, анимацию, автоматическую настройку скелета, API для разработчиков и создание 3D-моделей в диалоговом режиме с помощью 3D Agent. Технологии платформы применяются в игровой индустрии, 3D-печати, дополненной и виртуальной реальности, дизайне продуктов, образовании и других творческих отраслях. По данным Meshy, у платформы более 12 миллионов зарегистрированных пользователей, которые создали свыше 100 миллионов моделей; её инструменты используют команды крупных компаний в сфере технологий, игровой индустрии, дизайна и производства.

Вы начали карьеру в аудите и финансах, а затем совершили большой переход в сферу технологий и стали соучредителем Meshy и руководителем продуктового направления. Что изначально привлекло вас в генеративных 3D-технологиях и как аналитический опыт повлиял на ваш подход к оценке того, действительно ли новая функция полезна, а не просто эффектно выглядит?

В начале карьеры я занималась аудитом и финансами. Этот опыт научил меня оценивать бизнес сразу с нескольких сторон, потому что ни один показатель сам по себе не говорит о том, насколько дела идут хорошо. Сегодня я применяю тот же подход к оценке продукта. Впечатляющая демонстрация — это лишь одна пройденная проверка. Прежде чем создавать что-то новое, я хочу убедиться, что оно проходит несколько проверок: приносит ли реальную пользу пользователю, насколько велик рынок для этого решения, сколько стоит его предоставить и лежит ли в его основе жизнеспособная бизнес-модель. Многие функции, эффектно выглядящие на экране, не проходят одну из этих проверок. Функции, которые стоит создавать, как правило, проходят их все.

Меня привлекла сфера 3D, потому что я верю: создавать в 3D может каждый. Дети строят из кубиков и лепят из пластилина задолго до того, как их кто-либо этому научит. Людей останавливает не отсутствие способностей, а инструменты. Для традиционного 3D-моделирования нужны годы обучения работе в программах, которые большинство людей даже не открывало. Я хотела создать продукт, который устранит этот барьер, чтобы и семилетний ребёнок, и семидесятилетняя бабушка могли создавать что-то в 3D без такой подготовки.

Ultra 4K повышает именно геометрическое разрешение до уровня 4K, а не разрешение текстур. Почему, на ваш взгляд, увеличение детализации самой поверхности стало такой важной новой целью для генеративных 3D-моделей, особенно если создатели могут не сразу понять разницу между геометрией и текстурой?

Геометрия и текстура выполняют разные задачи. Геометрия задаёт форму самой поверхности объекта, а текстура описывает его визуальный вид. Текстура может создавать впечатление чешуи, строчки или гравировки, но настоящая геометрия меняет силуэт, естественно реагирует на свет, отбрасывает тени и сохраняется в составе сетки при скульптинге, рендеринге и 3D-печати.

За последние несколько лет отрасль добилась значительного прогресса в передаче общей структуры и выравнивании. Эти задачи ещё не решены, но по мере повышения базового качества создатели естественным образом начинают внимательнее рассматривать детали. Теперь важно не только то, правильную ли общую форму имеет модель, но и присутствуют ли в геометрии детали, придающие объекту характер: гравировка на доспехах, чешуя существа или строчка на ремне.

Для создателей это важно, потому что каждая недостающая деталь означает дополнительную ручную работу на следующих этапах. Ultra 4K призвана повысить качество исходной модели, чтобы художники тратили меньше времени на восстановление базовой структуры поверхности и больше — на доработку объекта в соответствии со своими творческими задачами.

По утверждению Meshy, серьёзные структурные ошибки, такие как нарушенный силуэт или лишние конечности, встречаются реже, поэтому одной из наиболее сложных нерешённых задач остаётся передача мелких геометрических деталей. Какие технические трудности мешают генеративным моделям точно создавать такие элементы, как чешуя, складки, гравировка и резной рельеф?

Мелкие геометрические детали трудно создавать, потому что они намного меньше самого объекта. Модель может правильно передать силуэт дракона, но при этом не воспроизвести структуру каждой чешуйки, или создать доспехи, сгладив нанесённые на них гравированные линии.

Кроме того, при создании 3D-модели по 2D-изображению возникает неоднозначность. Цветной узор может обозначать краску, текстуру, тень или физический рельеф. Модель должна определить, какие визуальные признаки следует преобразовать в настоящую геометрию, а затем последовательно воссоздать эти структуры по всей поверхности.

Наконец, детали должны сохраняться на всех этапах конвейера. Генерация в высоком разрешении, извлечение сетки и её упрощение должны сохранять значимые элементы, не превращая их в шум и не создавая избыточную плотность полигонов. Задача — получать детали, которые выглядят цельно и полезны создателям, а не просто увеличивают разнообразие поверхности.

Какие изменения на уровне внутренних процессов сделали возможным Ultra 4K и были ли главные достижения связаны с базовой моделью, обучающими данными, методами реконструкции, конвейером инференса или способом представления 3D-геометрии в Meshy?

Ultra 4K стал возможен благодаря улучшениям во всём конвейере обработки геометрии, а не одному отдельному изменению. Мы увеличили разрешение представления геометрии и генерационного базового модуля Meshy с 2048³ до 4096³, а затем дополнили это высокоточным извлечением сетки и её упрощением. Благодаря этому дополнительное разрешение преобразуется в значимую структуру поверхности, а не просто в большее количество полигонов.

При таком масштабе модель работает в пространстве, содержащем миллиарды вокселей. Необработанная сетка Ultra 4K может включать до 80 миллионов треугольников до упрощения, поэтому этапы извлечения и упрощения крайне важны: они позволяют сохранить мелкие детали и при этом получить ресурс, с которым создателям удобно работать.

Сейчас Ultra 4K поддерживает генерацию по одному ракурсу, тогда как Ultra 2K доступен для сценариев как с одним, так и с несколькими ракурсами. Поддержка нескольких ракурсов в Ultra 4K появится позже, когда качество достигнет того же уровня.

Meshy использует многомасштабный рендеринг нормалей, чтобы измерить, сколько геометрической структуры сохраняется на разных масштабах, не опираясь на текстуры. Почему вы выбрали этот метод оценки и что он позволяет увидеть такого, что может ускользнуть при обычном визуальном сравнении или использовании геометрических бенчмарков?

Когда речь идёт именно о геометрии, нам нужен метод оценки, который позволяет изолированно рассматривать саму поверхность. Текстуры, материалы, освещение и постобработка могут создать впечатление высокой детализации даже у относительно плоской поверхности, а одно лишь количество полигонов не показывает, содержат ли они значимую структуру.

В рамках нашего бенчмарка «Насыщенность деталями» каждая модель визуализируется с нескольких ракурсов при фиксированных разрешениях экрана, после чего измеряется, какая часть видимой поверхности содержит изменения ориентации в пределах пикселя. При низком разрешении рендеринга метрика отражает более крупные элементы структуры; при высоком она становится чувствительна к мелким деталям, таким как гребни, швы, чешуйки и гравировка.

Мы также используем входные данные с богатой структурной детализацией, но простыми текстурами, что уменьшает неоднозначность между нарисованным внешним видом и физической формой. Это позволяет получить точный ответ на один вопрос: сколько значимой геометрической структуры сохранилось на разных масштабах? Метрика не оценивает соответствие изображению, топологию, гладкость, качество текстур или возможность редактирования, поэтому мы рассматриваем её как часть более широкой системы оценки, а не как исчерпывающую меру качества ресурса.

В ходе тестирования перед запуском вы выяснили, что Ultra 4K создаёт больше геометрических деталей, чем другие проверенные ведущие системы, при этом Meshy чётко отделяет геометрическую детализацию от соответствия изображению, топологии, гладкости, качества текстур и возможности редактирования. Как отрасли следует оценивать 3D-модели, созданные ИИ, если ни один отдельный бенчмарк не охватывает общее качество ресурса?

Мы считаем, что 3D-модели, созданные ИИ, нужно оценивать по каждому параметру отдельно и с учётом предполагаемого сценария использования. Геометрическая детализация, соответствие изображению, топология, гладкость поверхности, качество текстур, возможность редактирования и скорость генерации — всё это важно, но значимость каждого параметра зависит от задачи. У заготовки для цифровой скульптуры, игрового объекта для работы в реальном времени и модели для 3D-печати разные критерии «лучшего» результата.

Это значит, что в бенчмарках должно быть чётко указано, что именно они измеряют. Для оценки геометрии необходимы рендеры без текстур или с материалом, имитирующим глину, а также осмотр крупным планом; при оценке соответствия изображению нужно проверять, насколько формы и детали совпадают с образцом; а для оценки готовности к производству необходимо проверять также топологию, риггинг, возможность редактирования и ограничения по производительности.

Мы также считаем, что оценка должна быть прозрачной, воспроизводимой и сопровождаться отметкой времени. Модели быстро развиваются, поэтому бенчмарк — это срез на определённый момент, а не постоянный рейтинг. Долгосрочная цель отрасли должна заключаться в создании открытых многомерных методов оценки, которые создатели и независимые исследователи смогут воспроизводить и применять в соответствии со своими рабочими процессами.

Похоже, Ultra 4K особенно рассчитан на цифровую скульптуру, кинематографические объекты, коллекционные фигурки, детализированных персонажей и ключевые ресурсы. Насколько модели, созданные ИИ, уже готовы к тому, чтобы напрямую использовать их в профессиональных рабочих процессах в Blender, ZBrush, Maya или Unreal Engine без существенной ручной доработки?

Модели, созданные ИИ, уже полезны в профессиональных инструментах, однако возможность «использовать их напрямую» зависит от конкретного ресурса и рабочего процесса.

При проработке концепций, создании визуальных ориентиров и некоторых статичных или фоновых объектов сгенерированные модели сокращают путь от идеи до редактируемой 3D-заготовки. Художники могут импортировать их в Blender, ZBrush, Maya или Unreal Engine и гораздо раньше приступить к оценке формы, композиции и деталей, чем если бы начинали с пустой сцены.

Для ключевых ассетов, персонажей с ригом и других ресурсоёмких производственных задач дополнительная подготовка по-прежнему требуется довольно часто. Топологию может понадобиться адаптировать для деформации или с учётом ограничений производительности в реальном времени; материалы и текстуры — настроить под конкретный рабочий процесс; а окончательное художественное решение остаётся за художником. Объём доработки существенно различается в зависимости от ассета и того, где он будет использоваться.

Ultra 4K улучшает один важный аспект передачи модели в дальнейшую работу: качество исходной геометрии. Если складки, гравировка, чешуя и другие особенности уже заложены в сетку, художники могут тратить меньше времени на восстановление структуры поверхности и больше — на доработку ассета с учётом его назначения. Мы считаем это заметным шагом к готовности моделей к производству — не устранением художников из рабочего процесса, а созданием более качественной основы для их работы.

Теперь Meshy предлагает режимы Standard, Ultra 2K и Ultra 4K, вместо того чтобы устанавливать максимальное разрешение по умолчанию. Как вы оцениваете компромисс между скоростью генерации, вычислительными затратами, точностью геометрии и уровнем качества, который действительно необходим для конкретной творческой задачи?

Эти три режима рассчитаны на разные этапы работы и способы использования, а не представляют собой простую линейку «хороший — лучше — лучший».

Standard ориентирован на скорость и быстрые итерации. Он подходит для первоначального изучения идеи, проверки композиции и ассетов, которые останутся небольшими на экране. Ultra 2K сочетает точность и гибкость: в этом режиме доступны генерация по одному и нескольким ракурсам. Ultra 4K предназначен для случаев, когда для ассета особенно важна геометрическая детализация на мелком уровне, например для скульптурных референсов, коллекционных фигурок, реквизита для крупных планов или детализированных персонажей.

Выбор зависит от того, где будет использоваться ассет. Фоновый объект для мобильной игры и коллекционная фигурка не выигрывают от одинакового разрешения или бюджета полигонов. Более высокое разрешение требует больше вычислительных ресурсов, поэтому полезнее спрашивать не «Какой режим максимальный?», а «Какой режим даст заметное преимущество именно для этой задачи?»

Практичный рабочий процесс — изучить объект и композицию в Standard или Ultra 2K, а затем использовать Ultra 4K для наиболее перспективного варианта, если для итогового результата важны мелкие геометрические детали. Так можно быстро перебирать варианты и при этом применять генерацию с максимальной точностью только там, где создатели действительно увидят и оценят разницу.

Ultra 4K работает с разрешением геометрии 4096³, а количество треугольников в исходных сетках может достигать 80 миллионов до упрощения. Такая детализация полезна, когда этого требует ассет, однако наш принцип при разработке продукта — предоставлять создателям подходящий уровень качества и контроля на каждом этапе, а не делать максимальные вычислительные затраты настройкой по умолчанию.

По мере роста детализации геометрии становятся ли топология и возможность редактирования следующими серьёзными узкими местами? Что ещё предстоит сделать, прежде чем профессиональные художники смогут так же легко изменять, оснащать ригом, анимировать и оптимизировать высокодетализированные модели, созданные ИИ, как традиционно созданные ассеты?

Да, топология и возможность редактирования — одни из наиболее конкретных ближайших задач. Для профессионального риггинга нужны потоки рёбер, повторяющие анатомию и расположение суставов, плотность полигонов, обеспечивающая предсказуемую деформацию, и сетки, соответствующие ограничениям целевого движка или рендерера. Сетки, созданные ИИ, могут содержать богатую детализацию поверхности, но пока не обеспечивают стабильного соответствия этим требованиям производства. Во многих рабочих процессах анимации художникам по-прежнему нужно сначала выполнить ретопологию, и только после этого можно всерьёз приступать к риггингу.

Та же проблема возникает при редактировании. Плотная сгенерированная сетка может отлично подходить для высокой визуальной точности или скульптинга, но её структура не всегда позволяет удобно выполнять такие операции, как выделение ровных петель рёбер, добавление контролируемых разрезов, изменение пропорций или подготовка к деформации. Более развитое семантическое и процедурное управление — возможность менять решения о дизайне, а не вручную переделывать поверхность, — сделало бы сгенерированные ассеты значительно гибче.

Поскольку топология предшествует риггингу, скиннингу, морф-таргетам и физическому моделированию, прогресс в этой области мог бы улучшить весь производственный конвейер. Есть два взаимодополняющих пути: модели генерации могут научиться создавать геометрию с учётом требований производства, а автоматическая постобработка — преобразовывать детализированные сетки в топологию, подходящую для конкретной задачи. Наиболее эффективное решение, возможно, объединит оба подхода: сохранит нужную создателям визуальную детализацию и одновременно адаптирует сетку к используемому ими рабочему процессу.

Если смотреть дальше Ultra 4K, каким, по-вашему, будет следующий важный рубеж в генеративном 3D: ещё более высокая точность геометрии, более качественная топология, согласованные сцены с несколькими объектами, ассеты, готовые к анимации, лучшее понимание физических свойств или, в перспективе, модели, способные создавать целые интерактивные трёхмерные миры?

Точность геометрии и дальше будет расти, но, на мой взгляд, это не следующий рубеж. Им станут ассеты, которые выдерживают реальное использование и не требуют исправлений человеком. Для пользователя 3D-печати это означает модель, которую можно сразу обработать в слайсере и напечатать так, чтобы результат с первой попытки имел нужную форму. Для игровой команды — чистую топологию, продуманное разделение на части и корректную UV-развёртку, благодаря которым ассет можно оснастить ригом без предварительной ретопологии. Сегодня сгенерированные ассеты — отличная отправная точка. Следующий рубеж — когда они перестанут быть лишь отправной точкой.

После этого, на мой взгляд, главное изменение связано не с новыми возможностями модели, а с тем, кто выполняет работу. Сейчас между моделью и результатом по-прежнему стоит человек: он выбирает инструмент, исправляет сетку и проверяет, можно ли напечатать модель или вписать её в бюджет игрового движка. Следующий шаг — агент, который выполняет задачу от начала до конца. Вы описываете, что хотите получить и где это будет использоваться, а система планирует этапы, запускает инструменты, проверяет результат на соответствие цели и возвращается к вам только за теми творческими решениями, которые остаются за вами. Интерактивные миры — естественное продолжение этого пути, но их можно будет создавать лишь на основе ассетов, которые сначала должны стать надёжными. Наша миссия — воплощать любую идею в 3D, а реальность означает нечто такое, что человек может распечатать, использовать в игре или выпустить.

Спасибо за интересное интервью! Читателям, которые хотят узнать больше, рекомендуем посетить Meshy.