Hannah (Linan) Zhou, член-засновниця та керівниця продуктового напряму в Meshy — серія інтерв’ю

Hannah (Linan) Zhou, член-засновниця та керівниця продуктового напряму в Meshy, — фахівчиня з розробки продуктів, яка зосереджується на створенні й масштабуванні інструментів генеративного штучного інтелекту для створення 3D-контенту. У Meshy вона допомагає формувати продуктову стратегію компанії для споживчих і корпоративних застосунків, зокрема для генерації 3D-контенту, ШІ-агентів, API для розробників і робочих процесів, призначених для інтеграції генеративного 3D у професійні творчі конвеєри. Zhou розповідала, що її робота зосереджена на створенні й масштабуванні платформи генеративного ШІ Meshy для 3D, а особливу увагу вона приділяє тому, щоб зробити технологію доступною для творців і водночас розвивати функції безпеки, співпраці, аналітики та інфраструктури, потрібні корпоративним клієнтам. Вона здобувала післядипломну освіту в Brandeis University, де вивчала машинне навчання, аналітику даних, Python, R і бізнес-аналітику.

Meshy — платформа для створення 3D-контенту на основі штучного інтелекту, розроблена, щоб значно пришвидшити й спростити створення готових до виробництва 3D-ресурсів. Платформа перетворює текстові описи, фотографії, ескізи й концепт-арти на 3D-моделі, а також пропонує текстурування й анімацію за допомогою ШІ, автоматичне створення скелета, API для розробників і можливість створювати 3D-контент у діалозі за допомогою 3D Agent. Цю технологію використовують у відеоіграх, 3D-друці, доповненій і віртуальній реальності, дизайні продуктів, освіті та інших творчих галузях. За даними Meshy, платформа має понад 12 мільйонів зареєстрованих користувачів, які створили понад 100 мільйонів моделей; її інструментами користуються команди провідних компаній у сферах технологій, відеоігор, дизайну та виробництва.

Ваша кар’єра почалася в аудиті та фінансах, а згодом ви здійснили значний перехід у технологічну галузь і стали однією із засновниць Meshy та керівницею продуктового напряму. Що спершу зацікавило вас у генеративному 3D і як аналітичний досвід вплинув на те, як ви оцінюєте, чи справді нова функція корисна, а не просто має ефектний вигляд?

Першу частину своєї кар’єри я присвятила аудиту та фінансам. Цей досвід навчив мене розглядати бізнес одночасно з кількох боків, адже за одним показником не можна зрозуміти, чи все з ним гаразд. Так я оцінюю продукти й сьогодні. Ефектна демонстрація продукту — це лише одне пройдене випробування. Перш ніж щось створювати, я хочу, щоб продукт пройшов кілька перевірок: чи приносить він реальну користь користувачеві, наскільки великий ринок для такого рішення, скільки коштуватиме його розробка й чи стоїть за ним життєздатна бізнес-модель. Багато візуально вражаючих функцій не проходять одну з цих перевірок. Ті, які варто розробляти, зазвичай проходять їх усі.

До 3D мене привело просте переконання: кожен може творити в 3D. Діти будують різні речі з кубиків і пластиліну задовго до того, як їх хтось цього навчить. Людям заважає не брак здібностей, а інструменти. Традиційне створення 3D-контенту потребує багаторічного навчання роботі з програмами, які більшість людей ніколи навіть не відкривали. Я хотіла створити продукт, що усуває цю перешкоду, щоб і семирічна дитина, і сімдесятирічна бабуся могли створювати щось у 3D без такого навчання.

Ultra 4K зосереджується саме на роздільній здатності геометрії 4K, а не текстур. Чому для творців, які можуть одразу не зрозуміти різницю, збільшення фактичної деталізації поверхні стало таким важливим напрямом розвитку генеративного 3D?

Геометрія й текстура виконують різні функції. Геометрія визначає фактичну поверхню об’єкта, а текстура описує його вигляд. Текстура може імітувати луску, шви чи гравіювання, тоді як справжня геометрія змінює силует, природно взаємодіє зі світлом, відкидає тіні й залишається частиною сітки в робочих процесах скульптингу, рендерингу та 3D-друку.

За останні кілька років галузь досягла значного прогресу у відтворенні загальної структури й вирівнюванні. Ці проблеми ще не розв’язано, але в міру поліпшення базової якості творці природно починають придивлятися до деталей. Тепер важливо не лише те, чи має модель правильну загальну форму, а й те, чи справді в геометрії присутні деталі, які надають їй характеру: гравіювання на обладунках, луска істоти чи шви на ремені.

Для творців це важливо, адже кожна відсутня деталь означає додаткову ручну роботу на наступних етапах. Ultra 4K покликана підвищити якість початкового результату, щоб художники витрачали менше часу на відновлення базової структури поверхні й більше — на вдосконалення ресурсу відповідно до власних творчих задумів.

У Meshy зазначають, що серйозні структурні дефекти, як-от порушені силуети чи зайві кінцівки, трапляються дедалі рідше, тож однією з найскладніших нерозв’язаних проблем залишається відтворення дрібних геометричних деталей. Які технічні труднощі ускладнюють для генеративних моделей створення таких елементів, як луска, складки, гравіювання та різьблені поверхні?

Дрібні геометричні деталі складно відтворити, оскільки вони набагато менші за масштабом, ніж увесь об’єкт. Модель може правильно зрозуміти силует дракона, але не відтворити структуру кожної лусочки, або відтворити обладунок, згладивши при цьому його гравійовані лінії.

Крім того, перетворення 2D-зображення на 3D за своєю природою неоднозначне. Кольоровий візерунок може бути фарбою, текстурою, тінню або фізичним рельєфом. Модель має визначити, які візуальні ознаки потрібно перетворити на справжню геометрію, а потім узгоджено відтворити ці структури на всій поверхні.

Нарешті, деталі мають зберегтися на всіх етапах конвеєра. Генерація з високою роздільністю, вилучення сітки та її спрощення мають зберігати значущі елементи, не перетворюючи їх на шум і не створюючи зайвої кількості полігонів. Завдання полягає в тому, щоб створювати цілісні й корисні для авторів деталі, а не просто додавати більше варіацій на поверхні.

Що змінилося у внутрішніх процесах, завдяки чому стала можливою Ultra 4K, і чи були найважливіші вдосконалення пов’язані з базовою моделлю, навчальними даними, методами реконструкції, конвеєром інференсу чи способом, у який Meshy представляє 3D-геометрію?

Ultra 4K стала результатом удосконалень у всьому конвеєрі обробки геометрії, а не однієї окремої зміни. Ми масштабували представлення геометрії та базову модель генерації Meshy з 2048³ до 4096³, а потім поєднали це з високоточною екстракцією та спрощенням сітки, щоб додаткова роздільність перетворювалася на значущу структуру поверхні, а не просто на більшу кількість полігонів.

На такому масштабі модель працює з простором, що містить мільярди вокселів. Необроблена сітка Ultra 4K до спрощення може містити до 80 мільйонів трикутників, тож етапи екстракції та спрощення мають вирішальне значення: вони дають змогу зберегти дрібні деталі й водночас створити об’єкт, із яким автори зможуть працювати.

Наразі Ultra 4K підтримує генерацію з одного ракурсу, тоді як Ultra 2K доступна для робочих процесів як з одним, так і з кількома ракурсами. Підтримку кількох ракурсів для Ultra 4K буде додано, щойно вона відповідатиме такому самому рівню якості.

Meshy використовує рендеринг нормалей із різною роздільністю, щоб виміряти, яка частина геометричної структури зберігається на різних масштабах, не покладаючись на текстури. Чому ви обрали цей метод оцінювання і що він дає змогу побачити такого, що можуть пропустити звичайні візуальні порівняння чи геометричні бенчмарки?

Коли йдеться саме про геометрію, нам потрібен метод оцінювання, який дає змогу аналізувати безпосередньо поверхню. Текстури, матеріали, освітлення й постобробка можуть зробити відносно пласку поверхню на вигляд дуже деталізованою, тоді як сама кількість полігонів не показує, чи утворюють вони значущу структуру.

У межах бенчмарку Detail Richness ми рендеримо кожну модель із кількох ракурсів за фіксованої роздільності екрана й вимірюємо, яка частина видимої поверхні має зміни орієнтації в межах одного пікселя. За нижчої роздільності рендерингу метрика фіксує загальнішу структуру; за вищої — стає чутливішою до дрібніших елементів, як-от виступи, шви, луска та гравіювання.

Ми також використовуємо вхідні дані з багатою структурною деталізацією, але простими текстурами, що зменшує неоднозначність між намальованим виглядом і фізичною формою. Це дає чітку відповідь на одне запитання: скільки значущої геометричної структури збереглося на різних масштабах? Цей метод не вимірює відповідність зображенню, топологію, гладкість, якість текстур чи можливість редагування, тому ми розглядаємо його як одну зі складових ширшої системи оцінювання, а не як повну міру якості об’єкта.

Під час тестування перед запуском ви з’ясували, що Ultra 4K створює більше геометричних деталей, ніж інші провідні протестовані системи, водночас Meshy чітко розмежовує геометричну деталізацію, відповідність зображенню, топологію, гладкість, якість текстур і можливість редагування. Як індустрії слід оцінювати 3D-моделі, створені ШІ, якщо жоден окремий бенчмарк не охоплює загальну якість об’єкта?

Ми вважаємо, що 3D-моделі, створені ШІ, потрібно оцінювати за окремими параметрами й з огляду на робочий процес, для якого вони призначені. Важливі всі чинники: геометрична деталізація, відповідність зображенню, топологія, гладкість поверхні, якість текстур, можливість редагування та швидкість генерації. Однак їхня важливість залежить від завдання. Початкова модель для цифрового скульптингу, ігровий об’єкт для гри в реальному часі та модель для 3D-друку мають різні критерії того, що вважати «найкращим».

Отже, бенчмарки мають чітко вказувати, що саме вони вимірюють. Для оцінювання геометрії необхідні зображення без текстур або з глиняним матеріалом, а також детальний огляд; оцінювання відповідності зображенню має зосереджуватися на тому, чи відповідають форми й деталі референсу; для визначення готовності до виробництва потрібно також перевіряти топологію, ригінг, можливість редагування та відповідність вимогам до продуктивності.

Ми також вважаємо, що оцінювання має бути прозорим, відтворюваним і містити часову позначку. Моделі швидко змінюються, тому бенчмарк є радше знімком стану на певний момент, а не постійним рейтингом. Довгостроковою метою індустрії має стати створення відкритих багатовимірних методів оцінювання, які автори й незалежні дослідники зможуть відтворювати та застосовувати відповідно до власних робочих процесів.

Схоже, Ultra 4K орієнтована насамперед на цифровий скульптинг, кінематографічний реквізит, колекційні фігурки, деталізованих персонажів і ключові об’єкти. Наскільки вже близько створені ШІ об’єкти підійшли до того, щоб безпосередньо використовувати їх у професійних робочих процесах Blender, ZBrush, Maya чи Unreal Engine без значного ручного доопрацювання?

Об’єкти, створені ШІ, уже корисні в професійних інструментах, але можливість «використовувати їх безпосередньо» залежить від самого об’єкта й робочого процесу.

Для дослідження концепцій, створення дизайнерських референсів, а також деяких статичних об’єктів і об’єктів тла згенеровані моделі можуть скоротити шлях від задуму до редагованої початкової 3D-моделі. Художники можуть імпортувати їх у Blender, ZBrush, Maya чи Unreal Engine й значно раніше почати оцінювати форму, композицію та деталізацію, ніж якби починали з порожньої сцени.

Для ключових ресурсів, персонажів зі скелетом та інших виробничих завдань із високими вимогами додаткова підготовка досі є звичним етапом. Топологію може знадобитися адаптувати для деформації або з огляду на обмеження реального часу; матеріали й текстури — налаштувати відповідно до конкретного робочого процесу; а остаточне художнє спрямування залишається творчим рішенням художника. Обсяг доопрацювань суттєво різниться залежно від ресурсу та сфери його застосування.

Ultra 4K покращує один важливий аспект передавання ресурсу в роботу — якість початкової геометрії. Якщо складки, гравіювання, луска та інші деталі вже є в сітці, художники можуть витрачати менше часу на відновлення структури поверхні й більше — на вдосконалення ресурсу для його призначення. Ми вважаємо це вагомим кроком до готовності до виробництва: не усуненням художників із процесу, а створенням кращої основи для їхньої роботи.

Тепер Meshy пропонує режими Standard, Ultra 2K і Ultra 4K замість того, щоб за замовчуванням використовувати максимальну роздільну здатність. Як ви оцінюєте компроміс між швидкістю генерації, обчислювальними витратами, точністю геометрії та рівнем якості, якого потребує конкретне творче завдання?

Три режими призначені для різних етапів роботи й способів використання ресурсів, а не є простою шкалою від «добре» до «краще» й «найкраще».

Standard орієнтований на швидкість і швидке внесення змін. Він підходить для початкового опрацювання ідей, перевірки композиції та ресурсів, які залишатимуться невеликими на екрані. Ultra 2K забезпечує баланс між точністю та гнучкістю, зокрема дає змогу генерувати моделі з одного або кількох ракурсів. Ultra 4K призначений для випадків, коли дрібна геометрична структура має вирішальне значення для ресурсу, наприклад для референсів для скульптингу, колекційних фігурок, реквізиту для великих планів або деталізованих персонажів.

Вибір залежить від того, де використовуватиметься ресурс. Для фонового об’єкта в мобільній грі й колекційної фігурки не потрібні однакова роздільна здатність і той самий бюджет полігонів. Вища роздільна здатність потребує більше обчислень, тож варто запитувати не «Який режим найпотужніший?», а «Який режим дасть помітну перевагу для цього завдання?»

Практичний робочий процес може бути таким: спершу опрацювати об’єкт і композицію в Standard або Ultra 2K, а потім використати Ultra 4K для найперспективнішого варіанта, якщо дрібні геометричні деталі важливі для кінцевого результату. Так можна швидко вносити зміни й водночас застосовувати генерацію з найвищою точністю саме там, де творці справді побачать і відчують різницю.

Ultra 4K працює з геометричною роздільною здатністю 4096³, а кількість трикутників у необроблених сітках може сягати 80 мільйонів до спрощення. Такий масштаб потрібен не завжди, але коли ресурс цього вимагає, він має значну цінність. Наш принцип у розробці продукту — надавати творцям належний рівень якості й контролю на кожному етапі, а не за замовчуванням використовувати максимум обчислювальних ресурсів.

Коли геометрія стає дедалі деталізованішою, чи стають топологія та можливість редагування наступними серйозними вузькими місцями? Що ще потрібно зробити, щоб професійні художники могли так само легко змінювати, оснащувати скелетом, анімувати й оптимізувати високодеталізовані моделі, створені ШІ, як ресурси, створені традиційними методами?

Так, топологія та можливість редагування — одні з найконкретніших найближчих викликів. Для професійного ригінгу потрібен потік ребер, що повторює анатомію та розташування суглобів, щільність полігонів, яка забезпечує передбачувану деформацію, а також сітки, що відповідають вимогам цільового рушія або засобу візуалізації. Сітки, створені ШІ, можуть мати насичену деталями поверхню, але поки що не забезпечують послідовного дотримання цих виробничих стандартів. У багатьох робочих процесах анімації художникам і досі потрібно виконати ретопологію, перш ніж повноцінно розпочати ригінг.

Ця сама проблема стосується й редагування. Щільна згенерована сітка може бути чудовою для досягнення візуальної точності або скульптингу, але її структура не завжди підходить для таких операцій, як вибір правильних петель ребер, додавання контрольованих розрізів, зміна пропорцій або підготовка до деформації. Більшу гнучкість згенерованим ресурсам забезпечив би кращий семантичний і процедурний контроль — можливість змінювати дизайнерське рішення, а не вручну переробляти поверхню.

Оскільки топологія передує ригінгу, скінінгу, блендшейпам і фізичному моделюванню, прогрес у цій сфері може вдосконалити весь виробничий процес. Є два взаємодоповнювальні шляхи: моделі генерації можуть навчитися створювати геометрію з більшим урахуванням виробничих потреб, а автоматизована постобробка — перетворювати деталізовані сітки на топологію, пристосовану до конкретного завдання. Найкраще рішення, ймовірно, поєднуватиме обидва підходи: зберігатиме потрібну творцям візуальну деталізацію й водночас адаптуватиме сітку до робочого процесу, яким вони користуються.

Якщо зазирнути далі за Ultra 4K, яким, на вашу думку, буде наступний великий рубіж у генеративному 3D: ще вища точність геометрії, краща топологія, узгоджені сцени з кількома об’єктами, ресурси, готові до анімації, краще розуміння фізичних властивостей чи, зрештою, моделі, здатні генерувати цілі інтерактивні 3D-світи?

Точність геометрії й надалі зростатиме, але, на мою думку, це не наступний рубіж. Ним стануть ресурси, придатні до реального використання без виправлень людиною. Для користувача 3D-друку це означає модель, яку можна нарізати на шари, надрукувати й отримати саме такої форми, як хотілося, з першої спроби. Для ігрової команди це означає чисту топологію, логічно розділені елементи та належну UV-розгортку, щоб ресурс можна було оснастити скелетом без попередньої ретопології. Сьогодні згенеровані ресурси — чудова відправна точка. Новим рубежем стане момент, коли вони перестануть бути лише відправною точкою.

Після цього, на мою думку, найбільша зміна полягає не в нових можливостях моделі, а в тому, хто виконує роботу. Сьогодні між моделлю та результатом досі стоїть людина: вона вибирає інструмент, виправляє сітку, перевіряє, чи можна буде надрукувати модель і чи відповідатиме вона ресурсним обмеженням рушія. Наступний крок — агент, який виконує завдання від початку до кінця. Ви описуєте, чого хочете і для чого це призначено, а система планує кроки, запускає інструменти, звіряє власний результат із поставленою метою й звертається до вас лише тоді, коли потрібно ухвалити творчі рішення, які маєте ухвалювати саме ви. Інтерактивні світи — природний наступний етап, але їх створюватимуть із ресурсів, які спершу мають стати надійними. Наша місія — перетворити кожну ідею на реальність у 3D, а реальність — це щось, що людина може надрукувати, використати в грі або випустити.

Дякуємо за чудове інтерв’ю. Читачі, які хочуть дізнатися більше, можуть відвідати Meshy.