Відновлення та редагування зображень людини за допомогою штучного інтелекту

Нова співпраця між Університетом Каліфорнії в Мерседі та Adobe пропонує новий крок у сфері відновлення зображень людини – задачу, яка широко вивчалася для цілей, таких як віртуальна спроба одягу, анімація та редагування фотографій.

Крім відновлення пошкоджених зображень або зміни їх за бажанням користувача, системи відновлення зображень людини, такі як CompleteMe, можуть накладати новий одяг (за допомогою додаткового зображення- посилання, як у середньому стовпчику цих двох прикладів) на існуючі зображення. Ці приклади взято з розширеної додаткової PDF для нової статті. Джерело: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Новий підхід, названий CompleteMe: Відновлення зображення людини на основі посилання, використовує додаткові вхідні зображення, щоб “пропонувати” системі, який вміст повинен замінити приховану або відсутню секцію зображення людини (отже, його придатність для рамок спроби одягу на основі моди):

Система CompleteMe може адаптувати вміст посилання до прихованої або закритої частини зображення людини.

Нова система використовує двійковий архітектуру U-Net і блок Увага, зосереджена на регіоні (RFA), який спрямовує ресурси на відповідну область інстансу відновлення зображення.

Дослідники також пропонують нову і складну систему оцінки для оцінки завдань відновлення на основі посилання (оскільки CompleteMe є частиною існуючої і тривалої дослідницької течії в галузі комп’ютерного зору, хоча раніше не мала схеми оцінки).

У тестах і в добре масштабованому користувацькому дослідженні новий метод вийшов вперед у більшості метрик і в цілому. У деяких випадках суперницькі методи були зовсім дезорієнтовані підходом, заснованим на посиланнях:

З додаткового матеріалу: метод AnyDoor має особливі труднощі з інтерпретацією зображення-посилання.

У статті зазначено:

‘Розширені експерименти на нашій системі оцінки демонструють, що CompleteMe перевершує методи державного рівня, як засновані на посиланнях, так і не засновані на посиланнях, за кількісними метриками, якісними результатами та користувацькими дослідженнями.

‘Зокрема, у складних сценаріях, що включають складні пози, складні узори одягу та характерні аксесуари, наш модель постійно досягає вищої візуальної вірогідності та семантичної узгодженості.’

На жаль, присутність проекту на GitHub не містить коду, ні обіцянок його появи, і ініціатива, яка також має скромну сторінку проекту, здається, позиціонується як пропрієтарна архітектура.

Додатковий приклад суб’єктивної продуктивності нової системи проти попередніх методів. Більше деталей пізніше в статті.

Метод

Фреймворк CompleteMe підтримується двійковою архітектурою U-Net, яка обробляє інтеграцію допоміжного матеріалу в процес, і згуртованою U-Net, яка забезпечує ширший спектр процесів для отримання кінцевого результату, як показано в концептуальній схемі нижче:

Концептуальна схема CompleteMe. Джерело: https://arxiv.org/pdf/2504.20042

Система спочатку кодує масковане вхідне зображення в латентне представлення. Одночасно U-Net обробляє кілька зображень-посилань – кожне з яких показує різні частини тіла – для витягування детальних просторових ознак.

Ці ознаки проходять через блок Увага, зосереджена на регіоні (RFA), вбудований у U-Net, де вони вибірково маскуються за допомогою відповідних масок регіону, забезпечуючи те, що модель звертає увагу лише на відповідні області зображень-посилань.

Масковані ознаки потім інтегруються з глобальними CLIP-похідними семантичними ознаками через декупльований крос-атенцію, що дозволяє моделі відновлювати відсутній вміст як з тонкими деталями, так і з семантичною узгодженістю.

Для підвищення реалізму та стабільності процес маскування вхідного зображення поєднує випадкові ґратчасті закриття з масками форми людського тіла, кожна з яких застосовується з рівною ймовірністю, збільшуючи складність відсутніх областей, які модель повинна відновити.

Для посилання тільки

Попередні методи відновлення зображень на основі посилання зазвичай покладалися на семантичному рівні кодувальників. Проекти цього типу включають CLIP сам по собі, і DINOv2, які витягують глобальні ознаки з зображень-посилань, але часто втрачають тонкі просторові деталі, необхідні для точного збереження ідентичності.

З випуску статті про старий підхід DINOV2, який включений у порівняльні тести нової статті: кольорові наліпи показують перші три головні компоненти з головного компонентного аналізу (PCA), застосованого до зображень-патчів у кожному стовпчику, підкреслюючи, як DINOv2 групує подібні частини об’єктів разом у різних зображеннях. Джерело: https://arxiv.org/pdf/2304.07193

CompleteMe звертається до цього аспекту через спеціалізований U-Net, ініціалізований з Stable Diffusion 1.5, але працює без шумового кроку дифузії*.

Кожне зображення-посилання, яке охоплює різні частини тіла, кодується в детальні латентні ознаки через цей U-Net. Глобальні семантичні ознаки також витягуються окремо за допомогою CLIP, і обидва набори ознак кешуються для ефективного використання під час інтеграції на основі уваги. Таким чином, система може гнучко обробляти кілька зображень-посилань, зберігаючи при цьому тонку інформацію про зовнішній вигляд.

Оркестрація

Згуртований U-Net керує кінцевими стадіями процесу відновлення. Адаптований з варианту inpainting Stable Diffusion 1.5, він приймає на вході масковане джерельне зображення у вигляді латентного представлення, поряд з детальними просторовими ознаками, витягнутими з зображень-посилань, і глобальними семантичними ознаками, витягнутими за допомогою кодувальника CLIP.

Ці різні вхідні дані об’єднуються через блок RFA, який відіграє критичну роль у спрямуванні уваги моделі на найбільш відповідні області матеріалу-посилання.

Перед входом у механізм уваги ознаки-посилання явно маскуються для видалення не пов’язаних регіонів, а потім конкатенуються з латентним представленням джерельного зображення, забезпечуючи, що увага спрямовується якомога точно.

Для підвищення цієї інтеграції CompleteMe включає декупльований механізм крос-атенції, адаптований з фреймворку IP-Adapter:

IP-Adapter, частина якого включена до CompleteMe, є одним із найбільш успішних і часто використовуваних проектів за останні три бурхливі роки розвитку архітектур моделей дифузії. Джерело: https://ip-adapter.github.io/

Це дозволяє моделі обробляти просторово детальні візуальні ознаки і ширший семантичний контекст через окремі потоки уваги, які потім об’єднуються, в результаті чого відбувається узгоджене відновлення, яке, на думку авторів, зберігає і ідентичність, і тонкі деталі.

Оцінка

У відсутності відповідної бази даних для відновлення зображень людини на основі посилання дослідники запропонували свою власну. База даних (без назви) була побудована шляхом відбору вибраних пар зображень з набору даних WPose, розробленого для проекту Adobe Research 2023 року UniHuman.

Приклади поз з проекту Adobe Research 2023 року UniHuman. Джерело: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

Дослідники вручну створили джерельні маски для позначення областей відновлення, в результаті чого отримали 417 тричастинних груп зображень, що складаються з джерельного зображення, маски та зображення-посилання.

Два приклади груп, отриманих спочатку з бази даних WPose, і потім оброблених дослідниками нової статті.

Автори використали велику мовну модель LLaVA, щоб згенерувати текстові підказки, які описують джерельні зображення.

Метрики, які використовувалися, були більш розширеними, ніж зазвичай; крім звичайного коефіцієнта пікової сигнал-шумової співвідношення (PSNR), індексу структуальної подібності (SSIM) і вченої перцептивної подібності зображень-патчів (LPIPS, у цьому випадку для оцінки маскованих регіонів), дослідники використовували DINO для оцінки подібності; DreamSim для оцінки результатів генерації; і CLIP.

Дані та тести

Для тестування роботи автори використовували як стандартну модель Stable Diffusion V1.5, так і модель inpainting 1.5. Кодувальник зображень системи використовував модель CLIP Vision, разом з проєкційними шарами – скромними нейронними мережами, які змінюють або вирівнюють виходи CLIP, щоб вони відповідали внутрішнім розмірам ознак, використовуваних моделлю.

Навчання відбувалося протягом 30 000 ітерацій на восьми графічних процесорах NVIDIA A100^†, під наглядом середньої квадратичної помилки (MSE), з розміром партії 64 і швидкістю навчання 2×10^-5. Різні елементи випадково викидалися протягом навчання, щоб запобігти надмірній спеціалізації системи на даних.

База даних була змінена з набору даних Parts to Whole, який сам заснований на наборі даних DeepFashion-MultiModal.

Приклади з набору даних Parts to Whole, використаного при створенні вибраної бази даних для CompleteMe. Джерело: https://huanngzh.github.io/Parts2Whole/

Автори заявили:

‘Для задоволення наших вимог ми перебудували тренувальні пари, використовуючи закриті зображення з кількома зображеннями-посиланнями, які захоплюють різні аспекти зовнішнього вигляду людини, разом з їх короткими текстовими мітками.

‘Кожна вибірка в наших тренувальних даних включає шість типів зовнішнього вигляду: верхня частина одягу, нижня частина одягу, весь одяг, волосся або головні убори, обличчя та взуття. Для стратегії маскування ми застосовуємо випадкове ґратчасте закриття на 50% між 1 і 30 разів, тоді як для іншої 50% ми використовуємо маску форми людського тіла, щоб збільшити складність закриття.

‘Після будівельної труби ми отримали 40 000 пар зображень для навчання.’

Суперницькі попередні безпосилальні методи, які були протестовані, були Велике відновлення закритих зображень людини (LOHC) і плагін модель inpainting BrushNet; моделі на основі посилання, які були протестовані, були Paint-by-Example; AnyDoor; LeftRefill; і MimicBrush.

Автори розпочали зі量итативного порівняння на попередніх метриках:

Результати початкового кількісного порівняння.

Відносно кількісної оцінки автори зазначають, що CompleteMe досягає найвищих балів за більшість перцептивних метрик, включаючи CLIP-I, DINO, DreamSim і LPIPS, які призначені для захоплення семантичної узгодженості та зовнішнього вигляду між виходом і зображенням-посиланням.

Однак модель не перевершує всі базові лінії в усіх аспектах. Зокрема, BrushNet набирає найвищий бал за CLIP-T, LeftRefill лідирує за SSIM і PSNR, а MimicBrush трохи перевершує за CLIP-I.

Хоча CompleteMe демонструє загалом сильні результати, різниці у продуктивності є скромними в деяких випадках, і певні метрики залишаються лідерами серед попередніх методів. Можливо, не зовсім несправедливо, автори представляють ці результати як доказ збалансованої сили CompleteMe як у структурних, так і в перцептивних вимірах.

Ілюстрації для якісних тестів, проведених у цій статті, надто численні, щоб їх тут відтворити, і ми посилаємо читача не тільки на джерельну статтю, але й на розширений додатковий PDF, який містить багато додаткових якісних прикладів.

Ми виділяємо основні якісні приклади, представлені в основній статті, разом з вибраною колекцією додаткових випадків, взятих з додаткового пула зображень, представлених раніше в цій статті:

Початкові якісні результати, представлені в основній статті. Будь ласка, зверніться до джерельної статті для кращої роздільної здатності.

Відносно якісних результатів, представлених вище, автори коментують:

‘Для маскованих входів ці безпосилальні методи генерують правдоподібний вміст для маскованих регіонів, використовуючи зображенні попередники або текстові підказки.

‘Однак, як вказано в червоному квадраті, вони не можуть відтворити конкретні деталі, такі як татуювання або унікальні узори одягу, оскільки їм бракує зображень-посилань, щоб керувати відновленням ідентичної інформації.’

Друге порівняння, частина якого показана нижче, фокусується на чотирьох методах на основі посилання: Paint-by-Example, AnyDoor, LeftRefill і MimicBrush. Тут було надано тільки одне зображення-посилання і текстова підказка.

Якісне порівняння з методами на основі посилання. CompleteMe виробляє більш реалістичні відновлення і краще зберігає конкретні деталі з зображення-посилання. Червоні квадрати виділяють області особливого інтересу.

Автори заявили:

‘Для маскованого зображення людини та зображення-посилання інші методи можуть генерувати правдоподібний вміст, але часто не можуть зберегти контекстну інформацію з посилання точно.

‘У деяких випадках вони генерують неважливий вміст або неправильно відображають відповідні частини з зображення-посилання. Натомість CompleteMe ефективно відновлює масковану область, точно зберігаючи ідентичну інформацію та правильно відображаючи відповідні частини людського тіла з зображення-посилання.’

Для оцінки того, як добре моделі відповідають сприйняттю людини, автори провели користувацьке дослідження, яке включало 15 анотаторів і 2895 пар зразків. Кожна пара порівнювала вихід CompleteMe з одним із чотирьох методів на основі посилання: Paint-by-Example, AnyDoor, LeftRefill або MimicBrush.

Анататори оцінювали кожен результат на основі візуальної якості відновленої області та ступеня збереження ідентифікаторів з зображення-посилання – і тут, оцінюючи загальну якість та ідентичність, CompleteMe отримала більш переконливий результат:

Результати користувацького дослідження.

Висновок

Якщо щось і підкреслює якісні результати в цьому дослідженні, то це їхня величезна кількість, оскільки ретельний огляд показує, що нова система є найбільш ефективним входом у цій відносно вузькій, але гостро переслідуваній області нейронної редакції зображень.

Однак, це вимагає трохи додаткової уваги та масштабування оригінального PDF, щоб оцінити, наскільки добре система адаптує матеріал-посилання до закритої області у порівнянні (几乎 у всіх випадках) з попередніми методами.

Ми сильно рекомендуємо читачеві ретельно вивчити спочатку плутаний, якщо не переповнений потік результатів, представлених у додатковому матеріалі.

* Цікаво відзначити, як тепер застарілий реліз V1.5 залишається улюбленцем дослідників – частково через спадкове тестування, але також через те, що це найменш цензурний і, можливо, найлегше тренований із усіх ітерацій Stable Diffusion, і не поділяє цензурної кульгавості відкритих релізів FOSS Flux.

^† Специфікація VRAM не вказана – це було б або 40 ГБ, або 80 ГБ на карту.

Перше опубліковано вівторок, 29 квітня 2025 року