AI를 통해 살찌는 것의 장점

새로운 AI 시스템은 얼굴, 옷, 배경을 바꾸지 않고도 사진 속 사람들의 신체를 사실적으로 재구성하여 더 뚱뚱하게, 더 마르게, 또는 더 근육질로 만들 수 있습니다. 이 시스템은 다양한 체형에 대한 각각의 정체성을 보여주는 완전 합성 데이터 세트를 기반으로 훈련되었습니다.

AI가 방법으로 점점 더 일반화됨에 따라 소셜 네트워크에서 몸매 다듬기또는 (잠재적으로) VFX 목적으로 신체 유형을 변경하는 경우 기계 학습을 사용하여 개인의 모습을 변경하면 섭식 장애가 있는 개인을 돕는 등 더 중요한 기능을 수행할 수 있습니다. 이해하다 자신의 외모에 대한 변형된 해석을 제공하는 동시에 보다 일반적인 스포츠 및 피트니스 목적을 위한 잠재적인 동기 부여 도구를 제공합니다.

'3D 아바타를 이용한 신경성 식욕부진증 여성과 건강한 대조군의 신체 크기 추정' 논문에 따르면, 체형 변화를 시각화하는 GUI가 개발되었습니다. 신체이형증 환자는 자신의 신체에 대한 현실적인 해석을 유사한 이미지와 연관 짓는 데 어려움을 겪을 수 있으며, 이는 임상의에게 이형증 반응에 대한 지표를 제공하는 등 다양한 목적으로 활용될 수 있습니다. 출처: https://www.nature.com/articles/s41598-017-15339-z.pdf

또한, 오랫동안 기다려온 패션 시착 컴퓨터 비전 연구의 하위 분야 또한 다양한 체형에 대한 정확한 시각화를 제공하는 데 관심을 가지고 있습니다. 한편, 2024년과 같은 프레임워크는 DiffBody 일본 쓰쿠바 대학에서 제공하는 기술은 이 분야에서 눈길을 끄는 몇 가지 기능을 만들어냈습니다.

이전 DiffBody 기술을 사용하여 가능한 변환 중 일부입니다. 출처: https://arxiv.org/pdf/2401.02804

AI 기초 모델은 일반적으로 매력적이거나 일반적인 체형에 최적화되어 있기 때문에 '비만'과 같은 특이한 크기는 표준 모델에서 최소한으로 제공되거나 그렇지 않은 경우 몇 가지 처벌적인 편견을 가지고 온다.

쌍의 필수품

개인의 신원, 환경 또는 옷을 변경하지 않고도 사진에 지방과 근육을 현실적으로 추가하거나 뺄 수 있는 AI 시스템을 만드는 데 있어 가장 큰 과제 중 하나는 다음과 같습니다. 페어링 훈련AI 시스템은 모델이 수행하려는 변환을 정의하는 '이전'과 '이후' 이미지를 효과적으로 학습합니다.

이러한 종류의 훈련은 Black Forest Labs의 성공으로 인해 여름에 다시 주목을 받게 되었습니다. 문맥 이러한 종류의 쌍으로 구성된 데이터를 사용하여 모델에 다양한 변환을 가르치는 일련의 이미지 편집 모델:

Flux Kontext 사이트에서 주요 변경 사항을 적용할 때 이미지 무결성을 유지할 수 있는 모델을 학습하는 데 필요한 소스 데이터 종류를 반영하는 변환의 예를 볼 수 있습니다. 출처: https://bfl.ai/models/flux-kontext

당연히 사람의 외모를 크게 바꿀 수 있는 모델을 개발하는 경우(전체 이미지를 다시 구상하지 않고도) 현실 세계에서는 전혀 불가능한 것이 필요합니다. 몇 초 간격으로 찍은 획기적인 '이전'과 '이후' 사진이 필요합니다.

유일한 해결책은 합성 데이터이러한 유형의 일부 프로젝트에서는 Photoshop에서 수동으로 만든 개별적이고 많은 노력이 필요한 대조 쌍을 사용했습니다. 그러나 이는 규모면에서 비현실적이며, 쌍을 생성하는 AI 기반 자동 또는 반자동 프로세스가 이제는 점점 더 선호되는 것으로 여겨지고 있습니다.

문제 GAN-기반 및 대부분 SMPL/X기반 접근 방식(가상 CGI 인물이 실제 이미지와 원하는 변환 간의 일종의 교환 메커니즘으로 사용되는 경우) 및 이미지 워핑을 사용하세요그 과정에서 배경과 정체성이 손상되는 경향이 있다는 것입니다.

SMPL 및 SMPL-X(및 기타)와 같은 매개 변수적 벡터 기반 CGI 모델은 컴퓨터 비전 프레임워크에 해석되고 통합될 수 있는 정의된 기존 물리적 3D 좌표를 제공합니다. 출처: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

AI가 배경을 왜곡하거나 원치 않는 다른 오류를 복제하는 법을 배우는 대신, 원하는 측면만 변경하는 법을 배우는 것이 중요하기 때문에 아직까지 어떤 신체 변형 시스템도 완벽한 해결책에 도달하지 못했습니다.

그러나 인도의 최근 논문에서는 오래된 기술을 사용하여 최첨단 기술을 주목할 만한 수준으로 발전시켰다고 제안합니다. 유량 확산 모델 프레임워크는 더 우수하고 일관된 쌍 데이터 세트를 가능하게 하는 여러 보조 접근 방식으로 보강되었습니다.

새로운 프로젝트의 데이터세트 예시입니다. 출처: https://arxiv.org/pdf/2508.13065

이 프로젝트는 새롭고 광범위한 쌍으로 구성된 데이터 세트로 구성됩니다. 오도이 데이터를 기반으로 학습된 생성 확산 모델과 인간의 형태 편집 성능을 정량적으로 평가하도록 설계된 새로운 벤치마크를 개발했습니다. 저자들은 테스트 결과, 유사한 비교 모델들이 달성한 표준보다 눈에 띄는 발전을 이루었다고 주장합니다.

The 새 용지 제목이 오도: 정체성을 보존하는 신체 재형성을 위한 깊이 기반 확산이는 방갈로르에 있는 Fast Code AI Pvt. Ltd의 연구원 3명이 내놓은 것입니다.

데이터 및 방법

연구자들이 만든 데이터 세트에는 각 대상 신체 유형에 대한 고해상도(7,615x960px) 이미지 1280개가 포함되어 있습니다.지방, 얇은및 근육의).

처음에는 1,523개의 인간 얼굴이 생성되었습니다. FLUX.1-dev Pexels와 Unsplash에서 라이센스가 없는 참조 얼굴을 일정 수만큼 활용하여 다양성을 높이기 위해 12억 개의 매개변수 확산 모델을 사용했습니다.

이러한 얼굴을 통합한 전신 이미지를 생성하기 위해 연구원들은 ByteDance의 2024년 제안을 사용했습니다. 풀라이드, 기본 Flux에 대해 미세 조정된 체크포인트이며 다음을 제공합니다. 대조 ID 손실 변형 과정 동안 얼굴의 정체성을 보존하도록 설계되었습니다.

PuLID 프로젝트의 예. 출처: https://arxiv.org/pdf/2404.16022

모델은 얼굴 이미지와 표준화된 프롬프트를 받았습니다. 성별, 의류, 포즈를 취하게하다, 장면, 신체 유형뿐만 아니라 얇은, 지방및 근육의.

각 정체성에 대한 세 가지 신체 유형 이미지는 때때로 배경 정렬과 인식된 주제 크기에 약간의 변화를 보였습니다. 확률 론적 각 세대가 새로운 세대에서 시작하는 확산 모델의 동작 소음 씨. 신체 유형 설명을 수정하는 것과 같이 프롬프트에 약간의 변경이 있어도 모델의 궤적에 영향을 미칠 수 있습니다. 잠재 공간, 시각적 표류를 유발합니다.

이 변화를 수정하기 위해 4단계 자동 후처리 파이프라인이 적용되었습니다. 얇은 더 작은 실루엣으로 인해 배경이 더 많이 노출되므로, 각 삼중 이미지 중 하나를 참조 이미지로 선택했습니다.

사람 감지는 다음을 사용하여 수행되었습니다. RT-DETRv2, 이어서 세분화가 이어짐 SAM 2.1 세 가지 신체 유형 모두에 대한 대상 마스크를 추출합니다. 얇은 그런 다음 참조 이미지를 FLUX.1 Kontext Pro(최신 이미지 편집 시스템)로 전달하여 배경을 인페인팅하고, 피사체를 제거한 깨끗한 버전의 장면을 만들었습니다.

The 지방 그리고 근육의 변형된 이미지는 얇은 참조 마스크의 높이에 맞게 균일한 크기 조정을 사용하여 크기가 조정되었으며, 동일한 하단 정렬로 깨끗한 배경에 합성되어 모든 이미지에서 일관된 프레이밍이 보장되었습니다.

저자는 다음과 같이 말합니다.

'결과적으로 나타나는 변형 세 쌍(마른 체형, 뚱뚱한 체형, 근육질 체형)은 동일한 배경과 균일한 피험자 척도를 갖습니다. 이는 후속 훈련이나 평가에 부정적인 영향을 미칠 수 있는 관련 없는 변이를 제거합니다.'

마른 체형, 뚱뚱한 체형, 근육질 체형의 세 쌍의 이미지에는 가능한 변형 쌍이 45,690개씩 있으며, 그 결과 7,615개의 정체성에 걸쳐 XNUMX개의 이론적 조합이 생겨났습니다.

옷차림이 어울리지 않거나, 자세가 부자연스럽거나, 팔다리가 뒤틀리거나, 정체성이 흐트러지거나, 형태 변화가 미미한 사례들을 걸러낸 후, 18,573개의 고품질 쌍이 유지되었습니다. 약간의 자세 차이는 남아 있었지만, 이 모델은 이러한 변화에도 견고함을 입증했습니다.

훈련 및 테스트

결과 이미지는 Skinned Multi-Person Linear Model(SMPL즉, 중간 CGI 맵입니다.

2024년까지 알려짐 신경 국소화기 방법을 사용하면 데이터는 개인별로 SMPL 수치에 맞춰 조정되었으며, 그 결과 최적화된 매개변수가 생성될 수 있습니다. 깊이 지도 변경된 이미지가 파생되는 곳:

학습 파이프라인 스키마. 왼쪽은 학습 설정을 보여줍니다. 대상 이미지의 SMPL 깊이 맵이 ControlNet을 통해 ReshapeNet을 안내하여 신체 변환을 수행합니다. 원본 이미지의 특징은 ReferenceNet에서 추출되고 공간 자기 주의(spatial self-attention)를 사용하여 ReshapeNet에 병합됩니다. 오른쪽은 추론을 보여줍니다. 입력 이미지에서 SMPL 매개변수를 추정하고, 의미적 속성으로 수정한 후, 노이즈 제거 과정에서 ReshapeNet에 영향을 미치는 대상 깊이 맵으로 렌더링하여 최종 변환된 이미지를 생성합니다.

모델(위의 스키마 참조)은 다음으로 구성됩니다. 리셰이프넷 모듈은 ReferenceNet을 포함한 3개의 보조 모듈로 지원됩니다. IP 어댑터 모듈; 그리고 깊이 기반 ControlNet 기준 치수.

ReferenceNet은 입력 이미지에서 배경, 옷차림, 신원과 같은 세부적인 특징을 추출하여 ReshapeNet으로 전달합니다. IP-Adapter는 고수준 특징 가이드를 제공하고, Depth ControlNet은 SMPL 기반 컨디셔닝을 적용하여 신체 변형을 안내합니다. 너무 이른 일, SDXL기반 겨울 왕국 유넷 중간 특징을 추출하는 데 사용되었습니다.

IP-Adapter 모듈의 경우 입력 이미지를 다음을 통해 인코딩합니다. 쥐다, 그 결과 임베딩 ReshapeNet을 통해 다시 통합됨 교차주의.

Depth ControlNet 모듈의 경우 이는 ReshapeNet의 중간 및 디코더 계층을 안내합니다. 잔여 연결그런 다음 대상 SMPL 매개변수에서 렌더링된 깊이 맵을 가져와 대상 이미지에 맞춥니다.

SDXL UNet을 기반으로 하는 ReshapeNet은 Odo의 핵심 네트워크입니다. 학습 과정에서 대상 이미지는 잠재 공간에 인코딩됩니다. 변형 자동 인코더시간이 지남에 따라 노이즈가 발생하고, ControlNet과 ReferenceNet의 기능을 사용하여 ReshapeNet으로 노이즈가 제거되었습니다.

'사람을 더 뚱뚱하게 만들어 주세요', '사람을 더 날씬하게 만들어 주세요', '사람을 근육질로 만들어 주세요'와 같은 범주별 텍스트 프롬프트를 추가하여 변형 과정을 안내했습니다. 깊이 맵은 거친 체형을 포착하는 반면, 프롬프트는 근육 정의와 같은 변경에 필요한 의미적 세부 정보를 제공하여 모델이 더욱 정확하고 사실적인 수정을 수행할 수 있도록 했습니다.

교육 구현

Odo는 프로젝트의 합성 데이터 세트에 대해 훈련을 받았으며 이는 하위 세트와 결합되었습니다. 딥패션-멀티모달 데이터 세트를 통해 총 20,000개의 이미지 쌍이 생성되었습니다.

DeepFashion-MultiModal 데이터는 다양한 의상과 얼굴 특징을 제공했으며, 학습 과정에서 이미지들을 서로 비교했습니다. 효율성을 위해 모든 SMPL 깊이 맵을 미리 계산하여 학습을 60초 동안 진행했습니다. 신기원 100GB VRAM이 장착된 단일 NVIDIA A80 GPU에서.

입력 이미지가 768×1024로 조정되면 아담 최적화 프로그램이 사용되었습니다. 학습률 1×10⁻⁵의 ReshapeNet은 SDXL UNet 가중치로 초기화되었으며 조율이 잘되어있는 IP 어댑터와 함께 체크포인트에서 공동으로 작업합니다.

ReferenceNet은 SDXL 가중치로 초기화되고 동결된 반면, Depth ControlNet도 사전 학습된 가중치를 사용하고 동결된 상태를 유지했습니다.

최종 모델에는 약 23GB의 GPU 메모리가 필요했고, 단일 이미지 추론에 18초가 걸렸습니다.

새로운 지표

이러한 유형의 프로젝트에 필요한 데이터세트가 부족하여 기존 지표로는 이 과제를 제대로 해결할 수 없었습니다. 따라서 저자들은 실제 얼굴 이미지와 배경 묘사, 그리고 다양한 체형 변화를 담은 3,600개의 이미지 쌍으로 구성된 새로운 벤치마크를 고안했습니다.

사용된 다른 측정항목은 구조적 유사성 지수(씨심); 피크 신호 ​​대 잡음 비율 (PSNR); 학습된 지각 이미지 패치 유사성(립스); 및 중립(T-) 포즈에서 수정된 정점당 유클리드 오차 크기 조정(PVE-T-SC).

먼저, 저자는 실제 이미지(훈련 중에 모델이 보지 못한 이미지)를 대상으로 자신의 방법을 정성적으로 테스트했습니다.

정성적 테스트입니다. 예시는 앉은 자세와 서 있는 자세를 포함한 다양한 자세에서 원본 이미지를 마른 체형, 과체중 체형, 근육질 체형으로 변환하는 과정을 보여줍니다. 더 자세한 정의와 내용은 원본 논문을 참조하십시오.

이러한 결과에 대해 논문은 다음과 같이 기술합니다.

'[저희의] 방법은 개인의 정체성을 보존하면서 다양한 포즈, 배경, 의상을 효과적으로 처리합니다.

'SMPL 타겟 모양 외에도 '사람을 더 뚱뚱하게 만들어라', '사람을 더 날씬하게 만들어라', '사람을 근육질로 만들어라'와 같은 텍스트 프롬프트를 제공하여 원하는 변형을 명확하게 안내합니다...

…[아래 이미지]는 다양한 형태 변환을 수행하는 저희 모델의 역량을 더욱 잘 보여줍니다. 이 모델은 SMPL 깊이 맵을 정확하게 따라가 참조 이미지에서 더 얇고 더 두꺼운 다양한 변형을 생성합니다.

다양한 대상 체형을 포괄하는 추가적인 정성적 테스트입니다. 더 자세한 정의와 내용은 원문을 참조하십시오.

저자들은 또한 다음과 같이 논평합니다.

'저희의 결과는 목표 체중에 따라 더욱 현실적인 변형이 가능하다는 것을 보여줍니다. 저희 모델은 전반적인 신체 모양, 사지 비율, 의복을 동시에 조정하여 해부학적으로 일관되고 시각적으로 설득력 있는 변형을 만들어냅니다.'

정량적 테스트를 위해 저자는 자신의 시스템을 오픈 소스 Flux Kontext [dev] 모델인 FLUX.1 및 2022와 비교했습니다. 제공 인체 재구성을 위한 구조 인식 흐름 생성.

FLUX.1 Kontext[dev]의 경우, '사람을 더 뚱뚱하게 만들어라', '사람을 더 날씬하게 만들어라', '사람을 근육질로 만들어라'와 같은 명령을 지시하도록 프롬프트가 설계되었으며, 목표 체중이 지정되어 있었습니다. 하지만 세부적인 제어가 부족하여 성능이 제한되었습니다.

구조 인식 흐름 생성을 통한 Odo와 인체 재형성을 위한 FLUX.1 Kontext[dev]를 테스트 세트에 비교하고, ReshapeNet에서 프롬프트 컨디셔닝 없이 학습한 모델, ReferenceNet 없이(IP-Adapter만 사용), BR-5K 데이터 세트로 제한된 학습을 통해 학습한 모델에 대한 절제 결과(이 문서에서는 다루지 않음)를 비교합니다.

결론

올해 Flux Kontext가 출시되었고, 최근에는 양자화되지 않은 가중치가 출시되었습니다. Qwen 이미지 편집, 짝을 이룬 이미지 데이터를 취미 및 전문가 커뮤니티의 주요 관심사로 다시 끌어올렸습니다. 생성 AI의 부정확성에 대한 비판과 조급함이 커지는 분위기 속에서, 이러한 유형의 모델은 입력 소스 이미지에 대한 훨씬 더 높은 충실도를 유지하도록 설계되었습니다(하지만 소규모 모델은 매우 구체적인 훈련 목표 때문에 어려움을 겪는 경우가 있습니다).

이 경우, 체형 교정 시스템의 효용성은 심리학, 의학, 그리고 패션 분야에 있는 것으로 보입니다. 그럼에도 불구하고, 이러한 시스템이 더 큰 주목을 받고, 어쩌면 더 일상적이고 심지어 우려스러운 용도로 활용될 가능성도 여전히 남아 있습니다.

25년 2025월 XNUMX일 월요일에 처음 게시됨