모델 버전 업그레이드를 견뎌낼 수 있는 LoRA를 향해

내 이후 최근 보도 취미가 있는 Hunyuan Video LoRA(소형)의 성장 훈련된 파일 수십억 개의 매개변수로 구성된 텍스트-비디오 및 이미지-비디오 기반 모델에 맞춤형 개성을 주입할 수 있는 기능을 통해 Civit 커뮤니티에서 사용 가능한 관련 LoRA의 수가 185% 증가했습니다.

Hunyuan Video LoRA를 만드는 데 특별히 쉽거나 노력이 적게 드는 방법은 없다는 사실에도 불구하고 Civit의 유명인과 테마별 LoRA 카탈로그는 날로 늘어나고 있습니다. 출처: https://civitai.com/

Hunyuan Video(HV)를 위한 이러한 '추가 개성'을 제작하는 방법을 배우기 위해 애쓰고 있는 동일한 커뮤니티도 궤양을 일으키는 약속된 석방을 위해 이미지-비디오 Hunyuan Video의 (I2V) 기능.

오픈 소스 인간 이미지 합성과 관련하여 이는 큰 변화입니다. Hunyuan LoRA의 성장과 결합하면 사용자가 비디오가 발전함에 따라 자신의 정체성을 침식하지 않는 방식으로 사람 사진을 비디오로 변환할 수 있습니다. 이는 현재 Kling, Kaiber 및 널리 알려진 RunwayML을 포함한 모든 최첨단 이미지-비디오 생성기에서 그렇습니다.

클릭하여 재생합니다. RunwayML의 최첨단 Gen 3 Turbo 모델에서 이미지-비디오 변환 기능을 제공합니다. 하지만 모든 유사 모델 및 하위 경쟁 모델과 마찬가지로, 피사체가 카메라에서 시선을 돌리면 일관된 정체성을 유지할 수 없으며, 시작 이미지의 뚜렷한 특징들이 '일반적인 확산 여성'으로 변합니다.. 출처: https://app.runwayml.com/

해당 성격에 대한 맞춤형 LoRA를 개발함으로써 HV I2V 워크플로에서 실제 사진을 시작점으로 사용할 수 있습니다. 이는 모델의 잠재 공간에 난수를 보내고 의미적 시나리오 결과에 만족하는 것보다 훨씬 더 나은 '시드'입니다. 그런 다음 LoRA 또는 여러 LoRA를 사용하여 세대의 정체성, 헤어스타일, 옷 및 기타 중요한 측면의 일관성을 유지할 수 있습니다.

잠재적으로 이러한 조합의 가용성은 생성 AI의 출시 이후 가장 획기적인 변화 중 하나를 나타낼 수 있습니다. 안정적인 확산오픈 소스 애호가들에게 강력한 생성 능력이 넘겨지고 규제(또는 선호한다면 '게이트키핑') 없이 제공됩니다. 콘텐츠 검열자 현재 인기 있는 Gen Vid 시스템에 속합니다.

내가 이 글을 쓰는 동안 Hunyuan 이미지-비디오는 체크 안된 '해야 할 일' Hunyuan Video GitHub 리포지토리에서 취미 커뮤니티는 Hunyuan 개발자의 Discord 코멘트를 보고했습니다. 이 코멘트에 따르면 이 기능의 출시는 모델 문제로 인해 1분기 후반으로 연기되었다고 합니다. 너무 검열이 없다'.

Hunyuan Video의 공식 기능 출시 체크리스트입니다. 출처: https://github.com/Tencent/HunyuanVideo?tab=readme-ov-file#-open-source-plan

정확하든 아니든, repo 개발자들은 Hunyuan 체크리스트의 나머지 부분을 상당히 제공했으며 따라서 검열되든 검열되지 않든 Hunyuan I2V는 결국 도착할 것으로 보입니다. '잠금 ​​해제 가능'.

하지만 위 목록에서 볼 수 있듯이 I2V 릴리스는 완전히 별도의 모델인 것으로 보입니다. 즉, Civit 및 기타 곳에서 현재 급증하고 있는 HV LoRA 중 어느 것도 IXNUMXV 릴리스와 호환될 가능성이 매우 낮습니다.

이 (이제) 예측 가능한 시나리오에서는 다음과 같은 LoRA 교육 프레임워크가 있습니다. 무수비 튜너 그리고 원트레이너 새로운 모델을 지원하는 것과 관련하여 뒤로 물러나거나 재설정될 것입니다. 그동안 가장 기술에 정통한(그리고 기업가적인) YouTube AI 거물 중 한두 명은 장면이 따라잡을 때까지 Patreon을 통해 솔루션을 몸값으로 지불할 것입니다.

피로 업그레이드

LoRA나 다른 사람만큼 업그레이드 피로를 경험하는 사람은 거의 없습니다. 미세 조정 열광적인 이유는 생성 AI의 빠르고 경쟁적인 변화 속도로 인해 Stability.ai, Tencent, Black Forest Labs와 같은 모델 파운드리가 가능한 최대 빈도로 더 크고 (때로는) 더 나은 모델을 생산할 수 있기 때문입니다.

이러한 새롭고 개선된 모델은 최소한 다른 편견을 갖게 될 것입니다. 무게그리고 일반적으로 다른 규모 및/또는 아키텍처를 갖게 되는데, 이는 미세 조정 커뮤니티가 데이터 세트를 다시 꺼내어 새 버전에 대한 힘든 훈련 과정을 반복해야 한다는 것을 의미합니다.

이러한 이유로 Civit에서는 다양한 Stable Diffusion LoRA 버전 유형을 사용할 수 있습니다.

civit.ai의 검색 필터 옵션에서 시각화된 업그레이드 트레일

이러한 가벼운 LoRA 모델 중 어느 것도 상위 또는 하위 모델 버전과 상호 운용할 수 없으며, 그 중 다수가 인기 있는 대규모 모델에 종속되어 있기 때문에 합병 그리고 이전 모델을 고수하는 미세 조정으로 인해 커뮤니티의 상당 부분은 Windows XP에 대한 고객 충성도가 지속되는 것과 거의 같은 방식으로 '레거시' 릴리스를 고수하는 경향이 있습니다. 공식적인 과거 지원이 종료된 지 몇 년 후.

변화에 적응

이 주제는 다음 때문에 떠오른다. 새 용지 기존 LoRA를 새로 출시된 모델 버전으로 '업그레이드'할 수 있는 방법을 개발했다고 주장하는 Qualcomm AI Research의 제품입니다.

모델 버전 간 LoRA 변환의 예. 출처: https://arxiv.org/pdf/2501.16559

이는 새로운 접근 방식이라는 제목을 의미하지 않습니다. 로라-엑스, 동일한 유형의 모든 모델(예: 텍스트에서 이미지 모델 또는 대규모 언어 모델[LLM]) 간에 자유롭게 변환할 수 있지만 저자는 Stable Diffusion v1.5 > SDXL의 LoRA를 효과적으로 음역하고 텍스트 기반 TinyLlama 3T 모델용 LoRA를 TinyLlama 2.5T로 변환하는 방법을 시연했습니다.

LoRA-X는 LoRA 매개변수를 다른 기본 모델에 걸쳐 전송합니다. 어댑터 소스 모델의 하위 공간 내에서만 가능합니다. 단, 모델 버전 간에 충분히 유사한 모델의 일부에만 해당합니다.

왼쪽은 LoRA-X 소스 모델이 어댑터를 미세 조정하여 대상 모델에 맞게 조정하는 방식에 대한 스키마입니다. 오른쪽은 SD-v1.0 및 SDXL에서 추가 훈련 없이 전송된 어댑터를 적용한 후 대상 모델 SD Eff-v1 및 SSD-1.5B에서 생성된 이미지입니다.

이 방법은 재교육이 바람직하지 않거나 불가능한 경우(예: 원래 교육 데이터의 라이선스 변경)에 대한 실용적인 솔루션을 제공하지만, 다른 제한 사항과 함께 유사한 모델 아키텍처로 제한됩니다.

이것은 연구가 부족한 분야에 대한 드문 시도이지만 LoRA-X의 수많은 단점 때문에 이 논문을 심층적으로 조사하지 않을 것입니다. Open Review의 비평가 및 고문.

이 방법의 의존성 부분 공간 유사성 밀접하게 관련된 모델에 대한 적용을 제한하고 저자는 인정한 LoRA-X가 상당히 다른 아키텍처로 쉽게 전송될 수 없다는 리뷰 포럼

기타 PEFT 접근 방식

LoRA를 여러 버전에 걸쳐 더 이식성 있게 만들 가능성은 문헌에서 작지만 흥미로운 연구 주제이며, LoRA-X가 이 추구에 기여하는 주요 부분은 훈련이 필요 없다는 주장입니다. 논문을 읽어보면 엄밀히 말해서 사실이 아니지만, 이전 방법 중에서 가장 적은 훈련이 필요합니다.

LoRA-X는 캐논의 또 다른 항목입니다. 매개변수 효율적인 미세 조정 (PEFT) 방법은 광범위한 재교육 없이 대규모 사전 훈련된 모델을 특정 작업에 적응시키는 과제를 해결합니다. 이 개념적 접근 방식은 성능을 유지하면서 최소한의 매개변수를 수정하는 것을 목표로 합니다.

이 중 주목할 만한 것은 다음과 같습니다.

X-어댑터

The X-어댑터 프레임워크는 일정량의 재교육을 통해 미세 조정된 어댑터를 모델 간에 전송합니다. 이 시스템은 사전 훈련된 플러그 앤 플레이 모듈(예: 컨트롤넷 및 LoRA)를 기본 확산 모델(예: Stable Diffusion v1.5)에서 업그레이드된 확산 모델(예: SDXL)로 재교육 없이 직접 작동시켜 플러그인에 대한 '범용 업그레이더' 역할을 효과적으로 수행합니다.

이 시스템은 기본 모델의 동결된 복사본을 사용하여 플러그인 커넥터를 보존하고 업그레이드된 모델을 제어하는 ​​추가 네트워크를 훈련하여 이를 달성합니다.

X-Adapter에 대한 스키마. 출처: https://arxiv.org/pdf/2312.02238

X-Adapter는 원래 SD1.5에서 SDXL로 어댑터를 전송하기 위해 개발 및 테스트된 반면, LoRA-X는 더 다양한 음역을 제공합니다.

DoRA(Weight-Decomposed Low-Rank Adaptation)

DoRA는 전체 미세 조정과 더 유사한 가중치 분해 전략을 사용하여 LoRA를 개선하는 향상된 미세 조정 방법입니다.

DORA는 LoRA-X처럼 동결된 환경에서 어댑터를 복사하는 데 그치지 않고 크기와 방향과 같은 가중치의 기본 매개변수를 변경합니다. 출처: https://arxiv.org/pdf/2402.09353

DoRA는 모델의 가중치를 크기와 방향으로 분해하여 미세 조정 프로세스 자체를 개선하는 데 중점을 둡니다(위 이미지 참조). 대신 LoRA-X는 다른 기본 모델 간에 기존 미세 조정된 매개변수를 전송하는 데 중점을 둡니다.

그러나 LoRA-X 접근 방식은 투영 DORA를 위해 개발된 기술과 이 이전 시스템에 대한 테스트에서 개선된 것으로 주장됩니다. 디노 점수.

FouRA(푸리에 저랭크 적응)

2024년 XNUMX월에 출판된 FouRA 방식 LoRA-X와 마찬가지로 Qualcomm AI Research에서 출시되었으며, 테스트 프롬프트와 테마 중 일부를 공유하기도 합니다.

LoRA에서의 분포 붕괴 사례, 2024년 FouRA 논문에서 LoRA와 FouRA로 '블루 파이어'와 '오리가미' 스타일 어댑터를 위해 훈련된 Realistic Vision 3.0 모델을 사용하여 XNUMX개의 시드에 걸쳐 나타냄. LoRA 이미지는 분포 붕괴와 감소된 다양성을 보이는 반면, FouRA는 더 다양한 출력을 생성합니다. 출처: https://arxiv.org/pdf/2406.08798

FouRA는 주파수 영역에서 LoRA를 적용하여 생성된 이미지의 다양성과 품질을 개선하는 데 중점을 둡니다. 푸리에 변환 보다 더 전체적인 접근 방식으로 피할 수 있습니다.

이 부분에서도 LoRA-X는 FouRA의 푸리에 기반 접근 방식보다 더 나은 결과를 얻을 수 있었습니다.

두 프레임워크 모두 PEFT 범주에 속하지만 사용 사례와 접근 방식이 매우 다릅니다. 이 경우 FouRA는 새로운 논문 작성자가 참여하는 유사 경쟁자가 제한적인 상황에서 테스트 라운드를 위해 '숫자를 맞추는' 역할을 하고 있다고 할 수 있습니다.

SV차이

SVDiff는 LoRA-X와 다른 목표를 가지고 있지만 새로운 논문에서는 강력하게 활용됩니다. SVDiff는 확산 모델의 미세 조정 효율성을 개선하도록 설계되었으며, 특이 벡터를 변경하지 않고 모델의 가중치 행렬 내의 값을 직접 수정합니다. SVDiff는 다음을 사용합니다. 절단된 SVD가장 큰 값만 수정하여 모델의 가중치를 조정합니다.

이 접근 방식은 데이터 증강 기술을 사용합니다. 컷-믹스-언믹스:

다중 주제 생성은 SVDiff에서 개념을 분리하는 시스템으로 작동합니다. 출처: https://arxiv.org/pdf/2303.11305

Cut-Mix-Unmix는 확산 모델이 여러 개의 별개의 개념을 섞지 않고 학습하도록 돕기 위해 설계되었습니다. 핵심 아이디어는 다양한 피사체의 이미지를 촬영하여 단일 이미지로 연결하는 것입니다. 그런 다음 모델은 이미지의 개별 요소를 명확하게 설명하는 프롬프트로 학습됩니다. 이를 통해 모델은 혼합하는 대신 별개의 개념을 인식하고 보존해야 합니다.

훈련 중 추가적으로 정규화 용어는 교차 주제 간섭을 방지하는 데 도움이 됩니다. 저자의 이론은 이것이 각 요소가 융합되는 것이 아니라 시각적으로 구별되는 향상된 다중 주제 생성을 용이하게 한다고 주장합니다.

LoRA-X 테스트 라운드에서 제외된 SVDiff는 컴팩트한 매개변수 공간을 만드는 것을 목표로 합니다. 반면 LoRA-X는 원래 모델의 부분 공간 내에서 작동하여 다양한 기본 모델에서 LoRA 매개변수의 이전 가능성에 초점을 맞춥니다.

결론

여기서 논의된 방법은 PEFT의 유일한 거주자가 아닙니다. 다른 것에는 다음이 포함됩니다. QLoRA 및 QA-LoRA; 접두사 튜닝; 프롬프트 튜닝및 어댑터 튜닝, 다른 사람의 사이에서.

'업그레이드 가능한 LoRA'는 아마도 연금술적 추구일 것입니다. 확실히 LoRA 모델러가 최신 및 가장 뛰어난 가중치 릴리스를 위해 이전 데이터 세트를 다시 끌어내야 하는 것을 막을 수 있는 것은 당장 눈앞에 없습니다. 모델 버전 간의 아키텍처 변경과 매개변수 증가를 견뎌낼 수 있는 가중치 수정을 위한 가능한 프로토타입 표준이 있다면 아직 문헌에 등장하지 않았으며 모델별로 데이터에서 계속 추출해야 합니다.

30년 2025월 XNUMX일 목요일 첫 게시