LoRa, QLoRA 및 QA-LoRA: 저순위 행렬 분해를 통한 대규모 언어 모델의 효율적인 적응성

LLM(대형 언어 모델)은 인간과 유사한 텍스트를 이해하고 생성하는 데 있어 비교할 수 없는 기능을 제공하여 고유한 틈새 시장을 개척했습니다. LLM의 강력한 힘은 종종 수십억 개의 매개변수를 포함하는 엄청난 크기로 거슬러 올라갑니다. 이 거대한 규모는 성능을 촉진하는 동시에 특히 특정 작업이나 영역에 대한 모델 적응과 관련하여 어려움을 낳습니다. 모든 매개변수를 미세 조정하는 등 LLM을 관리하는 기존 경로는 계산 및 재정적 부담이 크므로 실제 응용 프로그램에 널리 채택하는 데 큰 장벽이 됩니다.

안에 이전 기사, 우리는 LLM(대형 언어 모델)을 미세 조정하여 특정 요구 사항에 맞게 조정했습니다. 우리는 명령어 기반 미세 조정, 단일 작업 미세 조정, PEFT(매개변수 효율적 미세 조정)와 같은 다양한 미세 조정 방법론을 탐구했습니다. 각각은 고유한 작업에 대해 LLM을 최적화하기 위한 고유한 접근 방식을 가지고 있습니다. 논의의 핵심은 변환기 아키텍처, LLM의 백본, 미세 조정 중에 방대한 수의 매개변수를 처리해야 하는 계산 및 메모리 요구로 인한 과제였습니다.

https://huggingface.co/blog/hf-bitsandbytes-integration

위 이미지는 매개변수 수에 따라 정렬된 다양한 대규모 언어 모델의 규모를 나타냅니다. 특히: 손바닥, 꽃, 등

올해부터 훨씬 더 큰 모델로 이어지는 발전이 있었습니다. 그러나 표준 시스템에서 이러한 거대한 오픈 소스 모델을 조정하는 것은 전문적인 최적화 기술 없이는 실행 불가능합니다.

마이크로소프트는 LoRA(Enter Low-Rank Adaptation)를 도입했습니다. 종이, 이러한 문제를 완화하고 LLM의 접근성과 적응성을 높이는 것을 목표로 합니다.

LoRA의 핵심은 전체 모델을 재교육하는 복잡성을 탐구하지 않고 모델 적응을 향한 접근 방식에 있습니다. 모든 매개변수가 변경될 수 있는 기존의 미세 조정과 달리 LoRA는 더 스마트한 경로를 채택합니다. 사전 훈련된 모델 가중치를 동결하고 Transformer 아키텍처의 각 계층에 훈련 가능한 순위 분해 행렬을 도입합니다. 이 접근 방식은 훈련 가능한 매개변수의 수를 대폭 줄여 보다 효율적인 적응 프로세스를 보장합니다.

LLM 튜닝 전략의 진화

LLM 튜닝의 여정을 되돌아보면 실무자들이 수년 동안 채택한 몇 가지 전략을 확인할 수 있습니다. 처음에는 특정 작업에 맞게 모델 매개변수를 포괄적으로 변경하는 전략인 사전 훈련된 모델을 미세 조정하는 것이 주목을 받았습니다. 그러나 모델의 크기와 복잡성이 커짐에 따라 이 접근 방식의 계산 요구도 커졌습니다.

견인력을 얻은 다음 전략은 이전 전략보다 더 제한적인 버전인 하위 집합 미세 조정이었습니다. 여기서는 모델 매개변수의 하위 집합만 미세 조정되어 계산 부담을 어느 정도 줄입니다. 장점에도 불구하고 하위 집합 미세 조정은 여전히 ​​LLM 규모의 성장 속도를 따라잡을 수 없었습니다.

실무자들이 보다 효율적인 방법을 모색함에 따라 전체 미세 조정이 엄격하면서도 보람 있는 접근 방식으로 나타났습니다.

LoRA 소개

행렬의 순위를 통해 해당 열에 의해 생성된 차원을 엿볼 수 있으며, 이는 행렬에 포함된 고유한 행이나 열의 수에 따라 결정됩니다.

• 전체 순위 매트릭스: 순위는 행이나 열 사이의 더 작은 숫자와 일치합니다.
• 낮은 순위 매트릭스: 행 및 열 수보다 순위가 눈에 띄게 작으므로 더 적은 수의 기능을 캡처합니다.

이제 대형 모델은 언어 모델의 언어처럼 해당 영역에 대한 광범위한 이해를 파악합니다. 그러나 특정 작업에 맞게 미세 조정하려면 이러한 이해 중 일부만 강조하면 되는 경우가 많습니다. LoRA가 빛나는 곳은 바로 여기입니다. 이러한 가중치 조정을 보여주는 행렬은 순위가 낮을 수 있으므로 더 적은 수의 특성을 캡처할 수 있음을 시사합니다.

LoRA는 이 업데이트 행렬을 두 개의 더 작은 순위 행렬로 분할하여 이 업데이트 행렬의 순위를 현명하게 제한합니다. 따라서 전체 가중치 매트릭스를 변경하는 대신 일부만 변경하여 미세 조정 작업을 더욱 효율적으로 만듭니다.

변압기에 LoRA 적용

LoRA는 특정 가중치 행렬에 초점을 맞춰 신경망의 훈련 부하를 최소화하는 데 도움이 됩니다. Transformer 아키텍처에서는 MLP(Multi-Layer Perceptron) 모듈의 두 개 외에 특정 가중치 행렬, ​​즉 Wq, Wk, Wv 및 Wo가 self-attention 메커니즘과 연결됩니다.

트랜스포머 아키텍처

 

변압기 주의 헤드

LoRA의 수학적 설명

LoRA의 수학을 분석해 보겠습니다.

1. 사전 훈련된 가중치 매트릭스 W0â € <:
   • 사전 훈련된 가중치 행렬로 시작합니다. W0â € < 차원의 $d\times k$. 이는 매트릭스가 $d$ 행 및 $k$ 열.
2. 낮은 순위 분해:
   • 전체 행렬을 직접 업데이트하는 대신 W0â € <계산 비용이 많이 들 수 있으므로 이 방법은 낮은 순위 분해 접근 방식을 제안합니다.
   • 업데이트 $\Delta W$ 에 W0â € < 두 행렬의 곱으로 표현될 수 있습니다: $B$ 그리고 $A$.
     • $B$ 치수가 있습니다 $d\times r$
     • $A$ 치수가 있습니다 $r\times k$
   • 여기서 중요한 점은 순위이다. $r$ 둘보다 훨씬 작다 $d$ 그리고 $k$, 이는 보다 계산적으로 효율적인 표현을 허용합니다.
3. 트레이닝:
   • 훈련 과정에서, W0â € < 변함없이 유지됩니다. 이를 가중치 "동결"이라고 합니다.
   • 반면에, 미국에서 체류를 연장하고자 이전의 승인을 갱신하려던 $A$ 그리고 $B$ 훈련 가능한 매개변수입니다. 이는 훈련 중에 행렬이 조정된다는 의미입니다. $A$ 그리고 $B$ 모델의 성능을 향상시키기 위해.
4. 곱셈과 덧셈:
   • 모두 W0â € < 그리고 업데이트 $\Delta W$ (이것은 다음의 제품입니다. $B$ 그리고 $A$)에 동일한 입력을 곱합니다(로 표시됨). $x$).
   • 그런 다음 이러한 곱셈의 출력이 함께 추가됩니다.
   • 이 프로세스는 다음 방정식으로 요약됩니다. h=W0â € <x+ΔWx=W0â € <x+BAx. 여기 $h$ 입력에 업데이트를 적용한 후의 최종 출력을 나타냅니다. $x$.

간단히 말해서, 이 방법을 사용하면 낮은 순위 분해를 사용하여 업데이트를 표현함으로써 큰 ​​가중치 행렬을 업데이트하는 보다 효율적인 방법이 가능하며, 이는 계산 효율성 및 메모리 사용량 측면에서 유리할 수 있습니다.

로라

초기화 및 확장:

모델을 훈련할 때 매개변수를 초기화하는 방법은 학습 프로세스의 효율성과 효과에 큰 영향을 미칠 수 있습니다. 가중치 행렬 업데이트의 맥락에서 다음을 사용합니다. $A$ 그리고 $B$:

1. 행렬 초기화 $A$ 그리고 $B$:
   • 매트릭스 $A$: 이 행렬은 정규 분포라고도 알려진 임의의 가우스 값으로 초기화됩니다. 가우스 초기화를 사용하는 이유는 대칭성을 깨뜨리기 위한 것입니다. 즉, 동일한 레이어에 있는 서로 다른 뉴런은 서로 다른 초기 가중치를 가질 때 서로 다른 특징을 학습하게 됩니다.
   • 매트릭스 $B$: 이 행렬은 XNUMX으로 초기화됩니다. 이렇게 하면 업데이트가 $\Delta W=BA$ 훈련 시작 시 XNUMX으로 시작합니다. 시작 시 모델 동작에 급격한 변화가 없도록 보장하여 모델이 다음과 같이 점진적으로 적응할 수 있도록 합니다. $B$ 훈련 중에 적절한 값을 학습합니다.
2. 출력 크기 조정 $\Delta W$:
   • 업데이트를 계산한 후 $\Delta W$, 출력은 다음 요소로 조정됩니다. rαâ € < 어디에 $\alpha$ 상수입니다. 크기 조정을 통해 업데이트 규모가 제어됩니다.
   • 스케일링은 순위가 매겨질 때 특히 중요합니다. $r$ 변화. 예를 들어, 정확도를 높이기 위해(계산 비용으로) 순위를 높이기로 결정한 경우 크기 조정을 통해 프로세스에서 다른 많은 하이퍼매개변수를 조정할 필요가 없습니다. 이는 모델에 일정 수준의 안정성을 제공합니다.

LoRA의 실질적인 영향

LoRA는 AI 커뮤니티의 사람들이 LLM을 특정 예술적 스타일에 효율적으로 조정할 수 있는 잠재력을 보여주었습니다. 이는 의 예술적 스타일을 모방하기 위한 모델의 적응에서 특히 드러났습니다. 그렉 루트코프스키.

GPT-3 175B를 예로 들어 논문에서 강조된 바와 같습니다. 각각 175B 매개변수를 갖는 미세 조정 모델의 개별 인스턴스를 갖는 것은 비용이 많이 듭니다. 그러나 LoRA를 사용하면 훈련 가능한 매개변수가 10,000배 감소하고 GPU 메모리 사용량이 XNUMX/XNUMX로 줄어듭니다.

GPT-3 미세 조정에 대한 LoRa 영향

LoRA 방법론은 LLM의 접근성을 높이기 위한 중요한 진전을 구현할 뿐만 아니라 AI 영역에서 이론적 발전과 실제 적용 간의 격차를 해소할 수 있는 잠재력을 강조합니다. 계산상의 장애물을 완화하고 보다 효율적인 모델 적응 프로세스를 육성함으로써 LoRA는 실제 시나리오에서 LLM을 보다 광범위하게 채택하고 배포하는 데 중추적인 역할을 할 준비가 되어 있습니다.

QLoRA(양자화)

LoRA는 스토리지 요구 사항을 줄이는 데 획기적인 변화를 가져오지만 훈련용 모델을 로드하려면 여전히 막대한 GPU가 필요합니다. 여기에 QLoRA(Quantized LoRA)가 개입하여 LoRA와 Quantization을 결합하여 더욱 스마트한 접근 방식을 제공합니다.

정량화

일반적으로 가중치 매개변수는 32비트 형식(FP32)으로 저장됩니다. 즉, 행렬의 각 요소는 32비트 공간을 차지합니다. 동일한 정보를 8비트 또는 4비트로 압축할 수 있다고 상상해 보세요. 이것이 QLoRA의 핵심 아이디어입니다. 양자화는 연속적인 무한 값을 더 작은 이산 유한 값 세트에 매핑하는 프로세스를 나타냅니다. LLM의 맥락에서 이는 모델의 가중치를 정밀도가 높은 데이터 유형에서 정밀도가 낮은 데이터 유형으로 변환하는 프로세스를 나타냅니다.

LLM의 양자화

QLoRA에 대한 간단한 분석은 다음과 같습니다.

1. 초기 양자화: 첫째, LLM(Large Language Model)을 4비트까지 양자화하여 메모리 공간을 크게 줄입니다.
2. LoRA 훈련: 그런 다음 LoRA 훈련을 수행하지만 표준 32비트 정밀도(FP32)입니다.

이제 32비트로 축소한 후 왜 훈련을 위해 4비트로 돌아가는지 궁금할 것입니다. FP32에서 LoRA 어댑터를 효과적으로 훈련하려면 모델 가중치도 FP32로 되돌려야 합니다. 이러한 전환은 GPU 메모리의 부담을 피하기 위해 스마트하고 단계별 방식으로 수행됩니다.

LoRA는 Hugging Face에서 실제 적용을 찾습니다. 매개변수 효율적 미세 조정(PEFT) 라이브러리를 활용하여 활용을 단순화합니다. QLoRA를 사용하려는 사람들은 다음의 조합을 통해 액세스할 수 있습니다. 비트샌드바이트 및 PEFT 라이브러리. 게다가 HuggingFace TRL(변압기 강화 학습) 라이브러리 LoRA에 대한 통합 지원을 통해 감독된 미세 조정을 용이하게 합니다. 이 세 가지 라이브러리는 선택된 사전 훈련된 모델을 미세 조정하기 위한 필수 툴킷을 제공하여 특정 속성 지침이 표시될 때 설득력 있고 일관된 제품 설명을 생성할 수 있습니다.

QLoRA에서 미세 조정한 후 가중치를 고정밀 형식으로 되돌려야 하므로 정확도가 저하되고 프로세스 속도를 높이기 위한 최적화가 부족할 수 있습니다.

제안된 솔루션은 가중치 행렬을 더 작은 세그먼트로 그룹화하고 각 그룹에 개별적으로 양자화 및 낮은 순위 적응을 적용하는 것입니다. 이름이 지정된 새로운 방법 QA-LoRA, 프로세스를 효율적으로 유지하고 모델을 원하는 작업에 효과적으로 유지하면서 양자화와 낮은 순위 적응의 이점을 혼합하려고 합니다.

결론

이 기사에서 우리는 엄청난 매개변수 크기로 인해 발생하는 문제에 대해 다루었습니다. 우리는 전통적인 미세 조정 방식과 이와 관련된 계산 및 재정적 요구 사항을 조사했습니다. LoRA의 핵심은 사전 훈련된 모델을 완전히 재교육하지 않고도 수정하여 훈련 가능한 매개변수를 줄이고 적응 프로세스를 보다 비용 효율적으로 만드는 기능에 있습니다.

또한 훈련에 필수적인 정밀도를 유지하면서 모델의 메모리 공간을 줄이는 LoRA와 Quantization의 혼합인 QLoRA(Quantized LoRA)에 대해서도 간략하게 살펴보았습니다. 이러한 고급 기술을 통해 실무자는 이제 강력한 라이브러리를 갖추고 있어 다양한 실제 시나리오에서 LLM을 더 쉽게 채택하고 배포할 수 있습니다.

매트릭스

이러한 전략은 LLM을 특정 작업에 맞게 조정하는 것과 미세 조정 및 배포 프로세스가 계산 및 저장 리소스 측면에서 지나치게 요구되지 않도록 하는 것 사이의 균형을 맞추기 위해 만들어졌습니다.