LoRa, QLoRA e QA-LoRA: Adaptabilidade eficiente em grandes modelos de linguagem por meio de fatoração de matriz de baixa classificação

Os Large Language Models (LLMs) conquistaram um nicho único, oferecendo capacidades incomparáveis ​​na compreensão e geração de texto semelhante ao humano. O poder dos LLMs pode ser atribuído ao seu enorme tamanho, muitas vezes com bilhões de parâmetros. Embora esta enorme escala alimente o seu desempenho, ela simultaneamente gera desafios, especialmente quando se trata de adaptação de modelos para tarefas ou domínios específicos. Os caminhos convencionais de gestão de LLMs, como o ajuste fino de todos os parâmetros, apresentam um pesado custo computacional e financeiro, representando assim uma barreira significativa à sua adoção generalizada em aplicações do mundo real.

Em um artigo do artigo anterior, nos aprofundamos no ajuste fino de Large Language Models (LLMs) para adaptá-los a requisitos específicos. Exploramos várias metodologias de ajuste fino, como ajuste fino baseado em instruções, ajuste fino de tarefa única e ajuste fino com eficiência de parâmetros (PEFT), cada um com sua abordagem única para otimizar LLMs para tarefas distintas. No centro da discussão estava a arquitetura do transformador, a espinha dorsal dos LLMs, e os desafios colocados pelas demandas computacionais e de memória para lidar com um grande número de parâmetros durante o ajuste fino.

A imagem acima representa a escala de vários modelos de linguagem grandes, classificados por número de parâmetros. Notavelmente: Palma, FLORESCER, etc.

A partir deste ano, houve avanços que levaram a modelos ainda maiores. No entanto, ajustar esses modelos gigantescos de código aberto em sistemas padrão é inviável sem técnicas especializadas de otimização.

Enter Low-Rank Adaptation (LoRA) foi introduzido pela Microsoft neste papel, com o objetivo de mitigar esses desafios e tornar os LLMs mais acessíveis e adaptáveis.

O ponto crucial do LoRA reside em sua abordagem de adaptação do modelo, sem se aprofundar nos meandros do retreinamento de todo o modelo. Ao contrário do ajuste fino tradicional, onde cada parâmetro está sujeito a alterações, o LoRA adota uma rota mais inteligente. Ele congela os pesos do modelo pré-treinado e introduz matrizes de decomposição de classificação treináveis ​​em cada camada da arquitetura do Transformer. Esta abordagem reduz drasticamente o número de parâmetros treináveis, garantindo um processo de adaptação mais eficiente.

A evolução das estratégias de ajuste LLM

Refletindo sobre a jornada de ajuste do LLM, podem-se identificar diversas estratégias empregadas pelos profissionais ao longo dos anos. Inicialmente, o foco estava no ajuste fino dos modelos pré-treinados, uma estratégia que envolve uma alteração abrangente dos parâmetros do modelo para se adequar à tarefa específica em questão. No entanto, à medida que os modelos cresceram em tamanho e complexidade, também aumentaram as exigências computacionais desta abordagem.

A próxima estratégia que ganhou força foi o ajuste fino de subconjuntos, uma versão mais contida de sua antecessora. Aqui, apenas um subconjunto dos parâmetros do modelo é ajustado, reduzindo até certo ponto a carga computacional. Apesar dos seus méritos, o ajuste fino do subconjunto ainda não foi capaz de acompanhar a taxa de crescimento do tamanho dos LLMs.

À medida que os profissionais se aventuraram a explorar caminhos mais eficientes, o ajuste fino completo emergiu como uma abordagem rigorosa, mas gratificante.

Introdução ao LoRA

Explicação matemática por trás do LoRA

Vamos analisar a matemática por trás do LoRA:

1. Matriz de peso pré-treinada W0 :
   • Tudo começa com uma matriz de peso pré-treinada W0 de dimensões $d\times k$. Isso significa que a matriz tem $d$ linhas e $k$ colunas.
2. Decomposição de baixa classificação:
   • Em vez de atualizar diretamente toda a matriz W0 , que pode ser computacionalmente caro, o método propõe uma abordagem de decomposição de baixa classificação.
   • A atualização $\Delta W$ para W0 pode ser representado como um produto de duas matrizes: $B$ e $A$.
     • $B$ tem dimensões $d\times r$
     • $A$ tem dimensões $r\times k$
   • O ponto chave aqui é que a classificação $r$ é bem menor que os dois $d$ e $k$, o que permite uma representação mais eficiente computacionalmente.
3. Training:
   • Durante o processo de treinamento, W0 continua sem alteração. Isso é chamado de “congelamento” dos pesos.
   • Por outro lado, $A$ e $B$ são os parâmetros treináveis. Isso significa que, durante o treinamento, são feitos ajustes nas matrizes $A$ e $B$ para melhorar o desempenho do modelo.
4. Multiplicação e adição:
   • Ambos W0 e a atualização $\Delta W$ (que é o produto de $B$ e $A$) são multiplicados pela mesma entrada (denotada como $x$).
   • As saídas dessas multiplicações são então somadas.
   • Este processo é resumido na equação: h=W0 x+ΔWx=W0 x+BAx. Aqui, $h$ representa a saída final após aplicar as atualizações à entrada $x$.

Resumindo, este método permite uma forma mais eficiente de atualizar uma matriz de peso grande, representando as atualizações usando uma decomposição de baixa classificação, o que pode ser benéfico em termos de eficiência computacional e uso de memória.

Inicialização e dimensionamento:

Ao treinar modelos, a forma como inicializamos os parâmetros pode afetar significativamente a eficiência e eficácia do processo de aprendizagem. No contexto da nossa atualização da matriz de pesos usando $A$ e $B$:

1. Inicialização de Matrizes $A$ e $B$:
   • Matriz $A$: Esta matriz é inicializada com valores gaussianos aleatórios, também conhecidos como distribuição normal. A lógica por trás do uso da inicialização gaussiana é quebrar a simetria: neurônios diferentes na mesma camada aprenderão características diferentes quando tiverem pesos iniciais diferentes.
   • Matriz $B$: Esta matriz é inicializada com zeros. Ao fazer isso, a atualização $\Delta W=BA$ começa como zero no início do treinamento. Garante que não haja nenhuma mudança abrupta no comportamento do modelo no início, permitindo que o modelo se adapte gradualmente conforme $B$ aprende valores apropriados durante o treinamento.
2. Dimensionando a saída de $\Delta W$:
   • Depois de calcular a atualização $\Delta W$, sua saída é escalonada por um fator de rα onde $\alpha$ é uma constante. Ao dimensionar, a magnitude das atualizações é controlada.
   • A escala é especialmente crucial quando a classificação $r$ mudanças. Por exemplo, se você decidir aumentar a classificação para obter mais precisão (ao custo da computação), o dimensionamento garante que você não precisará ajustar muitos outros hiperparâmetros no processo. Ele fornece um nível de estabilidade ao modelo.

Impacto prático da LoRA

LoRA demonstrou seu potencial para ajustar LLMs a estilos artísticos específicos de forma eficiente por pessoas da comunidade de IA. Isto foi notavelmente demonstrado na adaptação de um modelo para imitar o estilo artístico de Greg Rutkowski.