Os métodos de ajuste fino eficiente de parâmetros, ou PeFT, buscam adaptar grandes modelos de linguagem por meio de atualizações de um pequeno número de pesos. No entanto, a maioria dos trabalhos existentes sobre interpretabilidade demonstrou que as representações codificam informações semanticamente ricas, sugerindo que pode ser uma abordagem melhor e mais poderosa editar essas representações. Os modelos grandes pré-treinados são frequentemente ajustados para serem usados em novos domínios ou tarefas, e durante o processo de ajuste, um único modelo base pode ser adaptado a uma ampla variedade de tarefas, mesmo com apenas pequenas quantidades de dados de domínio disponíveis ao modelo. No entanto, o processo de ajuste de um modelo inteiro é consumidor de recursos e caro, especialmente para modelos de linguagem com um número significativamente alto de parâmetros e tamanho.

Os métodos de ajuste fino eficiente de parâmetros, ou PeFT, propõem abordar os altos custos associados ao ajuste do modelo inteiro, atualizando apenas uma pequena fração dos pesos totais disponíveis, um processo que ajuda a reduzir o tempo de treinamento, além do uso de memória. O que é mais importante é que os métodos de ajuste fino eficiente de parâmetros demonstraram desempenho semelhante ao de ajuste fino em várias configurações práticas. Adaptadores, uma família comum de métodos de ajuste fino eficiente de parâmetros, aprendem uma edição que pode ser adicionada a um conjunto adicional de pesos que operam ao lado do modelo base congelado, com adaptadores recentes como LoRA reduzindo o número de parâmetros treináveis em atualizações de pesos aprendidas por meio de aproximações de baixa ordem em vez de matrizes de pesos completas durante o treinamento dos adaptadores.

Com trabalhos anteriores demonstrando que editar representações pode ser uma abordagem melhor do que os métodos de ajuste fino eficiente de parâmetros, neste artigo, vamos falar sobre os métodos de ajuste fino de representação, ou ReFT, que operam em um modelo congelado e aprendem intervenções específicas de tarefa em representações ocultas. Este artigo visa cobrir o quadro de ajuste fino de representação, ou ReFT, em profundidade, e exploramos o mecanismo, a metodologia, a arquitetura do quadro, juntamente com sua comparação com quadros de estado da arte. Então, vamos começar.

ReFT: Ajuste Fino de Representação para Modelos de Linguagem

Em uma tentativa de adaptar modelos de linguagem pré-treinados a novos domínios e tarefas, os quadros atuais ajustam frequentemente esses modelos pré-treinados, pois, com o processo de ajuste implementado, um único modelo base pode ser adaptado a uma variedade de tarefas, mesmo trabalhando com uma pequena quantidade de dados de domínio. Embora o processo de ajuste melhore o desempenho geral, é um processo caro, especialmente se o modelo de linguagem tiver um número significativamente alto de parâmetros. Para abordar esse problema e reduzir os custos associados, os quadros de ajuste fino eficiente de parâmetros, ou PeFT, atualizam apenas uma pequena fração dos pesos totais, um processo que não apenas reduz o tempo de treinamento, mas também reduz o uso de memória, permitindo que os quadros de ajuste fino eficiente de parâmetros atinjam desempenho semelhante ao de abordagens de ajuste fino completo em cenários práticos. Adaptadores, uma família comum de PeFT, funcionam aprendendo uma edição que pode ser adicionada a um conjunto adicional de pesos ao longo de um subconjunto de pesos que operam em uníssono com o modelo base congelado. Adaptadores recentes, como LoRA e QLoRA, demonstraram que é possível treinar adaptadores de precisão completa em cima de modelos reduzidos sem afetar o desempenho. Adaptadores são geralmente mais eficientes e eficazes em comparação com outros métodos que introduzem novos componentes de modelo.

Um ponto alto dos quadros de ajuste fino eficiente de parâmetros atuais é que, em vez de modificar representações, eles modificam pesos. No entanto, quadros que lidam com interpretabilidade demonstraram que as representações codificam informações semanticamente ricas, sugerindo que a edição de representações pode ser uma abordagem melhor e mais poderosa do que as atualizações de pesos. Essa suposição de que a edição de representações é a abordagem melhor é o que forma a base do quadro de ajuste fino de representação, ou ReFT, que treina intervenções em vez de adaptar pesos do modelo, permitindo que o modelo manipule uma pequena fração de todas as representações para direcionar o comportamento do modelo para resolver tarefas downstream durante a inferência. Os métodos de ajuste fino de representação, ou ReFT, são substitutos diretos para os quadros de ajuste fino eficiente de parâmetros baseados em pesos. A abordagem ReFT inspira-se em modelos recentes que trabalham com interpretabilidade de modelos grandes, intervindo em representações para encontrar mecanismos causais fiéis e direcionando o comportamento do modelo durante a inferência, e, portanto, pode ser visto como uma generalização dos modelos de edição de representação. Com base nisso, o LoReFT, ou ajuste fino de representação de subespaço de baixa ordem, é uma instância forte e eficaz de ReFT, e é uma parametrização de ReFT que intervém em representações ocultas no espaço linear spanned pela matriz de projeção de baixa ordem, e constrói diretamente no quadro de busca de alinhamento distribuído, ou DAS.

Em seguida, contrariamente ao ajuste fino completo, o quadro de ajuste fino eficiente de parâmetros treina apenas uma pequena fração dos parâmetros do modelo e consegue adaptar o modelo às tarefas downstream. O quadro de ajuste fino eficiente de parâmetros pode ser classificado em três categorias principais:

• Métodos baseados em adaptadores: Os métodos baseados em adaptadores treinam módulos adicionais, como camadas totalmente conectadas, em cima do modelo pré-treinado com pesos congelados. Os adaptadores em série inserem componentes entre as camadas de perceptron multilayer, ou MLP, e as camadas de atenção do modelo de linguagem grande, ou LM, enquanto os adaptadores paralelos adicionam módulos ao lado de componentes existentes. Como os adaptadores adicionam novos componentes que não podem ser facilmente incorporados aos pesos existentes do modelo, eles impõem uma carga adicional durante a inferência.

• LoRA: O LoRA, juntamente com suas variantes recentes, aproxima pesos adicionais durante o treinamento, usando matrizes de baixa ordem, e não requer sobrecargas adicionais durante a inferência, pois as atualizações de pesos podem ser mescladas no modelo, e é por isso que são considerados os quadros de ajuste fino eficiente de parâmetros atuais mais fortes.

• Métodos baseados em prompts: Os métodos baseados em prompts adicionam tokens macios que são inicializados aleatoriamente ao input e treinam suas embeddings, mantendo os pesos do modelo de linguagem congelados. O desempenho oferecido por esses métodos é frequentemente insatisfatório em comparação com outras abordagens de ajuste fino eficiente de parâmetros, e também carregam um custo de sobrecarga de inferência significativo.

Em vez de atualizar os pesos, o quadro de ajuste fino de representação aprende intervenções para modificar uma pequena fração das representações totais. Além disso, trabalhos recentes sobre engenharia de representação e direcionamento de ativação demonstraram que adicionar vetores de direcionamento fixos ao fluxo residual pode facilitar um grau de controle sobre as gerações de modelos de linguagem grandes pré-treinados, sem exigir treinamento intensivo em recursos. Outros quadros demonstraram que editar representações com uma operação de escala e tradução aprendida pode tentar corresponder, mas não superar o desempenho oferecido pelos adaptadores LoRA em uma ampla variedade de tarefas, com menos parâmetros aprendidos. Além disso, o sucesso desses quadros em uma variedade de tarefas demonstrou que as representações introduzidas pelos modelos de linguagem pré-treinados carregam ricas semânticas, embora o desempenho desses modelos seja subótimo, resultando em PeFTs que continuam como a abordagem de estado da arte, sem sobrecarga adicional de inferência.

ReFT: Metodologia e Arquitetura

Para manter o processo de preservação de estilo simples, o quadro de ajuste fino de representação supõe um modelo de linguagem grande baseado em transformador como seu modelo alvo, capaz de produzir representações contextualizadas de sequências de tokens. Para uma sequência dada com n tokens de input, o quadro de ajuste fino de representação primeiro incorpora esses tokens de input em uma lista de representações, seguido das m camadas que computam a lista de representações ocultas sucessivamente como uma função da lista de representações ocultas anteriores. Cada representação oculta é um vetor, e o modelo de linguagem usa as representações ocultas finais para produzir as previsões. O quadro de ajuste fino de representação considera tanto modelos de linguagem mascarados quanto modelos de linguagem autoregressivos. Agora, de acordo com a hipótese de representação linear, em redes neurais, conceitos são codificados dentro de subespaços lineares de representações. Modelos recentes encontraram essa afirmação como verdadeira em modelos de rede neural treinados em linguagem natural, juntamente com outras distribuições de input.

Além disso, em estudos de interpretabilidade, o quadro de abstração causal usa intervenções de intercâmbio para estabelecer o papel de componentes de rede neural causalmente quando implementando comportamentos específicos. A lógica por trás da intervenção de intercâmbio é que, se uma representação for fixada no que seria para um input contrafactual, e essa intervenção afeta consistentemente a saída do modelo da maneira que as afirmações feitas pelo quadro de ajuste fino de representação sobre o componente responsável por produzir essa representação, então o componente desempenha um papel causal no comportamento. Embora haja alguns métodos, a intervenção de intercâmbio distribuído é a abordagem ideal para testar se um conceito é codificado em um subespaço linear de uma representação, como reivindicado pela hipótese de representação linear. Além disso, o método DAS foi usado anteriormente para encontrar representações lineares em modelos de linguagem de atributos de entidades, sentimento, recursos linguísticos e raciocínio matemático. No entanto, vários experimentos indicaram que o método DAS é altamente expressivo e possui a capacidade de encontrar subespaços causalmente eficazes, mesmo quando o modelo de linguagem transformador foi inicializado aleatoriamente, e ainda não aprendeu nenhuma representação específica de tarefa, resultando no debate sobre se o DAS é eficaz e responsável o suficiente para tarefas de interpretabilidade.

A expressividade oferecida pelo DAS sugere que a abordagem pode ser uma ferramenta ideal para controlar o comportamento do modelo de linguagem, juntamente com seu trabalho em geração controlável e edição responsável. Portanto, para adaptar modelos de linguagem para tarefas downstream, o quadro de ajuste fino de representação usa a intervenção de intercâmbio distribuída para fazer um novo método de ajuste fino eficiente de parâmetros. Além disso, o método ReFT é um conjunto de intervenções, e o quadro impõe que, para qualquer duas intervenções que operam na mesma camada, as posições de intervenção devem ser disjuntas, com os parâmetros de todas as funções de intervenção permanecendo independentes. Como resultado, o ReFT é um quadro genérico que abrange intervenções em representações ocultas durante a passagem forward do modelo.

ReFT: Experimentos e Resultados

Para avaliar seu desempenho contra os quadros de ajuste fino eficiente de parâmetros existentes, o quadro de ajuste fino de representação conduz experimentos em quatro benchmarks de processamento de linguagem natural diversificados e cobre mais de 20 conjuntos de dados, com o objetivo principal de fornecer uma imagem rica de como o quadro LoReFT se sai em diferentes cenários. Além disso, quando o quadro LoReFT é implementado na vida real, os desenvolvedores precisam decidir sobre quantas intervenções aprender, juntamente com as posições de input e camadas para aplicar cada uma delas. Para completar a tarefa, o quadro de ajuste fino de representação ajusta quatro hiperparâmetros.

1. O número de posições de prefixo para intervir.
2. O número de posições de sufixo para intervir.
3. Qual conjunto de camadas para intervir.
4. Se amarrar parâmetros de intervenção em diferentes posições na mesma camada.

Ao fazer isso, o quadro de ajuste fino de representação simplifica o espaço de busca de hiperparâmetros e garante apenas um custo de inferência adicional fixo que não escala com o comprimento do prompt.

A tabela acima compara a precisão dos modelos LLaMA-7B e LLaMA-13B contra os modelos de ajuste fino eficiente de parâmetros existentes em 8 conjuntos de dados de raciocínio de senso comum. Como pode ser observado, o modelo LoReFT supera as abordagens de ajuste fino eficiente de parâmetros existentes por uma margem decente, apesar de ter muito menos parâmetros, com o desempenho médio de três execuções sendo relatado com sementes de parâmetros distintas para o modelo LoReFT. O parâmetro (%) é calculado dividindo o número de parâmetros treináveis pelo número total de parâmetros do modelo de linguagem grande base.

A tabela acima resume a comparação de precisão dos modelos LLaMA-7B e LLaMA-13B contra os modelos de ajuste fino eficiente de parâmetros existentes em 4 conjuntos de dados de raciocínio aritmético diferentes, com o quadro relatando o desempenho médio de três execuções com sementes aleatórias distintas. Como pode ser observado, apesar de ter muito menos parâmetros (%), o quadro LoReFT supera as abordagens de ajuste fino eficiente de parâmetros existentes por uma margem considerável.

A tabela acima resume a comparação de precisão dos modelos RoBERTa-base e RoBERTa-large contra os modelos de ajuste fino eficiente de parâmetros existentes no benchmark GLUE, com o quadro relatando o desempenho médio de cinco execuções com sementes aleatórias distintas. Como pode ser observado, apesar de ter muito menos parâmetros (%), o quadro LoReFT supera as abordagens de ajuste fino eficiente de parâmetros existentes por uma margem considerável.

Pensamentos Finais

Neste artigo, falamos sobre o LoReFT, uma poderosa alternativa às abordagens de ajuste fino eficiente de parâmetros existentes, que atinge um desempenho forte em benchmarks de quatro domínios diferentes, enquanto oferece até 50 vezes a eficiência oferecida pelos modelos de ajuste fino eficiente de parâmetros de estado da arte anteriores. Os modelos grandes pré-treinados são frequentemente ajustados para serem usados em novos domínios ou tarefas, e durante o processo de ajuste, um único modelo base pode ser adaptado a uma ampla variedade de tarefas, mesmo com apenas pequenas quantidades de dados de domínio disponíveis ao modelo. No entanto, o processo de ajuste de um modelo inteiro é consumidor de recursos e caro, especialmente para modelos de linguagem com um número significativamente alto de parâmetros e tamanho. Os métodos de ajuste fino eficiente de parâmetros propõem abordar os altos custos associados ao ajuste do modelo inteiro, atualizando apenas uma pequena fração dos pesos totais disponíveis, um processo que ajuda a reduzir o tempo de treinamento, além do uso de memória. Notavelmente, o LoReFT estabelece um novo desempenho de estado da arte em raciocínio de senso comum, seguimento de instruções e compreensão de linguagem natural contra os modelos de ajuste fino eficiente de parâmetros mais fortes.