A capacidade e o desempenho de modelos de linguagem grandes e abertos avançaram significativamente nos últimos anos, e testemunhamos o progresso desde os primeiros modelos GPT-2 até frameworks de LLM mais compactos, precisos e eficazes que utilizam uma quantidade consideravelmente maior de tokens do que a quantidade de tokens considerada computacionalmente ótima de acordo com as leis de escalabilidade Chinchilla. Além disso, os desenvolvedores demonstraram que esses frameworks de LLM menores podem ser treinados ainda mais usando uma abordagem de dSFT ou Fine-Tuning Supervisionado Destilado baseada em modelos proprietários, que usa a saída de um modelo de professor eficaz como dados supervisionados para o modelo de estudante em uma tentativa de aumentar a precisão.

Neste artigo, vamos falar sobre o framework Zephyr-7B, um estado da arte em benchmark de chat para modelos de 7B parâmetros que não requer anotações humanas. O objetivo principal do framework é permitir que os desenvolvedores produzam modelos de linguagem grandes menores que se alinhem ao intento do usuário mais do que nunca. O framework Zephyr-7B não apenas examina a aplicação de abordagens atuais para frameworks de LLM maiores, como dSFT, mas também explora a possibilidade de usar outras abordagens para aprender um modelo de chat com melhor alinhamento com o intento do usuário. Vamos mergulhar mais fundo no framework Zephyr e explorar sua arquitetura, funcionamento e resultados. Vamos começar.

Zephyr-7B: Uma Introdução à Destilação Direta de Alinhamento em Modelos de Linguagem

Como mencionado anteriormente, os modelos de linguagem avançaram rapidamente nos últimos anos, desde os primeiros frameworks GPT-2 até os atuais frameworks GPT-4 e MiniGPT-5 LLM, que, embora sejam altamente exaustivos em termos de tokens, são agora mais precisos e muito mais eficientes. Um dos principais destaques desses frameworks de LLM avançados é que eles incorporam uma quantidade significativamente maior de tokens do que a quantidade de tokens que eram anteriormente considerados computacionalmente ótimos de acordo com as leis de escalabilidade Chinchilla. Além disso, os desenvolvedores e pesquisadores que trabalham com frameworks de LLM aprenderam que esses frameworks de LLM menores podem ser treinados ainda mais usando uma abordagem de dSFT ou Fine-Tuning Supervisionado Destilado baseada em modelos proprietários, que usa a saída de um modelo de professor eficaz como dados supervisionados para o modelo de estudante em uma tentativa de aumentar a precisão. A estratégia de destilação provou ser uma ferramenta altamente eficaz e útil para maximizar o potencial e as capacidades dos modelos abertos em uma ampla gama de tarefas, embora ainda não possa replicar o desempenho alcançado pelo modelo de professor. Além disso, os usuários frequentemente relatam que esses modelos frequentemente exibem “desalinhamento de intento”, ou seja, os modelos não se comportam de maneira que se alinhe às necessidades dos usuários finais, levando a saídas incorretas que não fornecem a saída ou respostas certas para as entradas ou consultas do usuário.

O alinhamento de intento sempre foi um desafio significativo para os desenvolvedores, com trabalhos recentes se concentrando no desenvolvimento de benchmarks como AlpacaEval e MT-Bench, desenvolvidos para atacar o desalinhamento. A motivação para o desenvolvimento do framework Zephyr pode ser creditada ao problema de usar a destilação para alinhar um framework de LLM aberto menor, onde o passo principal é utilizar um AIF ou Feedback de Inteligência Artificial para obter dados de preferência de um ensemble do modelo de professor, e então aplicar a otimização de preferência destilada diretamente como o objetivo de aprendizado principal, uma abordagem conhecida como dDPO ou Otimização de Política de Difusão de Desvio. O principal destaque da abordagem dDPO é que, ao contrário de seus antecessores, como PPO ou Otimização de Preferência Próxima, não requer amostragem ou anotações humanas e também reduz o tempo necessário para treinar um modelo de linguagem. Além disso, também permite que os desenvolvedores maximizem as recompensas da amostra final, prestando atenção à sequência dos passos de desvio desde o início até o fim, ou seja, ao longo de toda a extensão.

Os desenvolvedores desenvolveram o framework Zephyr-7B para validar essa abordagem, e de certa forma, é uma versão alinhada do framework de estado da arte Mistral-7B. O framework primeiro usa dSFT ou Fine-Tuning Supervisionado Destilado baseado no conjunto de dados UltraChat, e aplica a abordagem dDPO ou Otimização de Política de Difusão de Desvio nos dados de feedback. Os experimentos indicam que o framework Zephyr-7B com 7 bilhões de parâmetros entrega resultados comparáveis aos entregues por modelos de chat alinhados com feedback humano com mais de 70 bilhões de parâmetros. Além disso, os experimentos também indicam que os resultados podem ser melhorados tanto em termos de benchmarks que levam em consideração as capacidades conversacionais quanto em benchmarks acadêmicos padrão, e o uso de aprendizado de preferência é fundamental para alcançar os resultados desejados.

A figura acima demonstra o desempenho de vários modelos de linguagem no benchmark MT-bench. O framework Zephyr-7B, treinado usando a abordagem dDPO, é comparado com modelos de linguagem proprietários e de acesso aberto, maiores, como GPT-3.5 Turbo, Llama-2-70B, e mais, que foram treinados usando aprendizado de reforço adicional e também incluíram uma grande quantidade de feedback humano. Como pode ser claramente visto, apesar da grande diferença no número de parâmetros que esses frameworks usam, o framework Zephyr-7B entrega resultados comparáveis contra a maioria deles e supera vários frameworks em diferentes domínios.

Zephyr-7B: Método, Funcionamento e Arquitetura

O objetivo principal do framework Zephyr-7B é ajudar um modelo de linguagem grande aberto a se alinhar o mais próximo possível ao intento do usuário, e ao longo de toda a extensão, o framework Zephyr-7B assume que tem acesso a um modelo de professor grande. O framework Zephyr-7B segue uma abordagem semelhante à usada no framework InstructGPT, e visa gerar um modelo de estudante eficaz e preciso.

A figura a seguir demonstra brevemente os três passos principais envolvidos no funcionamento do framework Zephyr-7B.

1. dSFT para construção de conjunto de dados em larga escala usando um estilo de auto-instrução.
2. Coleta de AIF usando um ensemble de modelos de chat completos, seguida de binarização de preferência e pontuação por GPT-4.
3. dPO do modelo dSFT usando os dados de feedback.

dSFT ou Fine-Tuning Supervisionado Destilado

O framework começa com um modelo de linguagem grande bruto que primeiro precisa ser treinado para responder a prompts do usuário. Tradicionalmente, o treinamento desses frameworks de LLM para responder a prompts do usuário é feito usando SFT ou Fine-Tuning Supervisionado em um conjunto de dados que consiste em instruções de alta qualidade e suas respostas correspondentes. Como o framework Zephyr-7B tem acesso a um modelo de professor de linguagem, o framework pode gerar instruções e respostas e treinar o modelo diretamente nessas instruções e respostas, e essa abordagem é conhecida como dSFT ou Fine-Tuning Supervisionado Destilado. A figura a seguir demonstra a destilação realizada pelo SFT, onde x representa um conjunto de prompts de sementes construídos com o objetivo principal de representar um conjunto diversificado de domínios de tópicos, y representa a resposta da amostra, que é refinada usando uma nova instrução de amostra representada por x1 e C representa o ponto final no conjunto de dados final.

Feedback de Inteligência Artificial por meio de Preferências

O feedback humano é usado para atribuir modelos de linguagem grandes, pois podem fornecer os sinais adicionais necessários, e esses feedbacks humanos são tradicionalmente fornecidos por meio de preferências sobre a qualidade das respostas geradas pelos frameworks de LLM. No entanto, o framework Zephyr usa feedback de inteligência artificial do modelo de professor em vez de feedback humano para fins de destilação. A abordagem seguida pelo framework Zephyr é influenciada pela usada pelo framework UltraFeedback, que usa o modelo de professor para fornecer preferências sobre as saídas do modelo.

Semelhante à abordagem SFT ou Fine-Tuning Supervisionado, começa com um conjunto de prompts, onde x representa cada prompt individual que é então alimentado a uma coleção de quatro modelos, como Llama, Falcon, Claude e mais, cada um dos quais gera uma resposta. Essas respostas são então alimentadas como entrada para o modelo de professor, como GPT-3 ou GPT-4, e o modelo produz uma pontuação para a resposta de entrada. Após coletar as pontuações de saída, o modelo salva a resposta com a pontuação mais alta.

dDPO ou Otimização de Política de Difusão de Desvio Destilada

A dDPO é o passo final do framework Zephyr, e seu objetivo principal é refinar o modelo de professor dSFT, maximizando a probabilidade de classificar a resposta preferida em um modelo de preferência determinado por uma função de recompensa, utilizando o modelo de linguagem do estudante. O passo anterior, que envolve o uso de feedback de inteligência artificial, se concentrou principalmente em usar métodos de aprendizado de reforço, como PPO ou Otimização de Política Próxima, para maximizar a otimização com respeito à recompensa gerada. Nesse passo, a recompensa é primeiro treinada e então amostrada a partir da política atual para calcular as atualizações, maximizando assim a otimização. A dPO ou Otimização de Política de Difusão de Desvio segue uma abordagem semelhante para otimizar o modelo de preferência diretamente usando os dados estáticos. O objetivo após conectar a função de recompensa ao modelo de preferência pode ser escrito como

Zephyr-7B: Experimentos, Benchmarks e Resultados

O framework Zephyr realiza seus experimentos de fine-tuning no framework de estado da arte Mistral-7B, que entrega desempenho comparável a modelos de linguagem maiores em uma ampla gama de tarefas de processamento de linguagem natural ou NLP.

Conjuntos de Dados

O framework Zephyr usa dois conjuntos de dados de diálogo que foram destilados a partir de uma mistura de modelos proprietários e abertos, que anteriormente se provaram eficazes na produção de modelos de chat eficazes.

UltraChat

O UltraChat é um conjunto de dados de auto-aperfeiçoamento que consiste em cerca de 1,5 milhão de diálogos multi-virada espalhados por 30 tópicos e 20 materiais de texto gerados pelo framework GPT-3.5-Turbo. Para lidar com o problema de capitalização incorreta enfrentado pelo conjunto de dados UltraChat, o framework aplica uma abordagem de heurística de truecasing para se livrar dos erros gramaticais.

UltraFeedback

O UltraFeedback é um conjunto de dados de prompts com mais de 64k prompts, com cada um desses prompts tendo quatro respostas de LLM individuais. O framework Zephyr usa a pontuação média mais alta obtida do conjunto de dados UltraFeedback para construir preferências binárias, e uma das três respostas de LLM restantes é rejeitada como aleatória.

Avaliação

Para avaliar o desempenho do framework Zephyr, os desenvolvedores optaram por dois benchmarks de chat, um de virada única e um de multi-virada, em uma tentativa de avaliar a capacidade do modelo de seguir as instruções do usuário e responder adequadamente.

MT-Bench

O benchmark de avaliação MT-Bench consiste em 160 perguntas espalhadas por 8 áreas de conhecimento únicas, e sob o benchmark MT-Bench, o modelo precisa responder a uma pergunta inicial e fornecer uma resposta à pergunta de follow-up.

AlpacaEval

O AlpacaEval é um benchmark de virada única, sob o qual o modelo ou o framework gera respostas do usuário para mais de 800 perguntas espalhadas por diferentes tópicos, com foco principal na utilidade.

Além desses dois benchmarks principais, o framework Zephyr-7B também é avaliado na Open LLM Leaderboard para tarefas de classificação multiclasse, ARC, HellaSwag, MMLU e mais. Além disso, independentemente do benchmark que o framework Zephyr-7B é avaliado, é comparado a uma gama de modelos proprietários e abertos, com seus procedimentos de alinhamento sendo o único fator diferenciador.

Resultados

Vamos agora dar uma olhada em como o framework Zephyr-7B se sai e se compara aos modelos de linguagem atuais.

Implementação da Abordagem dDPO Melhora as Capacidades de Chat

A tabela a seguir compara o desempenho do framework Zephyr-7B contra modelos de linguagem de estado da arte nos benchmarks AlpacaEval e MT-Bench.

Como pode ser claramente visto, quando comparado a modelos de 7B abertos, o framework Zephyr-7B não apenas supera significativamente os modelos dSFT em ambos os benchmarks, mas também estabelece novos padrões de estado da arte. Além disso, o framework Zephyr-7B também consegue superar o framework XWIN-LM-7B, que é um dos raros modelos treinados na abordagem dPPO ou distilled PPO. Além disso, o desempenho entregue pelo framework Zephyr-7B é comparável aos resultados entregues por modelos de linguagem maiores, como Llama2-Chat, com mais de 70B parâmetros.

dDPO Melhora o Desempenho em Tarefas Acadêmicas

A figura a seguir compara o desempenho do framework Zephyr-7B contra uma ampla gama de frameworks de LLM abertos e proprietários.

Como pode ser visto, o framework Zephyr-7B supera significativamente os frameworks de LLM com 7B parâmetros, e a diferença entre seu desempenho e o entregue pelos melhores modelos dSFT é notável. À medida que o número de parâmetros aumenta, o framework Zephyr-7B fica um pouco aquém, embora corresponda ao desempenho entregue por frameworks com 40 bilhões de parâmetros.

Otimização de Preferência

Na figura a seguir, avaliamos como os diferentes passos seguidos no processo de alinhamento afetam o desempenho. Como pode ser observado, a abordagem dDPO, quando combinada com dSFT, melhora significativamente o desempenho em ambos os conjuntos de dados MT-Bench e AlpacaEval.

Finalmente, na figura a seguir, podemos ver as precisões de teste e treinamento durante a implementação da dPO. Como pode ser visto, a abordagem dPO não afeta o desempenho do modelo em tarefas downstream.

Conclusão

Neste artigo, falamos sobre o framework Zephyr-7B, baseado no framework de estado da arte Mistral-7B, que visa resolver o desafio atual de destilação de alinhamento de um modelo de linguagem grande para um framework pré-treinado menor. O objetivo principal do framework é permitir que os desenvolvedores produzam modelos de linguagem grandes menores que se alinhem ao intento do usuário mais do que nunca. O framework Zephyr-7B não apenas examina a aplicação de abordagens atuais para frameworks de LLM maiores, como dSFT, mas também explora a possibilidade de usar outras abordagens para aprender um modelo de chat com melhor alinhamento com o intento do usuário.

No entanto, apesar dos resultados promissores, o framework Zephyr-7B não é perfeito, e ainda há trabalho a ser feito. Uma das limitações óbvias é o uso do framework GPT-4 para avaliar os benchmarks MT-Bench e AlpacaEval, que frequentemente é tendencioso em relação aos modelos que ele próprio destila. No entanto, o framework Zephyr-7B espera abrir caminho para explorar as capacidades de modelos abertos menores que sejam capazes de se alinhar com o intento e as interações do usuário.