Prompting Analógico e de Retrocesso: Uma Imersão nos Recentes Avanços da Google DeepMind

Introdução

A engenharia de prompts se concentra em criar prompts eficazes para guiar os Grandes Modelos de Linguagem (LLMs) como o GPT-4 a gerar respostas desejadas. Um prompt bem elaborado pode ser a diferença entre uma resposta vaga ou imprecisa e uma resposta precisa e esclarecedora.

No ecossistema mais amplo de IA, a engenharia de prompts é um dos vários métodos usados para extrair informações mais precisas e contextualmente relevantes dos modelos de linguagem. Outros incluem técnicas como o aprendizado de poucos exemplos, onde o modelo recebe alguns exemplos para ajudá-lo a entender a tarefa, e o ajuste fino, onde o modelo é treinado em um conjunto de dados menor para especializar suas respostas.

Google DeepMind (GOOGL ) publicou recentemente dois artigos que exploram a engenharia de prompts e seu potencial para aprimorar as respostas em várias situações.

Esses artigos são parte da exploração contínua na comunidade de IA para refinar e otimizar como nos comunicamos com os modelos de linguagem, e fornecem novas perspectivas sobre como estruturar prompts para uma melhor manipulação de consultas e interação com bancos de dados.

Este artigo mergulha nos detalhes desses artigos de pesquisa, elucidando os conceitos, metodologias e implicações das técnicas propostas, tornando-o acessível mesmo para leitores com conhecimento limitado em IA e PLN.

Artigo 1: Grandes Modelos de Linguagem como Raciocinadores Analógicos

O primeiro artigo, intitulado “Grandes Modelos de Linguagem como Raciocinadores Analógicos”, apresenta uma nova abordagem de prompting chamada Prompting Analógico. Os autores, Michihiro Yasunaga, Xinyun Chen e outros, se inspiram no raciocínio analógico – um processo cognitivo onde os humanos utilizam experiências passadas para lidar com novos problemas.

Conceitos-Chave e Metodologia

O Prompting Analógico encoraja os LLMs a gerar automaticamente exemplares ou conhecimento relevantes no contexto antes de proceder para resolver um problema dado. Essa abordagem elimina a necessidade de exemplares rotulados, oferecendo generalidade e conveniência, e adapta os exemplares gerados a cada problema específico, garantindo adaptabilidade.

Esquerda: Métodos tradicionais de prompting dos LLMs dependem de entradas genéricas (0-shot CoT) ou necessitam de exemplos rotulados (few-shot CoT). Direita: A nova abordagem promove que os LLMs criem exemplos relevantes antes de resolver o problema, removendo a necessidade de rotulagem e personalizando exemplos para cada problema único

Exemplares Gerados Automaticamente

A primeira técnica apresentada no artigo é a de exemplares gerados automaticamente. A ideia é aproveitar o amplo conhecimento que os LLMs adquiriram durante seu treinamento para ajudá-los a resolver novos problemas. O processo envolve aumentar um problema-alvo com instruções que promovem o modelo a lembrar ou gerar problemas e soluções relevantes.

Por exemplo, dado um problema, o modelo é instruído a lembrar três problemas distintos e relevantes, descrevê-los e explicar suas soluções. Esse processo é projetado para ser realizado em uma única passagem, permitindo que o LLM gere exemplos relevantes e resolva o problema inicial de forma contínua. O uso de símbolos ‘#’ nos prompts ajuda na estruturação da resposta, tornando-a mais organizada e fácil para o modelo seguir.

Decisões técnicas destacadas no artigo incluem a ênfase na geração de exemplares relevantes e diversificados, a adoção de uma abordagem de uma única passagem para maior conveniência e a descoberta de que a geração de três a cinco exemplares produz os melhores resultados.

Conhecimento Gerado Automaticamente + Exemplares

A segunda técnica, conhecimento gerado automaticamente + exemplares, é introduzida para lidar com desafios em tarefas mais complexas, como a geração de código. Nesses cenários, os LLMs podem confiar excessivamente em exemplares de baixo nível e lutar para generalizar ao resolver o problema-alvo. Para mitigar isso, os autores propõem aprimorar o prompt com uma instrução adicional que encoraja o modelo a identificar conceitos centrais no problema e fornecer um tutorial ou uma ideia de alto nível.

Uma consideração crítica é a ordem em que o conhecimento e os exemplares são gerados. Os autores descobriram que gerar conhecimento antes dos exemplares leva a melhores resultados, pois ajuda o LLM a se concentrar nas abordagens fundamentais de resolução de problemas em vez de apenas semelhanças de superfície.

Vantagens e Aplicações

A abordagem de prompting analógico oferece várias vantagens. Ela fornece exemplares detalhados de raciocínio sem a necessidade de rotulagem manual, abordando desafios associados aos métodos 0-shot e few-shot de cadeia de pensamento (CoT). Além disso, os exemplares gerados são personalizados para problemas individuais, oferecendo orientação mais relevante do que o few-shot CoT tradicional, que usa exemplares fixos.

O artigo demonstra a eficácia dessa abordagem em várias tarefas de raciocínio, incluindo resolução de problemas matemáticos, geração de código e outras tarefas de raciocínio no BIG-Bench.

Desempenho em tarefas matemáticas, GSM8K e MATH

Na segunda tabela, para os modelos GPT3.5-turbo-16k e GPT4, “Conhecimento Gerado Automaticamente + Exemplares” mostra o melhor desempenho.

Desempenho na tarefa de geração de código do Codeforces

Artigo 2: Dê um Passo para Trás: Evocando Raciocínio via Abstração em Grandes Modelos de Linguagem

Visão Geral

O segundo artigo, “Dê um Passo para Trás: Evocando Raciocínio via Abstração em Grandes Modelos de Linguagem“, apresenta o Prompting de Retrocesso, uma técnica que encoraja os LLMs a abstrair conceitos de alto nível e princípios de instâncias detalhadas. Os autores, Huaixiu Steven Zheng, Swaroop Mishra e outros, visam melhorar as capacidades de raciocínio dos LLMs, guiando-os para seguir um caminho de raciocínio correto em direção à solução.

Ilustrando o PROMPTING DE RETROCESSO por meio de duas fases de Abstração e Raciocínio, guiadas por conceitos e princípios-chave.

Vamos criar um exemplo mais simples usando uma pergunta matemática básica para demonstrar a técnica “Pergunta de Retrocesso”:

Pergunta Original: Se um trem viaja a uma velocidade de 60 km/h e percorre uma distância de 120 km, quanto tempo levará?

Opções:

3 horas
2 horas
1 hora
4 horas
Resposta Original [Incorreta]: A resposta correta é 1).

Pergunta de Retrocesso: Qual é a fórmula básica para calcular o tempo dado a velocidade e distância?

Princípios:
Para calcular o tempo, usamos a fórmula:
Tempo = Distância / Velocidade

Resposta Final:
Usando a fórmula, Tempo = 120 km / 60 km/h = 2 horas.
A resposta correta é 2) 2 horas.

Embora os LLMs hoje possam facilmente responder à pergunta acima, esse exemplo é apenas para demonstrar como a técnica de retrocesso funcionaria. Para cenários mais desafiadores, a mesma técnica pode ser aplicada para dissecar e abordar o problema de forma sistemática. Abaixo está um caso mais complexo demonstrado no artigo:

PROMPTING DE RETROCESSO no conjunto de dados MMLU-Química

Conceitos-Chave e Metodologia

A essência do Prompting de Retrocesso reside em sua capacidade de fazer com que os LLMs deem um passo para trás, encorajando-os a olhar para o quadro geral em vez de se perderem nos detalhes. Isso é alcançado por meio de uma série de prompts cuidadosamente elaborados que guiam os LLMs para abstrair informações, derivar conceitos de alto nível e aplicá-los para resolver o problema dado.

O processo começa com os LLMs sendo instruídos a abstrair detalhes das instâncias dadas, encorajando-os a se concentrar nos conceitos e princípios subjacentes. Essa etapa é crucial, pois estabelece o palco para os LLMs abordarem o problema a partir de uma perspectiva mais informada e baseada em princípios.

Uma vez que os conceitos de alto nível são derivados, eles são usados para guiar os LLMs através das etapas de raciocínio em direção à solução. Essa orientação garante que os LLMs permaneçam no caminho certo, seguindo um caminho lógico e coerente que é fundamentado nos conceitos e princípios abstraídos.

Os autores realizam uma série de experimentos para validar a eficácia do Prompting de Retrocesso, utilizando modelos PaLM-2L em uma variedade de tarefas desafiadoras que dependem do raciocínio. Essas tarefas incluem problemas STEM, Perguntas de Conhecimento e Raciocínio de Várias Etapas, fornecendo um teste abrangente para avaliar a técnica.

Melhorias Substanciais em Todas as Tarefas

Os resultados são impressionantes, com o Prompting de Retrocesso levando a ganhos significativos de desempenho em todas as tarefas. Por exemplo, a técnica melhora o desempenho do PaLM-2L no MMLU Física e Química em 7% e 11%, respectivamente. Da mesma forma, ela aumenta o desempenho no TimeQA em 27% e no MuSiQue em 7%.

Desempenho do PROMPTING DE RETROCESSO vs CoT

Esses resultados destacam o potencial do Prompting de Retrocesso para significativamente aprimorar as capacidades de raciocínio dos LLMs.

Conclusão

Ambos os artigos da Google DeepMind apresentam abordagens inovadoras para a engenharia de prompts, visando aprimorar as capacidades de raciocínio dos grandes modelos de linguagem. O Prompting Analógico aproveita o conceito de raciocínio analógico, encorajando os modelos a gerar seus próprios exemplos e conhecimento, levando a uma resolução de problemas mais adaptável e eficiente. Por outro lado, o Prompting de Retrocesso se concentra na abstração, guiando os modelos para derivar conceitos de alto nível e princípios, o que, por sua vez, melhora suas capacidades de raciocínio.

Esses artigos de pesquisa fornecem insights valiosos e metodologias que podem ser aplicados em vários domínios, levando a modelos de linguagem mais inteligentes e capazes. À medida que continuamos a explorar e entender as complexidades da engenharia de prompts, essas abordagens servem como etapas cruciais em direção ao desenvolvimento de sistemas de IA mais avançados e sofisticados.