Prompting Analógico e de Recuo: Uma Imersão nos Recentes Avanços do Google DeepMind

Introdução

A engenharia de prompts se concentra em criar prompts eficazes para guiar os Grandes Modelos de Linguagem (LLMs) como o GPT-4 na geração de respostas desejadas. Um prompt bem elaborado pode ser a diferença entre uma resposta vaga ou imprecisa e uma resposta precisa e esclarecedora.

No ecossistema mais amplo de IA, a engenharia de prompts é um dos vários métodos usados para extrair informações mais precisas e contextualmente relevantes dos modelos de linguagem. Outros incluem técnicas como o aprendizado de poucos exemplos, onde o modelo é dado alguns exemplos para ajudá-lo a entender a tarefa, e o ajuste fino, onde o modelo é treinado novamente em um conjunto de dados menor para especializar suas respostas.

O Google DeepMind publicou recentemente dois artigos que exploram a engenharia de prompts e seu potencial para aprimorar as respostas em múltiplas situações.

Esses artigos fazem parte da exploração contínua na comunidade de IA para refinar e otimizar como nos comunicamos com os modelos de linguagem, e fornecem novas perspectivas sobre a estruturação de prompts para um melhor tratamento de consultas e interação com bancos de dados.

Este artigo mergulha nos detalhes desses artigos de pesquisa, esclarecendo os conceitos, metodologias e implicações das técnicas propostas, tornando-os acessíveis mesmo para leitores com conhecimento limitado em IA e PNL.

Artigo 1: Grandes Modelos de Linguagem como Raciocinadores Analógicos

O primeiro artigo, intitulado “Grandes Modelos de Linguagem como Raciocinadores Analógicos”, apresenta uma nova abordagem de prompting chamada Prompting Analógico. Os autores, Michihiro Yasunaga, Xinyun Chen e outros, se inspiram na raciocinação analógica — um processo cognitivo onde os humanos utilizam experiências passadas para lidar com novos problemas.

Conceitos Chave e Metodologia

O Prompting Analógico encoraja os LLMs a auto-gerar exemplares ou conhecimento relevantes no contexto antes de proceder para resolver um problema dado. Essa abordagem elimina a necessidade de exemplares rotulados, oferecendo generalidade e conveniência, e adapta os exemplares gerados a cada problema específico, garantindo adaptabilidade.

Esquerda: Métodos tradicionais de prompting LLMs dependem de entradas genéricas (0-shot CoT) ou necessitam de exemplos rotulados (few-shot CoT). Direita: A nova abordagem promove LLMs para auto-criar exemplos relevantes antes de resolver o problema, removendo a necessidade de rotulagem enquanto personaliza exemplos para cada problema único

Exemplares Auto-Gerados

A primeira técnica apresentada no artigo é a de exemplares auto-gerados. A ideia é aproveitar o amplo conhecimento que os LLMs adquiriram durante seu treinamento para ajudá-los a resolver novos problemas. O processo envolve aumentar um problema-alvo com instruções que promovem o modelo a lembrar ou gerar problemas e soluções relevantes.

Por exemplo, dado um problema, o modelo é instruído a lembrar de três problemas distintos e relevantes, descrevê-los e explicar suas soluções. Esse processo é projetado para ser realizado em uma única passagem, permitindo que o LLM gere exemplos relevantes e resolva o problema inicial de forma contínua. O uso de símbolos ‘#’ nos prompts ajuda na estruturação da resposta, tornando-a mais organizada e fácil para o modelo seguir.

Decisões técnicas destacadas no artigo incluem a ênfase na geração de exemplares relevantes e diversificados, a adoção de uma abordagem de uma única passagem para maior conveniência e a constatação de que a geração de três a cinco exemplares produz os melhores resultados.

Conhecimento Auto-Gerado + Exemplares

A segunda técnica, conhecimento auto-gerado + exemplares, é introduzida para abordar desafios em tarefas mais complexas, como a geração de código. Nesses cenários, os LLMs podem confiar excessivamente em exemplares de baixo nível e lutar para generalizar ao resolver os problemas-alvo. Para mitigar isso, os autores propõem aprimorar o prompt com uma instrução adicional que encoraja o modelo a identificar conceitos-chave no problema e fornecer um tutorial ou uma ideia de alto nível.

Uma consideração crítica é a ordem em que o conhecimento e os exemplares são gerados. Os autores descobriram que gerar conhecimento antes dos exemplares leva a melhores resultados, pois ajuda o LLM a se concentrar nas abordagens fundamentais de resolução de problemas em vez de apenas semelhanças superficiais.

Vantagens e Aplicações

A abordagem de prompting analógico oferece várias vantagens. Ela fornece exemplares detalhados de raciocínio sem a necessidade de rotulagem manual, abordando desafios associados a métodos 0-shot e few-shot de cadeia de pensamento (CoT). Além disso, os exemplares gerados são personalizados para problemas individuais, oferecendo orientação mais relevante do que o few-shot CoT tradicional, que usa exemplares fixos.

O artigo demonstra a eficácia dessa abordagem em várias tarefas de raciocínio, incluindo resolução de problemas matemáticos, geração de código e outras tarefas de raciocínio no BIG-Bench.

As tabelas abaixo apresentam métricas de desempenho de vários métodos de prompting em diferentes arquiteturas de modelo. Notavelmente, o método “Exemplares Auto-Gerados” consistentemente supera outros métodos em termos de precisão. Na precisão do GSM8K, esse método alcança o melhor desempenho no modelo PaLM2 em 81,7%. Da mesma forma, para a precisão em MATH, ele lidera a tabela no GPT3.5-turbo em 37,3%.

Desempenho em tarefas matemáticas, GSM8K e MATH

Na segunda tabela, para os modelos GPT3.5-turbo-16k e GPT4, “Conhecimento Auto-Gerado + Exemplares” mostra o melhor desempenho.

Desempenho na tarefa de geração de código do Codeforces

Artigo 2: Dê um Passo para Trás: Evocando Raciocínio via Abstração em Grandes Modelos de Linguagem

Visão Geral

O segundo artigo, “Dê um Passo para Trás: Evocando Raciocínio via Abstração em Grandes Modelos de Linguagem” apresenta a técnica de Prompting de Recuo, que encoraja os LLMs a abstrair conceitos de alto nível e princípios de instâncias detalhadas. Os autores, Huaixiu Steven Zheng, Swaroop Mishra, e outros, visam melhorar as capacidades de raciocínio dos LLMs, guiando-os para seguir um caminho de raciocínio correto emeção à solução.

Ilustrando o PROMPTING DE RECUO por meio de duas fases de Abstração e Raciocínio, guiadas por conceitos e princípios-chave.

Vamos criar um exemplo mais simples usando uma pergunta básica de matemática para demonstrar a técnica “Pergunta de Recuo”:

Pergunta Original: Se um trem viaja a uma velocidade de 60 km/h e percorre uma distância de 120 km, quanto tempo levará?

Opções:

3 horas
2 horas
1 hora
4 horas
Resposta Original [Incorreta]: A resposta correta é 1).

Pergunta de Recuo: Qual é a fórmula básica para calcular o tempo dado a velocidade e a distância?

Princípios:
Para calcular o tempo, usamos a fórmula:
Tempo = Distância / Velocidade

Resposta Final:
Usando a fórmula, Tempo = 120 km / 60 km/h = 2 horas.
A resposta correta é 2) 2 horas.

Embora os LLMs hoje possam facilmente responder à pergunta acima, este exemplo é apenas para demonstrar como a técnica de recuo funcionaria. Para cenários mais desafiadores, a mesma técnica pode ser aplicada para dissecar e abordar o problema de forma sistemática. Abaixo está um caso mais complexo demonstrado no artigo:

PROMPTING DE RECUO no conjunto de dados MMLU-Química

Conceitos Chave e Metodologia

A essência do Prompting de Recuo reside em sua capacidade de fazer com que os LLMs deem um passo para trás, encorajando-os a olhar para o quadro maior em vez de se perderem nos detalhes. Isso é alcançado por meio de uma série de prompts cuidadosamente elaborados que guiam os LLMs para abstrair informações, derivar conceitos de alto nível e aplicá-los para resolver o problema dado.

O processo começa com os LLMs sendo instruídos a abstrair detalhes das instâncias dadas, encorajando-os a se concentrar nos conceitos e princípios subjacentes. Essa etapa é crucial, pois estabelece o palco para os LLMs abordarem o problema a partir de uma perspectiva mais informada e baseada em princípios.

Uma vez que os conceitos de alto nível são derivados, eles são usados para guiar os LLMs através das etapas de raciocínio emeção à solução. Essa orientação garante que os LLMs permaneçam no caminho certo, seguindo um caminho lógico e coerente que está fundamentado nos conceitos e princípios abstraídos.

Os autores realizam uma série de experimentos para validar a eficácia do Prompting de Recuo, usando modelos PaLM-2L em uma variedade de tarefas desafiadoras que dependem do raciocínio. Essas tarefas incluem problemas STEM, Perguntas e Respostas de Conhecimento e Raciocínio de Várias Etapas, fornecendo um teste abrangente para avaliar a técnica.

Melhorias Substanciais em Todas as Tarefas

Os resultados são impressionantes, com o Prompting de Recuo levando a ganhos significativos de desempenho em todas as tarefas. Por exemplo, a técnica melhora o desempenho do PaLM-2L em Física e Química do MMLU em 7% e 11%, respectivamente. Da mesma forma, ela aumenta o desempenho no TimeQA em 27% e no MuSiQue em 7%.

Desempenho do PROMPTING DE RECUO vs CoT

Esses resultados destacam o potencial do Prompting de Recuo para significativamente aprimorar as capacidades de raciocínio dos LLMs.

Conclusão

Ambos os artigos do Google DeepMind apresentam abordagens inovadoras para a engenharia de prompts, visando aprimorar as capacidades de raciocínio dos grandes modelos de linguagem. O Prompting Analógico aproveita o conceito de raciocínio analógico, encorajando os modelos a gerar seus próprios exemplos e conhecimento, levando a uma resolução de problemas mais adaptável e eficiente. Por outro lado, o Prompting de Recuo se concentra na abstração, guiando os modelos para derivar conceitos e princípios de alto nível, o que, por sua vez, melhora suas capacidades de raciocínio.

Esses artigos de pesquisa fornecem insights e metodologias valiosas que podem ser aplicadas em vários domínios, levando a modelos de linguagem mais inteligentes e capazes. À medida que continuamos a explorar e entender as complexidades da engenharia de prompts, essas abordagens servem como etapas cruciais para alcançar sistemas de IA mais avançados e sofisticados.