Por que os Grandes Modelos de Linguagem (LLMs) Ignoram Instruções e Como Abordar o Problema

Grandes Modelos de Linguagem (LLMs) tornaram-se ferramentas indispensáveis de Inteligência Artificial (IA), alimentando aplicações desde chatbots e criação de conteúdo até assistência de codificação. Apesar de suas impressionantes capacidades, um desafio comum que os usuários enfrentam é que esses modelos às vezes ignoram partes das instruções que recebem, especialmente quando essas instruções são longas ou envolvem várias etapas. Esse comportamento de ignorar instruções leva a saídas incompletas ou imprecisas, o que pode causar confusão e erodir a confiança nos sistemas de IA. Entender por que os LLMs ignoram instruções e como abordar esse problema é essencial para os usuários que dependem desses modelos para resultados precisos e confiáveis.

Por que os LLMs Ignoram Instruções?

Os LLMs funcionam lendo o texto de entrada como uma sequência de tokens. Tokens são as pequenas partes em que o texto é dividido. O modelo processa esses tokens um após o outro, do início ao fim. Isso significa que as instruções no início da entrada tendem a receber mais atenção. Instruções posteriores podem receber menos foco e podem ser ignoradas.

Isso acontece porque os LLMs têm uma capacidade de atenção limitada. A atenção é o mecanismo que os modelos usam para decidir quais partes da entrada são essenciais ao gerar respostas. Quando a entrada é curta, a atenção funciona bem. Mas a atenção se torna menos eficaz à medida que a entrada fica mais longa ou as instruções se tornam complexas. Isso enfraquece o foco nas partes posteriores, causando a ignorância de instruções.

Além disso, muitas instruções ao mesmo tempo aumentam a complexidade. Quando as instruções se sobrepõem ou entram em conflito, os modelos podem ficar confusos. Eles podem tentar responder a tudo, mas produzir respostas vagas ou contraditórias. Isso frequentemente resulta em instruções perdidas.

Os LLMs também compartilham algumas limitações humanas. Por exemplo, os humanos podem perder o foco ao ler textos longos ou repetitivos. Da mesma forma, os LLMs podem esquecer instruções posteriores à medida que processam mais tokens. Essa perda de foco faz parte do design e das limitações do modelo.

Outro motivo é como os LLMs são treinados. Eles veem muitos exemplos de instruções simples, mas menos instruções complexas e multietapas. Por causa disso, os modelos tendem a preferir seguir instruções mais simples, que são mais comuns em seus dados de treinamento. Esse viés os leva a ignorar instruções complexas. Além disso, os limites de tokens restringem a quantidade de entrada que o modelo pode processar. Quando as entradas excedem esses limites, as instruções além do limite são ignoradas.

Exemplo: Suponha que você forneça a um LLM cinco instruções em uma única solicitação. O modelo pode se concentrar principalmente nas duas primeiras instruções e ignorar parcial ou totalmente as três últimas. Isso afeta diretamente como o modelo processa tokens sequencialmente e suas limitações de atenção.

Como os LLMs Gerenciam Instruções Sequenciais com base nos Achados do SIFo 2024

Estudos recentes examinaram cuidadosamente como os LLMs seguem várias instruções fornecidas uma após a outra. Um estudo importante é o Benchmark de Instruções Sequenciais (SIFo) de 2024. Esse benchmark testa os modelos em tarefas que necessitam de conclusão de instruções em etapas, como modificação de texto, resposta a perguntas, matemática e segurança. Cada instrução na sequência depende da conclusão correta da instrução anterior. Essa abordagem ajuda a verificar se o modelo seguiu toda a sequência corretamente.

Os resultados do SIFo mostram que mesmo os melhores LLMs, como o GPT-4 e o Claude-3, frequentemente encontram dificuldades em concluir todas as instruções corretamente. Isso é especialmente verdadeiro quando as instruções são longas ou complicadas. A pesquisa destaca três principais problemas que os LLMs enfrentam ao seguir instruções:

Entendimento: Compreender completamente o que cada instrução significa.

Raciocínio: Conectar várias instruções de forma lógica para manter a resposta clara.

Saída Confiável: Produzir respostas completas e precisas, cobrindo todas as instruções fornecidas.

Técnicas como engenharia de prompts e fine-tuning ajudam a melhorar como os modelos seguem instruções. No entanto, esses métodos não resolvem completamente o problema de ignorar instruções. Usar Aprendizado por Reforço com Feedback Humano (RLHF) melhora ainda mais a capacidade do modelo de responder apropriadamente. Ainda assim, os modelos têm dificuldade quando as instruções exigem muitas etapas ou são muito complexas.

O estudo também mostra que os LLMs funcionam melhor quando as instruções são simples, claramente separadas e bem organizadas. Quando as tarefas exigem longas cadeias de raciocínio ou muitas etapas, a precisão do modelo diminui. Essas descobertas ajudam a sugerir melhores maneiras de usar os LLMs e mostram a necessidade de construir modelos mais fortes que possam realmente seguir instruções em sequência.

Por que os LLMs Ignoram Instruções: Desafios Técnicos e Considerações Práticas

Os LLMs podem ignorar instruções devido a vários fatores técnicos e práticos enraizados em como eles processam e codificam o texto de entrada.

Atenção Limitada e Diluição de Informação

Os LLMs dependem de mecanismos de atenção para atribuir importância a diferentes partes da entrada. Quando os prompts são concisos, a atenção do modelo é focada e eficaz. No entanto, à medida que o prompt cresce em comprimento ou se torna mais repetitivo, a atenção se dilui, e os tokens ou instruções posteriores recebem menos foco, aumentando a probabilidade de que sejam ignorados. Esse fenômeno, conhecido como diluição de informação, é especialmente problemático para instruções que aparecem tarde em um prompt. Além disso, os modelos têm limites de tokens fixos (por exemplo, 2048 tokens); qualquer texto além desse limite é truncado e ignorado, causando a ignorância de instruções no final.

Complexidade de Saída e Ambiguidade

Os LLMs podem lutar para produzir respostas claras e completas quando enfrentam múltiplas ou conflitantes instruções. O modelo pode gerar respostas parciais ou vagas para evitar contradições ou confusão, efetivamente omitindo algumas instruções. A ambiguidade na forma como as instruções são expressas também apresenta desafios: prompts imprecisos ou vagos tornam difícil para o modelo determinar as ações pretendidas, aumentando o risco de ignorar ou mal interpretar partes da entrada.

Projeto e Sensibilidade de Formatação do Prompt

A estrutura e a redação dos prompts também desempenham um papel crítico na capacidade do modelo de seguir instruções. A pesquisa mostra que mesmo pequenas alterações na forma como as instruções são escritas ou formatadas podem impactar significativamente se o modelo as segue.

Prompts mal estruturados, que carecem de separação clara, pontos ou numeração, tornam mais difícil para o modelo distinguir entre etapas, aumentando a chance de mesclar ou omitir instruções. A representação interna do prompt pelo modelo é altamente sensível a essas variações, o que explica por que a engenharia de prompts (reescrita ou reestruturação de prompts) pode melhorar substancialmente a adesão às instruções, mesmo que o conteúdo subjacente permaneça o mesmo.

Como Corrigir a Ignorância de Instruções nos LLMs

Melhorar a capacidade dos LLMs de seguir instruções com precisão é essencial para produzir resultados confiáveis e precisos. As seguintes práticas recomendadas devem ser consideradas para minimizar a ignorância de instruções e melhorar a qualidade das respostas geradas pela IA:

As Tarefas Devem Ser Divididas em Partes Menores

Prompts longos ou multietapas devem ser divididos em segmentos mais focados e menores. Fornecer uma ou duas instruções de cada vez permite que o modelo mantenha melhor atenção e reduz a probabilidade de perder alguma etapa.

Exemplo

Em vez de combinar todas as instruções em um único prompt, como “Resuma o texto, liste os principais pontos, sugira melhorias e traduza para o francês“, cada instrução deve ser apresentada separadamente ou em grupos menores.

As Instruções Devem Ser Formatadas Usando Listas Numeradas ou Pontos

Organizar as instruções com formatação explícita, como listas numeradas ou pontos, ajuda a indicar que cada item é uma tarefa individual. Essa clareza aumenta as chances de que a resposta aborde todas as instruções.

Exemplo

• Resuma o texto a seguir.
• Liste os principais pontos.
• Sugira melhorias.

Esse formato fornece dicas visuais que ajudam o modelo a reconhecer e separar tarefas distintas dentro de um prompt.

As Instruções Devem Ser Explícitas e Não Ambíguas

É essencial que as instruções especifiquem claramente a necessidade de concluir cada etapa. Linguagem ambígua ou vaga deve ser evitada. O prompt deve indicar explicitamente que nenhuma etapa pode ser pulada.

Exemplo

“Por favor, complete todas as três tarefas abaixo. Pular qualquer etapa não é aceitável.”

Declarações diretas como essa reduzem a confusão e incentivam o modelo a fornecer respostas completas.

Prompts Separados Devem Ser Usados para Tarefas Críticas ou de Alto Risco

Cada instrução deve ser submetida como um prompt individual para tarefas onde a precisão e a completude são críticas. Embora essa abordagem possa aumentar o tempo de interação, ela melhora significativamente a probabilidade de obter saídas completas e precisas. Esse método garante que o modelo se concentre inteiramente em uma tarefa de cada vez, reduzindo o risco de instruções perdidas.

Estratégias Avançadas para Equilibrar Completude e Eficiência

Aguardo de uma resposta após cada instrução única pode ser demorado para os usuários. Para melhorar a eficiência enquanto mantém a clareza e reduz a ignorância de instruções, as seguintes técnicas de prompt avançadas podem ser eficazes:

Combinação de Instruções com Formatação Clara e Rótulos Explícitos

Múltiplas instruções relacionadas podem ser combinadas em um único prompt, mas cada uma deve ser separada usando numeração ou títulos. O prompt também deve instruir o modelo a responder a todas as instruções completamente e em ordem.

Exemplo de Prompt

Por favor, complete todas as tarefas a seguir com cuidado, sem pular nenhuma:

1. Resuma o texto abaixo.
2. Liste os principais pontos da sua resumo.
3. Sugira melhorias com base nos principais pontos.
4. Traduza o texto melhorado para o francês.

Prompts no Estilo de Corrente de Pensamento

Prompts no estilo de corrente de pensamento orientam o modelo a raciocinar por meio de cada tarefa passo a passo antes de fornecer uma resposta. Incentivar o modelo a processar instruções sequencialmente dentro de uma única resposta ajuda a garantir que nenhuma etapa seja pulada, reduzindo a chance de ignorar instruções e melhorando a completude.

Exemplo de Prompt

Leia o texto abaixo e faça as seguintes tarefas em ordem. Mostre seu trabalho claramente:

• Resuma o texto.
• Identifique os principais pontos da sua resumo.
• Sugira melhorias para o texto.
• Traduza o texto melhorado para o francês.

Por favor, responda a todas as tarefas completamente e separadamente em uma única resposta.

Adicionar Instruções de Conclusão e Lembranças

Lembre explicitamente o modelo para:

• “Responda a cada tarefa completamente.”
• “Não pule nenhuma instrução.”
• “Separe suas respostas claramente.”

Essas lembranças ajudam o modelo a se concentrar na completude quando múltiplas instruções são combinadas.

Testar Diferentes Modelos e Configurações de Parâmetros Deve Ser Considerado

Não todos os LLMs performam igualmente ao seguir múltiplas instruções. É aconselhável avaliar vários modelos para identificar aqueles que se destacam em tarefas multietapas. Além disso, ajustar parâmetros como temperatura, tokens máximos e prompts do sistema pode melhorar ainda mais o foco e a completude das respostas. Testar essas configurações ajuda a personalizar o comportamento do modelo para os requisitos específicos da tarefa.

Ajuste Fino de Modelos e Uso de Ferramentas Externas Devem Ser Considerados

Os modelos devem ser ajustados finamente em conjuntos de dados que incluam instruções multietapas ou sequenciais para melhorar sua adesão a prompts complexos. Técnicas como RLHF podem melhorar ainda mais a capacidade do modelo de seguir instruções.

Para casos de uso avançados, a integração de ferramentas externas, como APIs, plugins específicos de tarefas ou Sistemas de Geração Aumentada por Recuperação (RAG), pode fornecer contexto adicional e controle, melhorando a confiabilidade e a precisão das saídas.

A Linha de Fundo

Os LLMs são ferramentas poderosas, mas podem ignorar instruções quando os prompts são longos ou complexos. Isso acontece devido à forma como eles lêem a entrada e focam sua atenção. As instruções devem ser claras, simples e bem organizadas para obter resultados melhores e mais confiáveis.

Usar prompts separados pode melhorar a precisão para tarefas críticas, embora isso possa levar mais tempo. Além disso, métodos de prompt avançados, como a corrente de pensamento e a formatação clara, ajudam a equilibrar velocidade e precisão. Além disso, testar diferentes modelos e ajustar finamente também podem melhorar os resultados. Essas ideias ajudarão os usuários a obter respostas consistentes e completas e a tornar as ferramentas de IA mais úteis no trabalho real.