Como os Grandes Modelos de Linguagem (LLM) Vão Energizar os Aplicativos do Futuro

A inteligência artificial gerativa e, em particular, a variedade de linguagem – ChatGPT está em todos os lugares. A tecnologia de Grande Modelo de Linguagem (LLM) desempenhará um papel significativo no desenvolvimento de aplicativos futuros. Os LLMs são muito bons em entender a linguagem devido ao treinamento extensivo que foi feito para modelos de base em trilhões de linhas de texto de domínio público, incluindo código. Métodos como ajuste fino supervisionado e aprendizado reforçado com feedback humano (RLHF) tornam esses LLMs ainda mais eficientes em responder a perguntas específicas e conversar com os usuários. À medida que entramos na próxima fase de aplicativos de IA alimentados por LLMs, os seguintes componentes-chave serão cruciais para esses aplicativos de próxima geração. A figura abaixo mostra essa progressão, e à medida que você se move pela cadeia, você constrói mais inteligência e autonomia nos aplicativos. Vamos olhar para esses vários níveis.

Chamadas LLM:

Essas são chamadas diretas para modelos de conclusão ou chat por um provedor de LLM, como Azure OpenAI ou Google PaLM ou Amazon Bedrock. Essas chamadas têm um prompt muito básico e usam principalmente a memória interna do LLM para produzir a saída.

Exemplo: Pedir a um modelo básico como “text-davinci” para “contar uma piada”. Você dá muito pouco contexto e o modelo confia em sua memória pré-treinada interna para criar uma resposta (realçada em verde na figura abaixo – usando Azure OpenAI).

Prompts:

O próximo nível de inteligência está em adicionar mais e mais contexto aos prompts. Existem técnicas de engenharia de prompts que podem ser aplicadas aos LLMs para que eles forneçam respostas personalizadas. Por exemplo, ao gerar um e-mail para um usuário, algum contexto sobre o usuário, compras passadas e padrões de comportamento pode servir como prompt para personalizar melhor o e-mail. Usuários familiarizados com o ChatGPT sabem de diferentes métodos de prompting, como fornecer exemplos que são usados pelo LLM para construir a resposta. Os prompts aumentam a memória interna do LLM com contexto adicional. O exemplo está abaixo.

Embeddings:

Os embeddings levam os prompts para o próximo nível, procurando em um repositório de conhecimento por contexto e obtendo esse contexto e anexando-o ao prompt. Aqui, o primeiro passo é criar um grande repositório de documentos com texto não estruturado que possa ser pesquisado, indexando o texto e populando um banco de dados de vetores. Para isso, um modelo de embedding como ‘ada’ da OpenAI é usado, que pega um pedaço de texto e o converte em um vetor n-dimensional. Esses embeddings capturam o contexto do texto, então frases semelhantes terão embeddings que estão próximas umas das outras no espaço de vetores. Quando o usuário insere uma consulta, essa consulta também é convertida em embedding e esse vetor é comparado com os vetores no banco de dados. Assim, obtemos os 5 ou 10 textos mais correspondentes para a consulta, que formam o contexto. A consulta e o contexto são passados para o LLM para responder à pergunta de maneira humana.

Cadeias:

Hoje, as Cadeias são a tecnologia mais avançada e madura disponível, que está sendo extensivamente usada para construir aplicativos de LLM. As Cadeias são determinísticas, onde uma sequência de chamadas de LLM é unida com a saída de uma fluindo para uma ou mais LLMs. Por exemplo, poderíamos ter uma chamada de LLM que consulta um banco de dados SQL e obtém uma lista de e-mails de clientes e envia essa lista para outra LLM que gera e-mails personalizados para os clientes. Essas cadeias de LLM podem ser integradas a fluxos de aplicativos existentes para gerar resultados mais valiosos. Usando cadeias, poderíamos aumentar as chamadas de LLM com entradas externas, como chamadas de API e integração com grafos de conhecimento, para fornecer contexto. Além disso, hoje, com vários provedores de LLM disponíveis, como OpenAI, AWS Bedrock, Google PaLM, MosaicML, etc., poderíamos combinar e mesclar chamadas de LLM em cadeias. Para elementos de cadeia com inteligência limitada, um LLM mais baixo, como ‘gpt3.5-turbo’, poderia ser usado, enquanto para tarefas mais avançadas, ‘gpt4’ poderia ser usado. As cadeias fornecem uma abstração para dados, aplicativos e chamadas de LLM.

Agentes:

Os Agentes são um tópico de muitos debates online, particularmente em relação à inteligência artificial geral (IAG). Os Agentes usam um LLM avançado, como ‘gpt4’ ou ‘PaLM2’, para planejar tarefas em vez de ter cadeias pré-definidas. Então, agora, quando há solicitações de usuários, com base na consulta, o agente decide que conjunto de tarefas chamar e dinamicamente constrói uma cadeia. Por exemplo, quando configuramos um agente com um comando como “notificar clientes quando a taxa de juros do empréstimo muda devido a uma atualização da regulamentação do governo”. O framework do agente faz uma chamada de LLM para decidir sobre as etapas a serem tomadas ou cadeias a serem construídas. Aqui, isso envolverá invocar um aplicativo que raspa sites regulamentares e extrai a taxa de juros mais recente, então uma chamada de LLM procura o banco de dados e extrai os e-mails dos clientes que são afetados e, finalmente, um e-mail é gerado para notificar todos.

Pensamentos Finais

O LLM é uma tecnologia altamente evolutiva, e melhores modelos e aplicativos estão sendo lançados todas as semanas. LLM para Agentes é a escada de inteligência, e à medida que subimos, construímos aplicativos autônomos complexos. Melhores modelos significarão agentes mais eficazes, e os aplicativos de próxima geração serão alimentados por esses. O tempo dirá quão avançados os aplicativos de próxima geração serão e quais padrões eles serão alimentados.