Como os Grandes Modelos de Linguagem (LLM) Irão Energizar os Aplicativos do Futuro

A inteligência artificial gerativa e, particularmente, a variedade linguística dela – ChatGPT está em todos os lugares. A tecnologia de Grande Modelo de Linguagem (LLM) desempenhará um papel significativo no desenvolvimento de aplicativos futuros. Os LLMs são muito bons em entender a linguagem devido ao treinamento extensivo que foi feito para modelos de base em trilhões de linhas de texto de domínio público, incluindo código. Métodos como ajuste fino supervisionado e aprendizado reforçado com feedback humano (RLHF) tornam esses LLMs ainda mais eficientes em responder a perguntas específicas e conversar com os usuários. À medida que entramos na próxima fase de aplicativos de IA alimentados por LLMs – os seguintes componentes-chave serão cruciais para esses aplicativos de próxima geração. A figura abaixo mostra essa progressão, e à medida que você se move para cima da cadeia, você constrói mais inteligência e autonomia em seus aplicativos. Vamos olhar para esses vários níveis.

Chamadas LLM:

Essas são chamadas diretas para modelos de conclusão ou chat por um provedor de LLM como Azure OpenAI ou Google PaLM ou Amazon Bedrock. Essas chamadas têm um prompt muito básico e usam principalmente a memória interna do LLM para produzir a saída.

Exemplo: Pedir a um modelo básico como “text-davinci” para “contar uma piada”. Você dá muito pouco contexto e o modelo confia em sua memória pré-treinada interna para virar com uma resposta (realçada em verde na figura abaixo – usando Azure OpenAI).

Prompts:

O próximo nível de inteligência está em adicionar mais e mais contexto aos prompts. Existem técnicas de engenharia de prompts que podem ser aplicadas a LLMs que podem fazê-los dar respostas personalizadas. Por exemplo, quando gerar um e-mail para um usuário, algum contexto sobre o usuário, compras passadas e padrões de comportamento pode servir como prompt para melhor personalizar o e-mail. Usuários familiarizados com ChatGPT sabem diferentes métodos de prompting como dar exemplos que são usados pelo LLM para construir a resposta. Prompts aumentam a memória interna do LLM com contexto adicional. Exemplo está abaixo.

Embeddings:

Embeddings levam prompts para o próximo nível, procurando um repositório de conhecimento por contexto e obtendo esse contexto e anexando-o ao prompt. Aqui, o primeiro passo é criar um grande repositório de documentos com texto não estruturado que possa ser pesquisado, indexando o texto e populando um banco de dados de vetores. Para isso, um modelo de embedding como ‘ada’ da OpenAI é usado, que pega um pedaço de texto e o converte em um vetor n-dimensional. Esses embeddings capturam o contexto do texto, então frases semelhantes terão embeddings que estão próximas umas das outras no espaço de vetor. Quando o usuário entra com uma consulta, essa consulta também é convertida em embedding e esse vetor é combinado com vetores no banco de dados. Assim, obtemos os 5 ou 10 principais trechos de texto correspondentes à consulta, que formam o contexto. A consulta e o contexto são passados para o LLM para responder à pergunta de maneira humana.

Cadeias:

Hoje, Cadeias é a tecnologia mais avançada e madura disponível que está sendo extensivamente usada para construir aplicativos LLM. Cadeias são determinísticas, onde uma sequência de chamadas LLM é unida com a saída de uma fluindo para uma ou mais LLMs. Por exemplo, poderíamos ter uma chamada LLM que consulta um banco de dados SQL e obtém uma lista de e-mails de clientes e envia essa lista para outra LLM que irá gerar e-mails personalizados para os clientes. Essas cadeias LLM podem ser integradas em fluxos de aplicativos existentes para gerar resultados mais valiosos. Usando cadeias, poderíamos aumentar chamadas LLM com entradas externas como chamadas de API e integração com grafos de conhecimento para fornecer contexto. Além disso, hoje, com vários provedores de LLM disponíveis como OpenAI, AWS Bedrock, Google PaLM, MosaicML, etc., poderíamos combinar e combinar chamadas LLM em cadeias. Para elementos de cadeia com inteligência limitada, um LLM mais baixo como ‘gpt3.5-turbo’ poderia ser usado, enquanto para tarefas mais avançadas ‘gpt4’ poderia ser usado. Cadeias dão uma abstração para dados, aplicativos e chamadas LLM.

Agentes:

Agentes é um tópico de muitos debates online, particularmente com respeito a ser inteligência artificial geral (AGI). Agentes usam um LLM avançado como ‘gpt4’ ou ‘PaLM2’ para planejar tarefas em vez de ter cadeias pré-definidas. Então, agora, quando há solicitações de usuários, com base na consulta, o agente decide que conjunto de tarefas chamar e dinamicamente constrói uma cadeia. Por exemplo, quando configuramos um agente com um comando como “notificar clientes quando a taxa de APR de empréstimo muda devido a uma atualização da regulamentação do governo”. O framework do agente faz uma chamada LLM para decidir sobre os passos a serem tomados ou cadeias a serem construídas. Aqui, isso envolverá invocar um aplicativo que raspa sites regulamentares e extrai a taxa de APR mais recente, então uma chamada LLM procura o banco de dados e extrai e-mails de clientes que são afetados e, finalmente, um e-mail é gerado para notificar todos.

Pensamentos Finais

LLM é uma tecnologia altamente evolutiva e melhores modelos e aplicativos estão sendo lançados a cada semana. LLM para Agentes é a escada de inteligência e, à medida que subimos, construímos aplicativos complexos e autônomos. Melhores modelos significarão agentes mais eficazes e os aplicativos de próxima geração serão alimentados por esses. O tempo dirá quão avançados os aplicativos de próxima geração serão e quais padrões eles serão alimentados.