Como grandes modelos de linguagem (LLM) impulsionarão os aplicativos do futuro

IA generativa e particularmente o sabor da linguagem - o ChatGPT está em toda parte. A tecnologia Large Language Model (LLM) desempenhará um papel significativo no desenvolvimento de aplicações futuras. Os LLMs são muito bons em entender a linguagem por causa do extenso pré-treinamento que foi feito para modelos de fundação em trilhões de linhas de texto de domínio público, incluindo código. Métodos como ajuste fino supervisionado e aprendizado reforçado com feedback humano (RLHF) tornam esses LLM ainda mais eficientes em responder a perguntas específicas e conversar com os usuários. À medida que entramos na próxima fase de aplicativos de IA alimentados por LLMs, os componentes-chave a seguir serão cruciais para esses aplicativos de última geração. A figura abaixo mostra essa progressão e, à medida que você sobe na cadeia, constrói mais inteligência e autonomia em seus aplicativos. Vejamos esses vários níveis.

Chamadas LLM:

Estas são chamadas diretas para conclusão ou modelos de bate-papo por um provedor LLM como Azure OpenAI ou Google PaLM ou Amazon Bedrock. Essas chamadas têm um prompt muito básico e usam principalmente a memória interna do LLM para produzir a saída.

Exemplo: Pedir um modelo básico como “texto-davinci” para “contar uma piada”. Você fornece muito pouco contexto e o modelo depende de sua memória interna pré-treinada para obter uma resposta (destacada em verde na figura abaixo – usando o Azure OpenAI).

Comandos:

O próximo nível de inteligência é adicionar mais e mais contexto aos prompts. Existem técnicas de engenharia imediata que podem ser aplicadas aos LLMs que podem fazê-los dar respostas personalizadas. Por exemplo, ao gerar um e-mail para um usuário, algum contexto sobre o usuário, compras anteriores e padrões de comportamento podem servir como um prompt para personalizar melhor o e-mail. Os usuários familiarizados com o ChatGPT conhecerão diferentes métodos de solicitação, como dar exemplos que são usados ​​pelo LLM para criar respostas. Os prompts aumentam a memória interna do LLM com contexto adicional. Exemplo está abaixo.

Incorporações:

As incorporações levam os prompts para o próximo nível, pesquisando um armazenamento de conhecimento em busca de contexto, obtendo esse contexto e anexando ao prompt. Aqui, a primeira etapa é tornar um grande armazenamento de documentos com texto não estruturado pesquisável, indexando o texto e preenchendo um banco de dados vetorial. Para isso, é usado um modelo de incorporação como 'ada' da OpenAI, que pega um pedaço de texto e o converte em um vetor n-dimensional. Essas incorporações capturam o contexto do texto, portanto, frases semelhantes terão incorporações próximas umas das outras no espaço vetorial. Quando o usuário insere uma consulta, essa consulta também é convertida em incorporação e esse vetor é comparado aos vetores no banco de dados. Assim, obtemos os 5 ou 10 principais blocos de texto correspondentes para a consulta que formam o contexto. A consulta e o contexto são passados ​​para o LLM para responder à pergunta de maneira humana.

cadeias:

Atualmente, Chains é a tecnologia mais avançada e madura disponível que está sendo amplamente usada para criar aplicativos LLM. As cadeias são determinísticas onde uma sequência de chamadas LLM são unidas com a saída de uma fluindo para um ou mais LLMs. Por exemplo, poderíamos fazer uma chamada de LLM consultar um banco de dados SQL e obter uma lista de e-mails de clientes e enviar essa lista para outro LLM que gerará e-mails personalizados para os clientes. Essas cadeias LLM podem ser integradas em fluxos de aplicativos existentes para gerar resultados mais valiosos. Usando cadeias, poderíamos aumentar as chamadas LLM com entradas externas, como chamadas de API e integração com gráficos de conhecimento para fornecer contexto. Além disso, hoje, com vários provedores LLM disponíveis, como OpenAI, AWS Bedrock, Google PaLM, MosaicML, etc., poderíamos misturar e combinar chamadas LLM em cadeias. Para elementos de cadeia com inteligência limitada, um LLM inferior como 'gpt3.5-turbo' pode ser usado, enquanto para tarefas mais avançadas pode ser usado 'gpt4'. As cadeias fornecem uma abstração para dados, aplicativos e chamadas LLM.

Agentes:

Agentes é um tópico de muitos debates online, particularmente no que diz respeito a ser inteligência artificial geral (AGI). Os agentes usam um LLM avançado como 'gpt4' ou 'PaLM2' para planejar tarefas em vez de ter cadeias predefinidas. Agora, quando há solicitações do usuário, com base na consulta, o agente decide qual conjunto de tarefas chamar e constrói dinamicamente uma cadeia. Por exemplo, quando configuramos um agente com um comando como “notifique os clientes quando a APR do empréstimo mudar devido à atualização da regulamentação governamental”. A estrutura do agente faz uma chamada LLM para decidir sobre as etapas a serem executadas ou as cadeias a serem construídas. Aqui, envolverá a chamada de um aplicativo que rastreia sites regulatórios e extrai a taxa APR mais recente, em seguida, uma chamada LLM pesquisa o banco de dados e extrai os e-mails dos clientes afetados e, finalmente, um e-mail é gerado para notificar a todos.

Considerações Finais

LLM é uma tecnologia em alta evolução e melhores modelos e aplicativos estão sendo lançados a cada semana. LLM para Agentes é a escada da inteligência e, à medida que avançamos, construímos aplicativos autônomos complexos. Modelos melhores significarão agentes mais eficazes e os aplicativos de próxima geração serão alimentados por eles. O tempo dirá o quão avançados serão os aplicativos da próxima geração e quais padrões eles serão alimentados.