3 Formas de Manter Fatos Desatualizados Frescos em Modelos de Linguagem Grande

Os Modelos de Linguagem Grande (LLM) como GPT3, ChatGPT e BARD estão em alta hoje. Todos têm uma opinião sobre como essas ferramentas são boas ou más para a sociedade e o que elas significam para o futuro da IA. O Google recebeu muitas críticas por seu novo modelo BARD ter respondido errado a uma pergunta complexa (um pouco). Quando perguntado “Quais são as novas descobertas do Telescópio Espacial James Webb que posso contar ao meu filho de 9 anos?” – o chatbot forneceu três respostas, das quais 2 estavam certas e 1 estava errada. A resposta errada foi que a primeira foto de um “exoplaneta” foi tirada pelo JWST, o que era incorreto. Então, basicamente, o modelo tinha um fato incorreto armazenado em sua base de conhecimento. Para que os modelos de linguagem grande sejam eficazes, precisamos de uma maneira de manter esses fatos atualizados ou aumentar os fatos com novos conhecimentos.

Vamos primeiro olhar como os fatos são armazenados dentro de um modelo de linguagem grande (LLM). Os modelos de linguagem grande não armazenam informações e fatos de forma tradicional, como bancos de dados ou arquivos. Em vez disso, eles foram treinados em vastas quantidades de dados de texto e aprenderam padrões e relações nesses dados. Isso permite que eles gerem respostas semelhantes às humanas a perguntas, mas eles não têm um local de armazenamento específico para as informações aprendidas. Quando respondem a uma pergunta, o modelo usa seu treinamento para gerar uma resposta com base na entrada que recebe. As informações e conhecimentos que um modelo de linguagem tem são resultado dos padrões que ele aprendeu nos dados em que foi treinado, e não resultado de ter sido explicitamente armazenado na memória do modelo. A arquitetura Transformers, na qual a maioria dos LLMs modernos é baseada, tem uma codificação interna de fatos que é usada para responder à pergunta feita no prompt.

Então, se os fatos dentro da memória interna do LLM estiverem errados ou desatualizados, novas informações precisam ser fornecidas por meio de um prompt. O prompt é o texto enviado ao LLM com a pergunta e as evidências de apoio que podem ser novos ou fatos corrigidos. Aqui estão 3 maneiras de abordar isso.

1. Uma maneira de corrigir os fatos codificados de um LLM é fornecer novos fatos relevantes ao contexto usando uma base de conhecimento externa. Essa base de conhecimento pode ser chamadas de API para obter informações relevantes ou uma consulta a um banco de dados SQL, No-SQL ou Vector. Conhecimentos mais avançados podem ser extraídos de um gráfico de conhecimento que armazena entidades de dados e relações entre elas. Dependendo das informações que o usuário está consultando, as informações de contexto relevantes podem ser recuperadas e fornecidas como fatos adicionais ao LLM. Esses fatos também podem ser formatados para parecerem exemplos de treinamento para melhorar o processo de aprendizado. Por exemplo, você pode passar um conjunto de pares de perguntas e respostas para o modelo aprender a fornecer respostas.

2. Uma maneira mais inovadora (e mais cara) de aumentar o LLM é o ajuste fino real usando dados de treinamento. Em vez de consultar a base de conhecimento para fatos específicos para adicionar, construímos um conjunto de dados de treinamento amostrando a base de conhecimento. Usando técnicas de aprendizado supervisionado, como ajuste fino, podemos criar uma nova versão do LLM que é treinada nesse conhecimento adicional. Esse processo geralmente é caro e pode custar alguns milhares de dólares para construir e manter um modelo ajustado fino na OpenAI. É claro que o custo é esperado para diminuir com o tempo.

3. Outra opção é usar métodos como Aprendizado por Reforço (RL) para treinar um agente com feedback humano e aprender uma política sobre como responder a perguntas. Esse método tem sido altamente eficaz na construção de modelos com menor pegada que se tornam bons em tarefas específicas. Por exemplo, o famoso ChatGPT lançado pela OpenAI foi treinado em uma combinação de aprendizado supervisionado e RL com feedback humano.

Em resumo, este é um espaço altamente evolutivo com todas as principais empresas querendo entrar e mostrar sua diferenciação. Logo veremos ferramentas LLM importantes em muitas áreas, como varejo, saúde e bancos, que podem responder de forma semelhante à humana, entendendo as nuances da linguagem. Essas ferramentas LLM integradas com dados empresariais podem simplificar o acesso e tornar os dados certos disponíveis às pessoas certas no momento certo.