Abordando Questões Atuais Dentro de LLMs e Olhando para o que Vem a Seguir

Hoje, existem dezenas de grandes modelos de linguagem (LLMs) disponíveis publicamente, como GPT-3, GPT-4, LaMDA ou Bard, e o número está constantemente crescendo à medida que novos modelos são lançados. Os LLMs revolucionaram a inteligência artificial, alterando completamente a forma como interagimos com a tecnologia em várias indústrias. Esses modelos nos permitem aprender com muitos conjuntos de dados de linguagem humana e abriram novas vias para inovação, criatividade e eficiência.

No entanto, com grande poder vem grande complexidade. Existem desafios e questões éticas inerentes aos LLMs que devem ser abordados antes que possamos utilizá-los ao seu potencial máximo. Por exemplo, um estudo recente da Stanford encontrou viés racial e de gênero ao observar o ChatGPT-4 em como ele trata certas consultas que incluem nomes e sobrenomes sugestivos de raça ou gênero. Neste estudo, o programa foi solicitado a dar conselhos sobre quanto se deve pagar por uma bicicleta usada sendo vendida por alguém chamado Jamal Washington, o que rendeu um valor muito menor em comparação com quando o vendedor se chamava Logan Becker. À medida que essas descobertas continuam a vir à luz, a necessidade de abordar os desafios dos LLMs apenas aumenta.

Como Mitigar Preocupações Comuns de LLM

Vies

Uma das questões mais comumente discutidas entre os LLMs é o viés e a justiça. Em um estudo recente, especialistas testaram quatro LLMs recentemente publicados e encontraram que todos expressaram suposições tendenciosas sobre homens e mulheres, especificamente aquelas alinhadas com as percepções das pessoas em vez daquelas baseadas em fatos. Neste contexto, viés refere-se ao tratamento ou resultados desiguais entre diferentes grupos sociais, provavelmente devido a desequilíbrios de poder históricos ou estruturais.

Nos LLMs, o viés é causado pela seleção de dados, demografia dos criadores e viés linguístico ou cultural. O viés de seleção de dados ocorre quando os textos escolhidos para o treinamento de LLM não representam a diversidade completa da linguagem usada na web. LLMs treinados em conjuntos de dados extensos, mas limitados, podem herdar os vieses já presentes nesses textos. Com a demografia dos criadores, certos grupos demográficos são destacados com mais frequência do que outros, o que exemplifica a necessidade de mais diversidade e inclusão na criação de conteúdo para diminuir o viés. Por exemplo, a Wikipedia, uma fonte comum de dados de treinamento, exibe um desequilíbrio demográfico notável entre seus editores, com uma maioria masculina (84%). Isso é semelhante ao viés encontrado para linguagem e cultura, pois muitas fontes que os LLMs estão sendo treinados são inclinadas para o inglês, o que às vezes se traduz com precisão em outras línguas e culturas.

É imperativo que os LLMs sejam treinados em dados filtrados e que existam guardrails para suprimir tópicos que não são representações consistentes dos dados. Uma forma de fazer isso é por meio de técnicas baseadas em aumento de dados. Você pode adicionar exemplos de grupos subrepresentados aos dados de treinamento, ampliando assim a diversidade do conjunto de dados. Outra tática de mitigação é a filtragem e reponderação de dados, que se concentra principalmente em direcionar exemplos específicos subrepresentados dentro de um conjunto de dados existente.

Alucinações

No contexto dos LLMs, alucinações são um fenômeno caracterizado pela produção de um texto que, embora gramaticalmente correto e aparentemente coerente, diverge da precisão factual ou da intenção do material de origem. De fato, relatórios recentes encontraram que uma ação judicial sobre uma lei de Minnesota foi diretamente afetada por alucinações de LLM. Uma declaração apresentada para apoiar a lei foi encontrada para incluir fontes inexistentes que podem ter sido alucinadas pelo ChatGPT ou por outro LLM. Essas alucinações podem facilmente diminuir a confiabilidade de um LLM.

Existem três formas primárias de alucinações:

1. Alucinação em Conflito com a Entrada: Isso ocorre quando a saída de um LLM diverge da entrada fornecida pelo usuário, que normalmente inclui instruções de tarefa e o conteúdo real que precisa ser processado.
2. Alucinação em Conflito com o Contexto: LLMs podem gerar respostas internamente inconsistentes em cenários que envolvem diálogos prolongados ou múltiplas trocas. Isso sugere uma possível deficiência na capacidade do modelo de rastrear o contexto ou manter a coerência ao longo de várias interações.
3. Alucinação em Conflito com os Fatos: Essa forma de alucinação surge quando um LLM produz conteúdo em desacordo com o conhecimento factual estabelecido. As origens desses erros são diversas e podem ocorrer em várias etapas do ciclo de vida de um LLM.

Muitos fatores contribuíram para esse fenômeno, como deficiências de conhecimento, o que explica como os LLMs podem carecer do conhecimento ou da capacidade de assimilar informações corretamente durante o pré-treinamento. Além disso, o viés dentro dos dados de treinamento ou uma estratégia de geração sequencial de LLMs, apelidada de “nevasca de alucinação”, pode criar alucinações.

Existem maneiras de mitigar alucinações, embora elas sempre sejam uma característica dos LLMs. Estratégias de mitigação úteis para alucinações são a mitigação durante o pré-treinamento (refinando manualmente os dados usando técnicas de filtragem) ou a fine-tuning (curando os dados de treinamento). No entanto, a mitigação durante a inferência é a melhor solução devido à sua eficácia em termos de custo e controle.

Privacidade

Com o surgimento da internet, a acessibilidade aumentada de informações pessoais e outros dados privados se tornou uma preocupação amplamente reconhecida. Um estudo encontrou que 80% dos consumidores americanos estão preocupados que seus dados estejam sendo usados para treinar modelos de IA. Como os LLMs mais proeminentes são originários de sites, devemos considerar como isso gera riscos de privacidade e permanece um problema em grande parte não resolvido para os LLMs.

A forma mais direta de evitar que os LLMs distribuam informações pessoais é purgá-las dos dados de treinamento. No entanto, dado o vasto volume de dados envolvidos nos LLMs, é quase impossível garantir que todas as informações privadas sejam erradicadas. Outra alternativa comum para organizações que dependem de modelos desenvolvidos externamente é optar por um LLM de código aberto em vez de um serviço como o ChatGPT.

Com essa abordagem, uma cópia do modelo pode ser implantada internamente. As solicitações dos usuários permanecem seguras dentro da rede da organização, em vez de serem expostas a serviços de terceiros. Embora isso reduza drasticamente o risco de vazamento de dados sensíveis, também adiciona complexidade significativa. Dada a dificuldade de garantir plenamente a proteção de dados privados, é vital que os desenvolvedores de aplicações considerem como esses modelos podem colocar seus usuários em risco.

A Próxima Fronteira para LLMs

À medida que continuamos a crescer e a moldar evoluções subsequentes de LLMs, mitigando riscos atuais, devemos esperar o surgimento de agentes LLM, que já vemos empresas como H com Runner H, começando a lançar. A mudança de modelos de linguagem puros para arquiteturas agentes representa uma mudança no design de sistemas de IA; a indústria estará se movendo além das limitações inerentes às interfaces de bate-papo e à geração simplesmente aumentada por recuperação. Essas novas estruturas de agentes terão módulos de planejamento sofisticados que decomponham objetivos complexos em subtarefas atômicas, manterão memória episódica para raciocínio contextual e utilizarão ferramentas especializadas por meio de APIs bem definidas. Isso cria uma abordagem mais robusta para a automação de tarefas.

Além dos LLMs, haverá um foco maior no treinamento de modelos de linguagem menores devido à sua eficácia em termos de custo, acessibilidade e facilidade de implantação. Por exemplo, modelos de linguagem específicos de domínio se especializam em indústrias ou campos particulares. Esses modelos são finamente ajustados com dados e terminologia específicos do domínio, tornando-os ideais para ambientes complexos e regulamentados, como o campo médico ou jurídico, onde a precisão é essencial. Essa abordagem direcionada reduz a probabilidade de erros e alucinações que os modelos de propósito geral podem produzir quando confrontados com conteúdo especializado.

À medida que continuamos a explorar novas fronteiras em LLMs, é essencial impulsionar os limites da inovação e abordar e mitigar riscos potenciais associados ao seu desenvolvimento e implantação. Somente identificando e abordando proativamente os desafios relacionados a viés, alucinações e privacidade é que podemos criar uma base mais sólida para que os LLMs prosperem em diversos campos.