Abordando Problemas Atuais em LLMs e Olhando para o que Vem a Seguir

Hoje, existem dezenas de modelos de linguagem grande (LLMs) disponíveis publicamente, como GPT-3, GPT-4, LaMDA ou Bard, e o número está constantemente crescendo à medida que novos modelos são lançados. Os LLMs revolucionaram a inteligência artificial, alterando completamente a forma como interagimos com a tecnologia em várias indústrias. Esses modelos nos permitem aprender com muitos conjuntos de dados de linguagem humana e abriram novas vias para inovação, criatividade e eficiência.

No entanto, com grande poder vem grande complexidade. Existem desafios e questões éticas inerentes aos LLMs que devem ser abordados antes que possamos utilizá-los ao seu máximo potencial. Por exemplo, um estudo recente da Stanford encontrou viés racial e de gênero ao observar o ChatGPT-4 em como ele trata certas consultas que incluem nomes e sobrenomes sugestivos de raça ou gênero. Neste estudo, o programa foi solicitado a dar conselhos sobre quanto se deve pagar por uma bicicleta usada sendo vendida por alguém chamado Jamal Washington, o que resultou em um valor muito menor em comparação com quando o vendedor se chamava Logan Becker. À medida que essas descobertas continuam a surgir, a necessidade de abordar os desafios dos LLMs apenas aumenta.

Como Mitigar Preocupações Comuns em LLMs

Vies

Um dos problemas mais comumente discutidos entre os LLMs é o viés e a justiça. Em um estudo recente, especialistas testaram quatro LLMs recentemente publicados e encontraram que todos expressaram suposições tendenciosas sobre homens e mulheres, especificamente aquelas alinhadas com as percepções das pessoas em vez de fatos. Neste contexto, viés se refere ao tratamento ou resultados desiguais entre diferentes grupos sociais, provavelmente devido a desequilíbrios de poder históricos ou estruturais.

Nos LLMs, o viés é causado pela seleção de dados, demografia dos criadores e viés linguístico ou cultural. O viés de seleção de dados ocorre quando os textos escolhidos para o treinamento dos LLMs não representam a diversidade completa da linguagem usada na web. LLMs treinados em conjuntos de dados extensos, mas limitados, podem herdar os vieses já presentes nesses textos. Com a demografia dos criadores, certos grupos demográficos são destacados com mais frequência do que outros, o que exemplifica a necessidade de mais diversidade e inclusividade na criação de conteúdo para diminuir o viés. Por exemplo, a Wikipédia, uma fonte comum de dados de treinamento, apresenta um desequilíbrio demográfico notável entre seus editores, com uma maioria masculina (84%). Isso é semelhante ao viés encontrado para linguagem e cultura, pois muitas fontes que os LLMs estão sendo treinados são tendenciosas, com uma inclinação para o inglês, o que nem sempre se traduz com precisão em outras línguas e culturas.

É imperativo que os LLMs sejam treinados em dados filtrados e que existam salvaguardas para suprimir tópicos que não são representações consistentes dos dados. Uma forma de fazer isso é por meio de técnicas baseadas em aumento de dados. Você pode adicionar exemplos de grupos sub-representados aos dados de treinamento, ampliando assim a diversidade do conjunto de dados. Outra tática de mitigação é a filtragem e reponderação de dados, que se concentra principalmente em direcionar exemplos específicos e sub-representados dentro de um conjunto de dados existente.

Alucinações

No contexto dos LLMs, alucinações são um fenômeno caracterizado pela produção de um texto que, embora gramaticalmente correto e aparentemente coerente, diverge da precisão factual ou da intenção do material de origem. De fato, relatórios recentes encontraram que uma ação judicial sobre uma lei de Minnesota é diretamente afetada por alucinações de LLMs. Uma declaração apresentada para apoiar a lei foi encontrada para incluir fontes inexistentes que podem ter sido alucinadas pelo ChatGPT ou por outro LLM. Essas alucinações podem facilmente diminuir a confiabilidade de um LLM.

Existem três formas principais de alucinações:

1. Alucinação em Conflito com a Entrada: Isso ocorre quando a saída de um LLM diverge da entrada fornecida pelo usuário, que normalmente inclui instruções de tarefa e o conteúdo real que precisa ser processado.
2. Alucinação em Conflito com o Contexto: LLMs podem gerar respostas internamente inconsistentes em cenários que envolvem diálogos prolongados ou múltiplas trocas. Isso sugere uma possível deficiência na capacidade do modelo de acompanhar o contexto ou manter a coerência ao longo de várias interações.
3. Alucinação em Conflito com os Fatos: Essa forma de alucinação surge quando um LLM produz conteúdo que entra em conflito com conhecimento factual estabelecido. As origens desses erros são diversas e podem ocorrer em várias etapas do ciclo de vida de um LLM.

Muitos fatores contribuíram para esse fenômeno, como deficiências de conhecimento, que explica como os LLMs podem carecer do conhecimento ou da capacidade de assimilar informações corretamente durante o pré-treinamento. Além disso, o viés dentro dos dados de treinamento ou uma estratégia de geração sequencial de LLMs, apelidada de “nevasca de alucinação”, pode criar alucinações.

Existem maneiras de mitigar alucinações, embora elas sempre sejam uma característica dos LLMs. Estratégias de mitigação úteis para alucinações incluem a mitigação durante o pré-treinamento (refinando manualmente os dados com técnicas de filtragem) ou a fine-tuning (curando os dados de treinamento). No entanto, a mitigação durante a inferência é a melhor solução devido à sua eficácia em termos de custo e controle.

Privacidade

Com o surgimento da internet, a acessibilidade aumentada de informações pessoais e outros dados privados se tornou uma preocupação amplamente reconhecida. Um estudo encontrou que 80% dos consumidores americanos estão preocupados com o fato de seus dados serem usados para treinar modelos de IA. Como os LLMs mais proeminentes são originários de sites, devemos considerar como isso apresenta riscos de privacidade e permanece um problema em grande parte não resolvido para os LLMs.

A forma mais direta de prevenir que os LLMs distribuam informações pessoais é purgá-las dos dados de treinamento. No entanto, dado o vasto volume de dados envolvidos nos LLMs, é quase impossível garantir que todas as informações privadas sejam erradicadas. Outra alternativa comum para organizações que dependem de modelos desenvolvidos externamente é optar por um LLM de código aberto em vez de um serviço como o ChatGPT.

Com essa abordagem, uma cópia do modelo pode ser implantada internamente. As solicitações dos usuários permanecem seguras dentro da rede da organização, em vez de serem expostas a serviços de terceiros. Embora isso reduza dramaticamente o risco de vazamento de dados sensíveis, também adiciona complexidade significativa. Dada a dificuldade de garantir totalmente a proteção de dados privados, ainda é vital que os desenvolvedores de aplicações considerem como esses modelos podem colocar seus usuários em risco.

A Próxima Fronteira para LLMs

À medida que continuamos a crescer e a moldar evoluções subsequentes de LLMs, mitigando riscos atuais, devemos esperar o surgimento de agentes LLM, que já vemos empresas como H com Runner H, começando a ser lançado. A mudança de modelos de linguagem puros para arquiteturas agênticas representa uma mudança no design de sistemas de IA; a indústria estará se movendo além das limitações inerentes das interfaces de chat e geração simplesmente aumentada. Essas novas estruturas de agente terão módulos de planejamento sofisticados que decomponham objetivos complexos em subtarefas atômicas, manterão memória episódica para raciocínio contextual e aproveitarão ferramentas especializadas por meio de APIs bem definidas. Isso cria uma abordagem mais robusta para a automação de tarefas. O progresso arquitetônico ajuda a mitigar os desafios comuns em torno de tarefas e raciocínio, integração de ferramentas e monitoramento de execução dentro de implementações tradicionais de LLM.

Além dos LLMs, haverá um foco maior no treinamento de modelos de linguagem menores devido à sua eficácia em termos de custo, acessibilidade e facilidade de implantação. Por exemplo, modelos de linguagem específicos de domínio se especializam em indústrias ou campos particulares. Esses modelos são finamente ajustados com dados e terminologia específicos do domínio, tornando-os ideais para ambientes complexos e regulamentados, como o médico ou o jurídico, onde a precisão é essencial. Essa abordagem direcionada reduz a probabilidade de erros e alucinações que modelos de propósito geral podem produzir quando enfrentam conteúdo especializado.

À medida que continuamos a explorar novas fronteiras em LLMs, é essencial impulsionar os limites da inovação e abordar e mitigar riscos potenciais associados ao seu desenvolvimento e implantação. Somente identificando e abordando proativamente os desafios relacionados a vieses, alucinações e privacidade, podemos criar uma base mais robusta para que os LLMs prosperem em diversos campos.