O Loop de Feedback de IA: Mantendo a Qualidade do Modelo de Produção na Era do Conteúdo Gerado por IA

Modelos de IA implantados em produção precisam de um mecanismo de avaliação de desempenho robusto e contínuo. É aqui que um loop de feedback de IA pode ser aplicado para garantir o desempenho consistente do modelo.

Vamos ouvir o que Elon Musk tem a dizer:

“Acho que é muito importante ter um loop de feedback, onde você está constantemente pensando sobre o que você fez e como você pode fazer melhor.”

Para todos os modelos de IA, o procedimento padrão é implantar o modelo e, periodicamente, retreinar-lo com os dados do mundo real mais recentes para garantir que seu desempenho não se deteriore. Mas, com o surgimento meteórico da IA Geradora, o treinamento de modelos de IA se tornou anômalo e propenso a erros. Isso ocorre porque as fontes de dados online (a internet) estão gradualmente se tornando uma mistura de dados gerados por humanos e IA.

Por exemplo, muitos blogs hoje apresentam texto gerado por IA, impulsionado por Módulos de Linguagem Grande (LLMs) como ChatGPT ou GPT-4. Muitas fontes de dados contêm imagens geradas por IA criadas usando DALL-E2 ou Midjourney. Além disso, pesquisadores de IA estão usando dados sintéticos gerados usando IA Geradora em seus pipelines de treinamento de modelos.

Portanto, precisamos de um mecanismo robusto para garantir a qualidade dos modelos de IA. É aqui que a necessidade de loops de feedback de IA se tornou mais amplificada.

O que é um Loop de Feedback de IA?

Um loop de feedback de IA é um processo iterativo onde as decisões e saídas de um modelo de IA são continuamente coletadas e usadas para aprimorar ou retreinar o mesmo modelo, resultando em aprendizado contínuo, desenvolvimento e melhoria do modelo. Nesse processo, os dados de treinamento do sistema de IA, parâmetros do modelo e algoritmos são atualizados e aprimorados com base em entrada gerada dentro do sistema.

Principalmente, existem dois tipos de loops de feedback de IA:

1. Loops de Feedback de IA Positivos: Quando os modelos de IA geram resultados precisos que atendem às expectativas e preferências dos usuários, os usuários dão feedback positivo por meio de um loop de feedback, que, por sua vez, reforça a precisão dos resultados futuros. Tal loop de feedback é considerado positivo.
2. Loops de Feedback de IA Negativos: Quando os modelos de IA geram resultados imprecisos, os usuários relatam falhas por meio de um loop de feedback, que, por sua vez, tenta melhorar a estabilidade do sistema, corrigindo falhas. Tal loop de feedback é considerado negativo.

Ambos os tipos de loops de feedback de IA permitem o desenvolvimento contínuo do modelo e a melhoria do desempenho ao longo do tempo. Eles não são usados ou aplicados de forma isolada. Juntos, eles ajudam os modelos de IA implantados em produção a saber o que está correto ou errado.

Estágios dos Loops de Feedback de IA

Ilustração de alto nível do mecanismo de feedback em modelos de IA. Fonte

Entender como os loops de feedback de IA funcionam é significativo para desbloquear todo o potencial do desenvolvimento de IA. Vamos explorar os vários estágios dos loops de feedback de IA abaixo.

1. Coleta de Feedback: Coletar resultados do modelo relevantes para avaliação. Normalmente, os usuários fornecem feedback sobre o resultado do modelo, que é então usado para retreinar. Ou pode ser dados externos da web curados para ajustar o desempenho do sistema.
2. Retreinamento do Modelo: Usando as informações coletadas, o sistema de IA é retreinado para fazer previsões melhores, fornecer respostas ou realizar atividades específicas, refinando os parâmetros do modelo ou pesos.
3. Integração e Teste do Feedback: Após o retreinamento, o modelo é testado e avaliado novamente. Nesta etapa, o feedback de especialistas em matéria (SMEs) também é incluído para destacar problemas além dos dados.
4. Implantação: O modelo é reimplantado após verificar as alterações. Nesta etapa, o modelo deve relatar um desempenho melhor em novos dados do mundo real, resultando em uma experiência do usuário aprimorada.
5. Monitoramento: O modelo é monitorado continuamente usando métricas para identificar deterioração potencial, como deriva. E o ciclo de feedback continua.

Os Problemas nos Dados de Produção e na Saída do Modelo de IA

Construir sistemas de IA robustos requer uma compreensão profunda dos problemas potenciais nos dados de produção (dados do mundo real) e nas saídas do modelo. Vamos olhar para alguns problemas que se tornam um obstáculo para garantir a precisão e confiabilidade dos sistemas de IA:

1. Deriva de Dados: Ocorre quando o modelo começa a receber dados do mundo real de uma distribuição diferente em comparação com a distribuição de dados de treinamento do modelo.
2. Deriva do Modelo: As capacidades preditivas e a eficiência do modelo diminuem ao longo do tempo devido a ambientes do mundo real em constante mudança. Isso é conhecido como deriva do modelo.
3. Saída do Modelo de IA vs. Decisão do Mundo Real: Os modelos de IA produzem saídas imprecisas que não se alinham com as decisões dos stakeholders do mundo real.
4. Vies e Justiça: Os modelos de IA podem desenvolver vieses e problemas de justiça. Por exemplo, em uma palestra do TED por Janelle Shane, ela descreve a decisão da Amazon (AMZN ) de parar de trabalhar em um algoritmo de classificação de currículos devido à discriminação de gênero.

Uma vez que os modelos de IA começam a treinar com conteúdo gerado por IA, esses problemas podem aumentar ainda mais. Como? Vamos discutir isso em mais detalhes.

Loops de Feedback de IA na Era do Conteúdo Gerado por IA

Com a adoção rápida da IA geradora, os pesquisadores estudaram um fenômeno conhecido como Colapso do Modelo. Eles definem o colapso do modelo como:

“Um processo degenerativo que afeta gerações de modelos geradores aprendidos, onde os dados gerados acabam poluindo o conjunto de treinamento do próximo modelo; treinados com dados poluídos, eles então percebem mal a realidade.”

O Colapso do Modelo consiste em dois casos especiais,

• Colapso do Modelo Precoce: Ocorre quando “o modelo começa a perder informações sobre as caudas da distribuição,” ou seja, as extremidades da distribuição de dados de treinamento.
• Colapso do Modelo Tardio: Ocorre quando “o modelo entrelaça diferentes modos das distribuições originais e converge para uma distribuição que tem pouca semelhança com a original, muitas vezes com uma variância muito pequena.”

Causas do Colapso do Modelo

Para que os praticantes de IA abordem esse problema, é essencial entender as razões do Colapso do Modelo, agrupadas em duas categorias principais:

1. Erro de Aproximação Estatística: Esse é o erro principal causado pelo número finito de amostras e desaparece à medida que a contagem de amostras se aproxima do infinito.
2. Erro de Aproximação Funcional: Esse erro surge quando os modelos, como redes neurais, falham em capturar a função subjacente real que deve ser aprendida a partir dos dados.

Um exemplo de resultados do modelo para várias gerações de modelos afetados pelo Colapso do Modelo. Fonte

Como o Loop de Feedback de IA é Afetado pelo Conteúdo Gerado por IA

Quando os modelos de IA são treinados com conteúdo gerado por IA, isso tem um efeito destrutivo nos loops de feedback de IA e pode causar muitos problemas para os modelos de IA retreinados, como:

• Colapso do Modelo: Como explicado anteriormente, o Colapso do Modelo é uma possibilidade provável se o loop de feedback de IA contém conteúdo gerado por IA.
• Esquecimento Catastrófico: Um desafio típico no aprendizado contínuo é que o modelo esquece as amostras anteriores ao aprender novas informações. Isso é conhecido como esquecimento catastrófico.
• Poluição de Dados: Refere-se a alimentar dados sintéticos manipulativos no modelo de IA para comprometer o desempenho, fazendo com que ele produza saídas imprecisas.

Como as Empresas Podem Criar um Loop de Feedback Robusto para seus Modelos de IA?

As empresas podem se beneficiar usando loops de feedback em seus fluxos de trabalho de IA. Siga os três principais passos abaixo para melhorar o desempenho de seus modelos de IA.

• Feedback de Especialistas em Matéria: Os especialistas em matéria (SMEs) são altamente conhecedores em seu domínio e entendem o uso de modelos de IA. Eles podem oferecer insights para aumentar a alinhamento do modelo com configurações do mundo real, dando uma maior chance de resultados corretos. Além disso, eles podem governar e gerenciar melhor os dados gerados por IA.
• Escolha de Métricas de Qualidade do Modelo Relevantes: Escolher a métrica de avaliação certa para a tarefa certa e monitorar o modelo em produção com base nessas métricas pode garantir a qualidade do modelo. Os praticantes de IA também empregam ferramentas de MLOps para avaliação e monitoramento automatizados para alertar todos os stakeholders se o desempenho do modelo começar a se deteriorar em produção.
• Curação Estrita de Dados: À medida que os modelos de produção são retreinados com novos dados, eles podem esquecer informações passadas, então é crucial curar dados de alta qualidade que se alinhem bem com o propósito do modelo. Esses dados podem ser usados para retreinar o modelo em gerações subsequentes, juntamente com o feedback do usuário para garantir a qualidade.

Para saber mais sobre avanços em IA, acesse Unite.ai.