Aprendizado de Máquina Aprende com Aprendizado de Máquina: O Surgimento do Aprendizado Social entre Modelos de Linguagem Grande

Desde que a OpenAI lançou o ChatGPT 3.5 no final de 2022, o papel dos modelos de linguagem grande (LLMs) fundamentais tem se tornado cada vez mais proeminente na inteligência artificial (IA), particularmente no processamento de linguagem natural (NLP). Esses LLMs, projetados para processar e gerar texto semelhante ao humano, aprendem com uma ampla gama de textos da internet, que variam de livros a sites. Esse processo de aprendizado permite que eles capturem a essência da linguagem humana, fazendo com que os LLMs pareçam solucionadores de problemas gerais.

Embora o desenvolvimento dos LLMs tenha aberto novas portas, o método de adaptar esses modelos para aplicações específicas – conhecido como ajuste fino – traz seus próprios desafios. O ajuste fino de um modelo requer treinamento adicional em conjuntos de dados mais focados, o que pode levar a dificuldades como a necessidade de dados rotulados, o risco de deriva do modelo e sobreajuste, e a necessidade de recursos significativos.

Para lidar com esses desafios, pesquisadores do Google (GOOGL ) recentemente adotaram a ideia de ‘aprendizado social‘ para ajudar a IA a aprender com a IA. A ideia principal é que, quando os LLMs são convertidos em chatbots, eles podem interagir e aprender uns com os outros de uma maneira semelhante ao aprendizado social humano. Essa interação permite que eles aprendam uns com os outros, melhorando assim sua eficácia.

O que é Aprendizado Social?

O aprendizado social não é uma ideia nova. É baseado em uma teoria dos anos 1970 por Albert Bandura, que sugere que as pessoas aprendem observando os outros. Esse conceito aplicado à IA significa que os sistemas de IA podem melhorar interagindo uns com os outros, aprendendo não apenas com experiências diretas, mas também com as ações de pares. Esse método promete uma aquisição de habilidades mais rápida e pode até permitir que os sistemas de IA desenvolvam sua própria “cultura” compartilhando conhecimento.

Ao contrário de outros métodos de aprendizado de IA, como o aprendizado por reforço ou aprendizado imitativo a partir de exemplos diretos, o aprendizado social enfatiza o aprendizado por interação. Oferece uma maneira mais prática e comunitária para a IA adquirir novas habilidades.

Aprendizado Social em LLMs

Um aspecto importante do aprendizado social é trocar conhecimento sem compartilhar informações originais e sensíveis. Como tal, pesquisadores empregaram uma dinâmica professor-aluno, onde os modelos de professor facilitam o processo de aprendizado para os modelos de aluno sem revelar detalhes confidenciais. Para atingir esse objetivo, os modelos de professor geram exemplos sintéticos ou direções a partir dos quais os modelos de aluno podem aprender sem compartilhar os dados reais. Por exemplo, considere um modelo de professor treinado para diferenciar entre mensagens de texto de spam e não spam usando dados marcados por usuários. Se desejarmos que outro modelo domine essa tarefa sem tocar nos dados originais e privados, o aprendizado social entra em ação. O modelo de professor criaria exemplos sintéticos ou forneceria insights com base em seu conhecimento, permitindo que o modelo de aluno identificasse mensagens de spam com precisão sem exposição direta aos dados sensíveis. Essa estratégia não apenas melhora a eficiência do aprendizado, mas também demonstra o potencial dos LLMs para aprender de maneiras dinâmicas e adaptáveis, possivelmente construindo uma cultura de conhecimento coletiva. Uma característica vital dessa abordagem é sua dependência de exemplos sintéticos e instruções elaboradas. Ao gerar novos exemplos informativos distintos do conjunto de dados original, os modelos de professor podem preservar a privacidade enquanto ainda orientam os modelos de aluno para um aprendizado eficaz. Essa abordagem tem sido eficaz, alcançando resultados equivalentes aos obtidos usando os dados reais.

Como o Aprendizado Social Aborda os Desafios do Ajuste Fino?

O aprendizado social oferece uma nova maneira de aprimorar os LLMs para tarefas específicas. Ele ajuda a lidar com os desafios do ajuste fino das seguintes maneiras:

1. Menos Necessidade de Dados Rotulados: Aprendendo com exemplos sintéticos compartilhados entre modelos, o aprendizado social reduz a dependência de dados rotulados difíceis de obter.
2. Evitando a Especialização Excessiva: Ele mantém os modelos versáteis, expondo-os a uma gama mais ampla de exemplos do que aqueles em conjuntos de dados pequenos e específicos.
3. Reduzindo o Sobreajuste: O aprendizado social amplia a experiência de aprendizado, ajudando os modelos a generalizar melhor e evitar o sobreajuste.
4. Economia de Recursos: Essa abordagem permite um uso mais eficiente dos recursos, pois os modelos aprendem com as experiências uns dos outros sem precisar de acesso direto a grandes conjuntos de dados.

Direções Futuras

O potencial do aprendizado social nos LLMs sugere várias maneiras interessantes e significativas para a pesquisa de IA futura:

1. Culturas Híbridas de IA: À medida que os LLMs participam do aprendizado social, eles podem começar a formar metodologias comuns. Estudos poderiam ser realizados para investigar os efeitos dessas “culturas” de IA emergentes, examinando sua influência nas interações humanas e os problemas éticos envolvidos.
2. Aprendizado Cross-Modal: Estender o aprendizado social além do texto para incluir imagens, sons e mais poderia levar a sistemas de IA com uma compreensão mais rica do mundo, semelhante à forma como os humanos aprendem por meio de múltiplos sentidos.
3. Aprendizado Descentralizado: A ideia de modelos de IA aprenderem uns com os outros em uma rede descentralizada apresenta uma nova maneira de ampliar a compartilhamento de conhecimento. Isso exigiria abordar desafios significativos em coordenação, privacidade e segurança.
4. Interação Humano-IA: Há potencial em explorar como humanos e IA podem se beneficiar mutuamente do aprendizado social, especialmente em ambientes educacionais e colaborativos. Isso poderia redefinir como a transferência de conhecimento e a inovação ocorrem.
5. Desenvolvimento Ético de IA: Ensinar a IA a lidar com dilemas éticos por meio do aprendizado social poderia ser um passo em direção a sistemas de IA mais responsáveis. O foco estaria em desenvolver sistemas de IA que possam raciocinar eticamente e alinhar-se com os valores da sociedade.
6. Sistemas Auto-Aprimoráveis: Um ecossistema onde os modelos de IA continuamente aprendem e se aprimoram com as experiências uns dos outros poderia acelerar a inovação em IA. Isso sugere um futuro onde a IA pode se adaptar a novos desafios de maneira mais autônoma.
7. Privacidade no Aprendizado: Com os modelos de IA compartilhando conhecimento, garantir a privacidade dos dados subjacentes é crucial. Esforços futuros podem explorar métodos mais sofisticados para permitir a transferência de conhecimento sem comprometer a segurança dos dados.

A Linha de Fundo

Pesquisadores do Google pioneiramente adotaram uma abordagem inovadora chamada aprendizado social entre Modelos de Linguagem Grande (LLMs), inspirada na capacidade humana de aprender observando os outros. Esse quadro permite que os LLMs compartilhem conhecimento e melhorem suas capacidades sem acessar ou expor dados sensíveis. Ao gerar exemplos sintéticos e instruções, os LLMs podem aprender de forma eficaz, abordando desafios-chave no desenvolvimento de IA, como a necessidade de dados rotulados, especialização excessiva, sobreajuste e consumo de recursos. O aprendizado social não apenas melhora a eficiência e adaptabilidade da IA, mas também abre possibilidades para a IA desenvolver “culturas” compartilhadas, engajar-se em aprendizado cross-modal, participar de redes descentralizadas, interagir com humanos de novas maneiras, navegar por dilemas éticos e garantir a privacidade. Isso marca uma mudança significativa em direção a sistemas de IA mais colaborativos, versáteis e éticos, prometendo redefinir o cenário da pesquisa e aplicação de inteligência artificial.