A batalha entre modelos de linguagem de código aberto versus modelos de linguagem de código fechado: uma análise técnica

Os grandes modelos de linguagem (LLMs) cativaram a comunidade de IA nos últimos anos, liderando avanços no processamento de linguagem natural. Por trás do hype está um debate complexo – esses modelos poderosos deveriam ser de código aberto ou de código fechado?

Neste post, analisaremos a diferenciação técnica entre essas abordagens para entender as oportunidades e limitações que cada uma apresenta. Abordaremos os seguintes aspectos principais:

• Definindo LLMs de código aberto e de código fechado
• Transparência arquitetônica e personalização
• Comparação de desempenho
• Requisitos computacionais
• Versatilidade de aplicação
• Acessibilidade e licenciamento
• Privacidade e confidencialidade dos dados
• Apoio e suporte comercial

Ao final, você terá uma perspectiva informada sobre as compensações técnicas entre LLMs de código aberto e de código fechado para orientar sua própria estratégia de IA. Vamos mergulhar!

Definindo LLMs de código aberto versus código fechado

LLMs de código aberto têm arquiteturas de modelo, código-fonte e parâmetros de peso acessíveis ao público. Isso permite que os pesquisadores inspecionem componentes internos, avaliem a qualidade, reproduzam resultados e criem variantes personalizadas. Os principais exemplos incluem ConstitutionalAI da Anthropic, LLaMA da Meta e GPT-NeoX da EleutherAI.

Em contraste, os LLMs de código fechado tratam a arquitetura e os pesos do modelo como ativos proprietários. Entidades comerciais como Anthropic, DeepMind e OpenAI os desenvolvem internamente. Sem código acessível ou detalhes de design, a reprodutibilidade e a personalização enfrentam limitações.

Transparência arquitetônica e personalização

O acesso aos internos do LLM de código aberto abre oportunidades de personalização que simplesmente não são possíveis com alternativas de código fechado.

Ao ajustar a arquitetura do modelo, os pesquisadores podem explorar técnicas como a introdução de conectividade esparsa entre camadas ou a adição de tokens de classificação dedicados para melhorar o desempenho em tarefas de nicho. Com acesso aos parâmetros de peso, os desenvolvedores podem transferir representações existentes ou inicializar variantes com blocos de construção pré-treinados, como incorporações T5 e BERT.

Essa personalização permite que LLMs de código aberto atendam melhor a domínios especializados, como pesquisa biomédica, geração de código e educação. No entanto, a experiência necessária pode aumentar a barreira para a entrega de implementações com qualidade de produção.

LLMs de código fechado oferecem personalização limitada, pois seus detalhes técnicos permanecem proprietários. No entanto, os seus apoiantes comprometem recursos extensivos para investigação e desenvolvimento interno. Os sistemas resultantes vão além do que é possível com uma arquitetura LLM generalizada.

Portanto, embora menos flexíveis, os LLMs de código fechado se destacam em tarefas de linguagem natural amplamente aplicáveis. Eles também simplificam a integração em conformidade com interfaces estabelecidas como o padrão OpenAPI.

Benchmarking de desempenho

Apesar da transparência arquitetônica, medir o desempenho do LLM de código aberto apresenta desafios. Sua flexibilidade permite inúmeras configurações e estratégias de ajuste possíveis. Também permite que modelos prefixados como “código aberto” incluam, na verdade, técnicas proprietárias que distorcem as comparações.

Os LLMs de código fechado apresentam metas de desempenho mais claramente definidas como benchmark de seus patrocinadores e anunciam limites de métricas específicas. Por exemplo, a Anthropic divulga a precisão do ConstitutionalAI em conjuntos de problemas NLU selecionados. A Microsoft destaca como o GPT-4 supera as linhas de base humanas no kit de ferramentas de compreensão de linguagem SuperGLUE.

Dito isto, estes benchmarks definidos de forma restrita enfrentaram críticas por exagerarem o desempenho em tarefas do mundo real e subrepresentarem as falhas. A avaliação verdadeiramente imparcial do LLM permanece uma questão de pesquisa em aberto – tanto para abordagens de código aberto quanto para abordagens de código fechado.

Requisitos Computacionais

O treinamento de grandes modelos de linguagem exige extensos recursos computacionais. A OpenAI gastou milhões treinando GPT-3 em infraestrutura em nuvem, enquanto a Anthropic consumiu mais de US$ 10 milhões em GPUs para ConstitutionalAI.

A conta para tais modelos exclui a maioria dos indivíduos e pequenas equipes da comunidade de código aberto. Na verdade, a EleutherAI teve que remover o modelo GPT-J do acesso público devido à explosão dos custos de hospedagem.

Sem grandes recursos, as histórias de sucesso do LLM de código aberto aproveitam os recursos de computação doados. A LAION fez a curadoria de seu modelo LAION-5B com foco em tecnologia usando dados de crowdsourcing. O projeto sem fins lucrativos Antrópico ConstitucionalAI utilizou computação voluntária.

O grande apoio tecnológico de empresas como Google, Meta e Baidu fornece aos esforços de código fechado o combustível financeiro necessário para industrializar o desenvolvimento de LLM. Isso permite escalar a níveis incompreensíveis para iniciativas de base – basta ver o modelo Gopher de 280 bilhões de parâmetros da DeepMind.

Versatilidade de aplicativos

A personalização dos LLMs de código aberto permite lidar com casos de uso altamente especializados. Os pesquisadores podem modificar agressivamente os componentes internos do modelo para aumentar o desempenho em tarefas de nicho, como previsão de estrutura de proteínas, geração de documentação de código e verificação de provas matemáticas.

Dito isto, a capacidade de acessar e editar código não garante uma solução eficaz para um domínio específico sem os dados corretos. Conjuntos de dados de treinamento abrangentes para aplicações restritas exigem um esforço significativo para serem selecionados e mantidos atualizados.

Aqui, os LLMs de código fechado se beneficiam dos recursos para obter dados de treinamento de repositórios internos e parceiros comerciais. Por exemplo, a DeepMind licencia bancos de dados como ChEMBL para química e UniProt para proteínas para expandir o alcance das aplicações. O acesso a dados em escala industrial permite que modelos como o Gopher alcancem versatilidade notável, apesar da opacidade arquitetônica.

Acessibilidade e Licenciamento

O licenciamento permissivo de LLMs de código aberto promove acesso e colaboração gratuitos. Modelos como GPT-NeoX, LLaMA e Jurassic-1 Jumbo usam acordos como Creative Commons e Apache 2.0 para permitir pesquisas não comerciais e comercialização justa.

Em contraste, os LLMs de código fechado possuem licenças restritivas que limitam a disponibilidade do modelo. As entidades comerciais controlam rigorosamente o acesso para proteger potenciais fluxos de receita de APIs de previsão e parcerias empresariais.

Compreensivelmente, organizações como Anthropic e Cohere cobram pelo acesso às interfaces ConstitutionalAI e Cohere-512. No entanto, isto corre o risco de excluir domínios de investigação importantes, desviando o desenvolvimento para indústrias bem financiadas.

O licenciamento aberto também apresenta desafios, nomeadamente em matéria de atribuição e responsabilidade. Porém, para casos de uso de pesquisa, as liberdades concedidas pela acessibilidade de código aberto oferecem vantagens claras.

Privacidade e confidencialidade de dados

Os conjuntos de dados de treinamento para LLMs normalmente agregam conteúdo de várias fontes online, como páginas da web, artigos científicos e fóruns de discussão. Isso corre o risco de revelar informações pessoalmente identificáveis ​​ou sensíveis nos resultados do modelo.

Para LLMs de código aberto, o exame minucioso da composição do conjunto de dados fornece a melhor proteção contra questões de confidencialidade. Avaliar fontes de dados, filtrar procedimentos e documentar exemplos encontrados durante os testes pode ajudar a identificar vulnerabilidades.

Infelizmente, os LLMs de código fechado impedem essa auditoria pública. Em vez disso, os consumidores devem confiar no rigor dos processos de revisão interna baseados nas políticas anunciadas. Para fins de contexto, os Serviços Cognitivos do Azure prometem filtrar dados pessoais, enquanto o Google especifica análises formais de privacidade e rotulagem de dados.

No geral, os LLMs de código aberto permitem uma identificação mais proativa de riscos de confidencialidade em sistemas de IA antes que essas falhas se manifestem em grande escala. As contrapartes fechadas oferecem uma transparência relativamente limitada nas práticas de tratamento de dados.

Apoio e Suporte Comercial

O potencial para rentabilizar LLMs de código fechado incentiva investimentos comerciais significativos para desenvolvimento e manutenção. Por exemplo, antecipando retornos lucrativos do seu portfólio Azure AI, a Microsoft concordou em parcerias multibilionárias com a OpenAI em torno de modelos GPT.

Em contraste, os LLMs de código aberto dependem de voluntários que alocam tempo pessoal para manutenção ou de subsídios que fornecem financiamento por prazo limitado. Esta assimetria de recursos coloca em risco a continuidade e a longevidade dos projetos de código aberto.

No entanto, as barreiras à comercialização também libertam as comunidades de código aberto para se concentrarem no progresso científico em detrimento do lucro. E a natureza descentralizada dos ecossistemas abertos atenua a dependência excessiva do interesse sustentado de qualquer financiador único.

Em última análise, cada abordagem acarreta compromissos em torno de recursos e incentivos. Os LLMs de código fechado desfrutam de maior segurança de financiamento, mas concentram influência. Os ecossistemas abertos promovem a diversidade, mas sofrem de maior incerteza.

Navegando no cenário LLM de código aberto versus código fechado

Decidir entre LLMs de código aberto ou fechado exige combinar prioridades organizacionais como personalização, acessibilidade e escalabilidade com recursos de modelo.

Para pesquisadores e startups, o código aberto concede mais controle para ajustar modelos para tarefas específicas. O licenciamento também facilita o compartilhamento gratuito de insights entre os colaboradores. No entanto, o peso da aquisição de dados e infraestruturas de formação pode minar a viabilidade no mundo real.

Por outro lado, os LLMs de código fechado prometem melhorias consideráveis ​​de qualidade, graças a amplo financiamento e dados. No entanto, as restrições em torno do acesso e das modificações limitam a transparência científica, ao mesmo tempo que vinculam as implementações aos roteiros dos fornecedores.

Na prática, padrões abertos em torno de especificações de arquitetura, pontos de verificação de modelos e dados de avaliação podem ajudar a compensar as desvantagens de ambas as abordagens. Fundações compartilhadas como os benchmarks Transformer do Google ou REALTO de Oxford melhoram a reprodutibilidade. Padrões de interoperabilidade como ONNX permitem misturar componentes de fontes abertas e fechadas.

Em última análise, o que importa é escolher a ferramenta certa – de código aberto ou fechado – para o trabalho em questão. As entidades comerciais que apoiam os LLMs de código fechado têm uma influência inegável. Mas a paixão e os princípios das comunidades científicas abertas continuarão a desempenhar um papel crucial na condução do progresso da IA.