A Batalha de Código Aberto vs Código Fechado de Modelos de Linguagem: Uma Análise Técnica

Os grandes modelos de linguagem (LLMs) capturaram a atenção da comunidade de IA nos últimos anos, liderando avanços no processamento de linguagem natural. Por trás do hype, há um debate complexo – esses modelos poderosos devem ser de código aberto ou fechado?

Neste post, analisaremos a diferença técnica entre essas abordagens para entender as oportunidades e limitações que cada uma apresenta. Vamos cobrir os seguintes aspectos principais:

• Definindo código aberto vs código fechado LLMs
• Transparência arquitetônica e personalizabilidade
• Benchmarks de desempenho
• Requisitos computacionais
• Versatilidade de aplicação
• Acessibilidade e licenciamento
• Privacidade e confidencialidade de dados
• Apoio e suporte comercial

Ao final, você terá uma perspectiva informada sobre as compensações técnicas entre LLMs de código aberto e fechado para guiar sua própria estratégia de IA. Vamos mergulhar!

Definindo Código Aberto vs Código Fechado LLMs

Os LLMs de código aberto têm arquiteturas de modelo, código-fonte e parâmetros de peso publicamente acessíveis. Isso permite que os pesquisadores inspecionem os internos, avaliem a qualidade, reproduzam resultados e construam variantes personalizadas. Exemplos líderes incluem o ConstitutionalAI da Anthropic, o LLaMA da Meta e o GPT-NeoX da EleutherAI.

Em contraste, os LLMs de código fechado tratam a arquitetura do modelo e os pesos como ativos proprietários. Entidades comerciais como a Anthropic, a DeepMind e a OpenAI os desenvolvem internamente. Sem código ou detalhes de design acessíveis, a reprodutibilidade e a personalização enfrentam limitações.

Transparência Arquitetônica e Personalizabilidade

O acesso aos internos dos LLMs de código aberto desbloqueia oportunidades de personalização simplesmente não possíveis com alternativas de código fechado.

Ajustando a arquitetura do modelo, os pesquisadores podem explorar técnicas como a introdução de conectividade esparsa entre camadas ou a adição de tokens de classificação dedicados para melhorar o desempenho em tarefas de nicho. Com acesso aos parâmetros de peso, os desenvolvedores podem transferir aprendizado de representações existentes ou inicializar variantes com blocos de construção pré-treinados como T5 e BERT embeddings.

Essa personalizabilidade permite que os LLMs de código aberto atendam melhor a domínios especializados como pesquisa biomédica, geração de código e educação. No entanto, a expertise necessária pode elevar a barreira para a entrega de implementações de produção de qualidade.

Os LLMs de código fechado oferecem personalização limitada, pois seus detalhes técnicos permanecem proprietários. No entanto, seus apoiadores comprometem recursos extensivos para pesquisa e desenvolvimento internos. Os sistemas resultantes empurram o limite do que é possível com uma arquitetura de LLM generalizada.

Portanto, embora sejam menos flexíveis, os LLMs de código fechado se destacam em tarefas de linguagem natural amplamente aplicáveis. Eles também simplificam a integração, conformando-se a interfaces estabelecidas como o padrão OpenAPI.

Benchmarks de Desempenho

Apesar da transparência arquitetônica, medir o desempenho dos LLMs de código aberto introduz desafios. Sua flexibilidade permite inúmeras configurações possíveis e estratégias de ajuste. Isso também permite que os modelos prefixados como “código aberto” incluam técnicas proprietárias que distorcem comparações.

Os LLMs de código fechado ostentam metas de desempenho mais claramente definidas, pois seus apoiadores benchmark e anunciam limiares de métricas específicas. Por exemplo, a Anthropic publiciza a precisão do ConstitutionalAI em conjuntos de problemas de NLU curados. A Microsoft destaca como o GPT-4 supera os baselines humanos no kit de ferramentas de compreensão de linguagem SuperGLUE.

No entanto, esses benchmarks estreitamente definidos enfrentaram críticas por superestimar o desempenho em tarefas do mundo real e subrepresentar falhas. A avaliação verdadeiramente imparcial de LLMs permanece uma questão de pesquisa aberta – tanto para abordagens de código aberto quanto fechado.

Requisitos Computacionais

Treinar grandes modelos de linguagem exige recursos computacionais extensivos. A OpenAI gastou milhões treinando o GPT-3 em infraestrutura de nuvem, enquanto a Anthropic consumiu cerca de $10 milhões em GPUs para o ConstitutionalAI.

A conta para tais modelos exclui a maioria dos indivíduos e equipes pequenas da comunidade de código aberto. De fato, a EleutherAI teve que remover o modelo GPT-J do acesso público devido a custos de hospedagem em explosão.

Sem bolsos profundos, as histórias de sucesso dos LLMs de código aberto dependem de recursos computacionais doados. A LAION curou seu modelo LAION-5B focado em tecnologia usando dados crowdsourced. O projeto não lucrativo Anthropic ConstitutionalAI utilizou computação de voluntários.

O apoio de grandes empresas como Google, Meta e Baidu fornece aos esforços de código fechado o combustível financeiro necessário para industrializar o desenvolvimento de LLMs. Isso permite escalabilidade para comprimentos inimagináveis para iniciativas de base – basta ver o modelo Gopher de 280 bilhões de parâmetros da DeepMind.

Versatilidade de Aplicação

A personalizabilidade dos LLMs de código aberto empodera o enfrentamento de casos de uso altamente especializados. Os pesquisadores podem modificar agressivamente os internos do modelo para aumentar o desempenho em tarefas de nicho como previsão de estrutura de proteína, geração de documentação de código e verificação de prova matemática.

No entanto, a capacidade de acessar e editar o código não garante uma solução de domínio específico eficaz sem os dados certos. Conjuntos de dados de treinamento abrangentes para aplicações estreitas exigem esforço significativo para curar e manter atualizados.

Aqui os LLMs de código fechado se beneficiam dos recursos para fontes de dados de repositórios internos e parceiros comerciais. Por exemplo, a DeepMind licencia bancos de dados como o ChEMBL para química e o UniProt para proteínas para expandir o alcance da aplicação. O acesso a dados em escala industrial permite que modelos como o Gopher alcancem notável versatilidade, apesar da opacidade arquitetônica.

Acessibilidade e Licenciamento

A licença permissiva dos LLMs de código aberto promove o acesso gratuito e a colaboração. Modelos como o GPT-NeoX, o LLaMA e o Jurassic-1 Jumbo usam acordos como Creative Commons e Apache 2.0 para permitir a pesquisa não comercial e a comercialização justa.

Em contraste, os LLMs de código fechado carregam licenças restritivas que limitam a disponibilidade do modelo. Entidades comerciais controlam rigidamente o acesso para salvaguardar potenciais fluxos de receita de APIs de previsão e parcerias empresariais.

Entendivelmente, organizações como a Anthropic e a Cohere cobram pelo acesso às interfaces do ConstitutionalAI e do Cohere-512. No entanto, isso arrisca precificar a pesquisa importante, desviando o desenvolvimento para indústrias bem financiadas.

A licença aberta apresenta desafios também, notadamente em torno de atribuição e responsabilidade. Para casos de uso de pesquisa, no entanto, as liberdades concedidas pela acessibilidade de código aberto oferecem vantagens claras.

Privacidade e Confidencialidade de Dados

Os conjuntos de dados de treinamento para LLMs geralmente agregam conteúdo de várias fontes online, como páginas da web, artigos científicos e fóruns de discussão. Isso arrisca expor informações pessoalmente identificáveis ou outras informações sensíveis nos resultados do modelo.

Para os LLMs de código aberto, examinar a composição do conjunto de dados fornece a melhor proteção contra questões de confidencialidade. Avaliar as fontes de dados, procedimentos de filtragem e documentar exemplos preocupantes encontrados durante os testes pode ajudar a identificar vulnerabilidades.

Infelizmente, os LLMs de código fechado precluem tal auditoria pública. Em vez disso, os consumidores devem confiar na rigorosidade dos processos de revisão interna com base em políticas anunciadas. Por exemplo, os Serviços Cognitivos do Azure prometem filtrar dados pessoais, enquanto o Google especifica revisões formais de privacidade e rotulagem de dados.

No geral, os LLMs de código aberto permitem a identificação mais proativa de riscos de confidencialidade em sistemas de IA antes que essas falhas se manifestem em escala. Os contrapartes fechados oferecem transparência relativamente limitada em práticas de manipulação de dados.

Apoio e Suporte Comercial

A possibilidade de monetizar os LLMs de código fechado incentiva um investimento comercial significativo para desenvolvimento e manutenção. Por exemplo, antecipando retornos lucrativos de sua carteira de IA do Azure, a Microsoft concordou com parcerias de vários bilhões de dólares com a OpenAI em torno dos modelos GPT.

Em contraste, os LLMs de código aberto dependem de voluntários alocando tempo pessoal para manutenção ou subvenções fornecendo financiamento de curto prazo. Essa assimetria de recursos arrisca a continuidade e a longevidade dos projetos de código aberto.

No entanto, as barreiras para a comercialização também libertam as comunidades de código aberto para se concentrar no progresso científico em vez do lucro. E a natureza descentralizada dos ecossistemas abertos mitiga a dependência do interesse sustentado de qualquer único apoiador.

Em última análise, cada abordagem carrega compensações em torno de recursos e incentivos. Os LLMs de código fechado desfrutam de maior segurança de financiamento, mas concentram a influência. Os ecossistemas abertos promovem a diversidade, mas sofrem incerteza aumentada.

Navegando o Paisagem de LLMs de Código Aberto vs Código Fechado

Decidir entre LLMs de código aberto ou fechado exige combinar prioridades organizacionais como personalizabilidade, acessibilidade e escalabilidade com as capacidades do modelo.

Para pesquisadores e startups, o código aberto concede mais controle para ajustar modelos a tarefas específicas. A licença também facilita a partilha gratuita de insights entre colaboradores. No entanto, a carga de fontes de dados de treinamento e infraestrutura pode minar a viabilidade no mundo real.

Por outro lado, os LLMs de código fechado prometem melhorias significativas de qualidade, cortesia do amplo financiamento e dados. No entanto, restrições em torno do acesso e modificações limitam a transparência científica, enquanto vinculam implantações às estradas dos fornecedores.

Na prática, padrões abertos em torno de especificações de arquitetura, pontos de verificação de modelo e dados de avaliação podem ajudar a compensar as desvantagens de ambas as abordagens. Fundamentos compartilhados como o Transformer da Google ou os benchmarks REALTO de Oxford melhoram a reprodutibilidade. Padrões de interoperabilidade como o ONNX permitem misturar componentes de fontes abertas e fechadas.

Em última análise, o que importa é escolher a ferramenta certa – código aberto ou fechado – para o trabalho em questão. As entidades comerciais que apoiam os LLMs de código fechado exercem influência indiscutível. Mas a paixão e os princípios das comunidades de ciência aberta continuarão desempenhando um papel crucial no impulso do progresso da IA.