Quase 80% dos Conjuntos de Dados de Treinamento Pode Ser um Perigo Legal para a Inteligência Artificial Empresarial

Um artigo recente da LG AI Research sugere que conjuntos de dados supostamente “abertos” usados para treinar modelos de inteligência artificial podem oferecer uma falsa sensação de segurança – encontrando que quase quatro em cinco conjuntos de dados de inteligência artificial rotulados como “comercialmente utilizáveis” actually contêm riscos legais ocultos.

Tais riscos variam desde a inclusão de material com direitos autorais não divulgados até termos de licença restritivos enterrados profundamente nas dependências de um conjunto de dados. Se as descobertas do artigo forem precisas, as empresas que confiam em conjuntos de dados públicos podem precisar reavaliar suas atuais pipelines de inteligência artificial, ou arriscar exposição legal downstream.

Os pesquisadores propõem uma solução radical e potencialmente controversa: agentes de conformidade baseados em inteligência artificial capazes de digitalizar e auditar históricos de conjuntos de dados mais rápido e com mais precisão do que advogados humanos.

O artigo afirma:

‘Este artigo defende que o risco legal dos conjuntos de dados de treinamento de inteligência artificial não pode ser determinado apenas revisando os termos de licença de nível superficial; uma análise minuciosa e de ponta a ponta da redistribuição do conjunto de dados é essencial para garantir a conformidade.

‘Como tal análise está além das capacidades humanas devido à sua complexidade e escala, os agentes de inteligência artificial podem preencher essa lacuna realizando-a com maior velocidade e precisão. Sem automação, os riscos legais críticos permanecem em grande parte não examinados, colocando em risco o desenvolvimento ético de inteligência artificial e a adesão regulatória.

‘Urge-nos que a comunidade de pesquisa em inteligência artificial reconheça a análise legal de ponta a ponta como um requisito fundamental e adote abordagens impulsionadas por inteligência artificial como o caminho viável para a conformidade de conjuntos de dados escaláveis.’

Examinando 2.852 conjuntos de dados populares que pareciam comercialmente utilizáveis com base em suas licenças individuais, o sistema automatizado dos pesquisadores encontrou que apenas 605 (cerca de 21%) eram realmente seguros para comercialização uma vez que todos os seus componentes e dependências foram rastreados.

O novo artigo é intitulado Não Confie nas Licenças que Você Vê – A Conformidade de Conjuntos de Dados Exige Rastreamento de Ciclo de Vida em Grande Escala Impulsionado por Inteligência Artificial, e vem de oito pesquisadores da LG AI Research.

Direitos e Erros

Os autores destacam os desafios enfrentados pelas empresas que avançam com o desenvolvimento de inteligência artificial em um cenário legal cada vez mais incerto – à medida que a mentalidade acadêmica anterior de “uso justo” em torno do treinamento de conjuntos de dados dá lugar a um ambiente fragmentado onde as proteções legais são pouco claras e o porto seguro não é mais garantido.

Como uma publicação apontou recentemente, as empresas estão se tornando cada vez mais defensivas sobre as fontes de seus dados de treinamento. O autor Adam Buick comenta*:

‘[Enquanto] OpenAI divulgou as principais fontes de dados para GPT-3, o artigo que introduziu GPT-4 revelou apenas que os dados nos quais o modelo havia sido treinado eram uma mistura de ‘dados publicamente disponíveis (como dados da internet) e dados licenciados de fornecedores terceirizados’.

‘As motivações por trás dessa mudança para longe da transparência não foram articuladas em detalhes pelos desenvolvedores de inteligência artificial, que, em muitos casos, não deram nenhuma explicação.

‘Por sua vez, a OpenAI justificou sua decisão de não divulgar mais detalhes sobre GPT-4 com base em preocupações sobre ‘o cenário competitivo e as implicações de segurança de modelos em grande escala’, sem mais explicações no relatório.’

A transparência pode ser um termo enganoso – ou simplesmente um termo errado; por exemplo, o modelo gerativo Firefly da Adobe, treinado em dados de estoque que a Adobe tinha os direitos para explorar, supostamente ofereceu aos clientes garantias sobre a legalidade do uso do sistema. Mais tarde, surgiram evidências de que o conjunto de dados Firefly havia se tornado ‘enriquecido’ com dados potencialmente protegidos por direitos autorais de outras plataformas.

Como discutimos anteriormente esta semana, há iniciativas crescentes projetadas para garantir a conformidade de licença em conjuntos de dados, incluindo uma que apenas coletará vídeos do YouTube com licenças Creative Commons flexíveis.

O problema é que as licenças em si podem ser errôneas, ou concedidas por erro, como a nova pesquisa parece indicar.

Examinando Conjuntos de Dados de Código Aberto

É difícil desenvolver um sistema de avaliação como o dos autores quando o contexto está constantemente mudando. Portanto, o artigo afirma que o sistema de conformidade de dados NEXUS é baseado em ‘vários precedentes e fundamentos legais neste momento’.

O NEXUS utiliza um agente impulsionado por inteligência artificial chamado AutoCompliance para a conformidade de dados automatizada. O AutoCompliance é composto por três módulos principais: um módulo de navegação para exploração da web; um módulo de resposta a perguntas para extração de informações; e um módulo de pontuação para avaliação de risco legal.

AutoCompliance começa com uma página da web fornecida pelo usuário. A inteligência artificial extrai detalhes importantes, procura recursos relacionados, identifica termos de licença e dependências e atribui uma pontuação de risco legal. Fonte: https://arxiv.org/pdf/2503.02784

Esses módulos são alimentados por modelos de inteligência artificial ajustados, incluindo o modelo EXAONE-3.5-32B-Instruct, treinado em dados sintéticos e rotulados por humanos. O AutoCompliance também usa um banco de dados para armazenar resultados e melhorar a eficiência.

O AutoCompliance começa com uma URL de conjunto de dados fornecida pelo usuário e a trata como a entidade raiz, procurando seus termos de licença e dependências e rastreando recursivamente conjuntos de dados vinculados para construir um gráfico de dependência de licença. Uma vez que todas as conexões são mapeadas, ele calcula pontuações de conformidade e atribui classificações de risco.

O sistema de conformidade de dados delineado no novo trabalho identifica vários^† tipos de entidades envolvidas no ciclo de vida dos dados, incluindo conjuntos de dados, que formam a entrada principal para o treinamento de inteligência artificial; software de processamento de dados e modelos de inteligência artificial, que são usados para transformar e utilizar os dados; e Fornecedores de Serviços de Plataforma, que facilitam o manuseio de dados.

O sistema avalia holisticamente os riscos legais considerando essas várias entidades e suas interdependências, movendo-se além da avaliação rotineira das licenças dos conjuntos de dados para incluir um ecossistema mais amplo dos componentes envolvidos no desenvolvimento de inteligência artificial.

Conformidade de Dados avalia o risco legal em todo o ciclo de vida dos dados. Ele atribui pontuações com base em detalhes do conjunto de dados e em 14 critérios, classificando entidades individuais e agregando risco em dependências.

Treinamento e Métricas

Os autores extraíram as URLs dos 1.000 conjuntos de dados mais baixados no Hugging Face, amostrando aleatoriamente 216 itens para constituir um conjunto de teste.

O modelo EXAONE foi ajustado no conjunto de dados personalizado dos autores, com o módulo de navegação e o módulo de resposta a perguntas usando dados sintéticos, e o módulo de pontuação usando dados rotulados por humanos.

As etiquetas de verdade foram criadas por cinco especialistas legais treinados por pelo menos 31 horas em tarefas semelhantes. Esses especialistas humanos identificaram manualmente dependências e termos de licença para 216 casos de teste, então agregaram e refinaram suas descobertas por meio de discussão.

Com o sistema AutoCompliance treinado e calibrado por humanos testado contra ChatGPT-4o e Perplexity Pro, notavelmente mais dependências foram descobertas dentro dos termos de licença:

Precisão na identificação de dependências e termos de licença para 216 conjuntos de dados de avaliação.

O artigo afirma:

‘O AutoCompliance supera significativamente todos os outros agentes e especialistas humanos, alcançando uma precisão de 81,04% e 95,83% em cada tarefa. Em contraste, o ChatGPT-4o e o Perplexity Pro mostram precisão relativamente baixa para as tarefas de Fonte e Licença, respectivamente.

‘Esses resultados destacam o desempenho superior do AutoCompliance, demonstrando sua eficácia em lidar com ambas as tarefas com precisão notável, enquanto também indicam uma lacuna de desempenho substancial entre os modelos baseados em inteligência artificial e os especialistas humanos nesses domínios.’

Em termos de eficiência, a abordagem AutoCompliance levou apenas 53,1 segundos para ser executada, em contraste com 2.418 segundos para a avaliação humana equivalente nas mesmas tarefas.

Além disso, a avaliação custou $0,29 USD, em comparação com $207 USD para os especialistas humanos. Deve-se notar, no entanto, que isso se baseia em alugar um nó GCP a2-megagpu-16gpu mensalmente a uma taxa de $14.225 por mês – significando que essa eficiência de custo está relacionada principalmente a uma operação em grande escala.

Investigação de Conjuntos de Dados

Para a análise, os pesquisadores selecionaram 3.612 conjuntos de dados combinando os 3.000 conjuntos de dados mais baixados do Hugging Face com 612 conjuntos de dados da Iniciativa de Proveniência de Dados de 2023.

O artigo afirma:

‘A partir dos 3.612 entidades-alvo, identificamos um total de 17.429 entidades únicas, onde 13.817 entidades apareceram como dependências diretas ou indiretas das entidades-alvo.

‘Para nossa análise empírica, consideramos que uma entidade e seu gráfico de dependência de licença têm uma estrutura de camada única se a entidade não tiver dependências e uma estrutura de camada múltipla se tiver uma ou mais dependências.

‘Dos 3.612 conjuntos de dados-alvo, 2.086 (57,8%) tinham estruturas de camada múltipla, enquanto os outros 1.526 (42,2%) tinham estruturas de camada única sem dependências.’

Conjuntos de dados protegidos por direitos autorais só podem ser redistribuídos com autoridade legal, que pode vir de uma licença, exceções de direito autoral ou termos de contrato. A redistribuição não autorizada pode levar a consequências legais, incluindo violação de direitos autorais ou violação de contrato. Portanto, a identificação clara de não conformidade é essencial.

Violações de distribuição encontradas sob o Critério 4.4. da Conformidade de Dados.

O estudo encontrou 9.905 casos de redistribuição de conjuntos de dados não conformes, divididos em duas categorias: 83,5% foram explicitamente proibidos pelos termos de licença, tornando a redistribuição uma clara violação legal; e 16,5% envolveram conjuntos de dados com condições de licença conflitantes, onde a redistribuição era permitida teoricamente, mas que não atendiam aos termos exigidos, criando risco legal downstream.

Os autores admitem que os critérios de risco propostos no NEXUS não são universais e podem variar por jurisdição e aplicação de inteligência artificial, e que melhorias futuras devem se concentrar em se adaptar a regulamentações globais em constante mudança, refinando a revisão legal impulsionada por inteligência artificial.

Conclusão

Este é um artigo prolixo e em grande parte não amigável, mas aborda talvez o maior fator que retarda a adoção atual da inteligência artificial na indústria – a possibilidade de que dados aparentemente “abertos” sejam mais tarde reivindicados por várias entidades, indivíduos e organizações.

De acordo com a DMCA, as violações podem legalmente envolver multas massivas por caso. Onde as violações podem chegar a milhões, como nos casos descobertos pelos pesquisadores, a responsabilidade legal potencial é realmente significativa.

Além disso, as empresas que podem ser provadas ter se beneficiado de dados upstream não podem (como de costume) alegar ignorância como desculpa, pelo menos no influente mercado dos EUA. Nem elas atualmente têm ferramentas realistas com as quais possam penetrar nas implicações labirínticas enterradas em acordos de licença de conjuntos de dados de código aberto.

O problema em formular um sistema como o NEXUS é que seria desafiador o suficiente para calibrá-lo em uma base por estado dentro dos EUA, ou em uma base por nação dentro da UE; a perspectiva de criar um quadro global (uma espécie de ‘Interpol para a proveniência de conjuntos de dados’) é minada não apenas pelas motivações conflitantes de governos diversos envolvidos, mas também pelo fato de que tanto esses governos quanto o estado de suas leis atuais nesse aspecto estão constantemente mudando.

* Minha substituição de hiperlinks para as citações dos autores.
† Seis tipos são prescritos no artigo, mas os dois finais não são definidos.

Publicado pela primeira vez na sexta-feira, 7 de março de 2025