Nästan 80% av träningsdataset kan vara en juridisk fara för företags AI

En nyligen publicerad rapport från LG AI Research föreslår att så kallade “öppna” dataset som används för att träna AI-modeller kan ge en falsk känsla av säkerhet – och att nästan fyra av fem AI-dataset som märkts som “kommersiellt användbara” faktiskt innehåller dolda juridiska risker.

Sådana risker kan sträcka sig från inklusion av outtalade upphovsrättsskyddade material till restriktiva licensvillkor som gömmer sig i en datasets beroenden. Om rapportens slutsatser är korrekta kan företag som förlitar sig på offentliga dataset behöva ompröva sina nuvarande AI-pipelines, eller riskera juridisk exponering nedströms.

Forskarna föreslår en radikal och potentiellt kontroversiell lösning: AI-baserade efterlevnadsagenter som kan scanna och granska datasetshistorik snabbare och mer exakt än mänskliga jurister.

Rapporten säger:

‘Denna rapport hävdar att de juridiska riskerna med AI-träningsdataset inte kan bestämmas enbart genom att granska ytnivålicensvillkor; en grundlig, änd-till-änd-analys av datasetts återdistribution är avgörande för att säkerställa efterlevnad.

‘Eftersom en sådan analys ligger bortom mänskliga förmågor på grund av dess komplexitet och omfattning, kan AI-agenter överbrygga denna klyfta genom att utföra den med större hastighet och exakthet. Utan automatisering förblir kritiska juridiska risker i stort sett outredda, vilket äventyrar etisk AI-utveckling och regelefterlevnad.’

‘Vi uppmanar AI-forskningsgemenskapen att erkänna änd-till-änd-juridisk analys som en grundläggande krav och att anta AI-drivna tillvägagångssätt som den livskraftiga vägen till skalbar datasettefterlevnad.’

Genom att undersöka 2 852 populära dataset som verkade kommersiellt användbara baserat på deras enskilda licenser, fann forskarnas automatiserade system att endast 605 (cirka 21%) faktiskt var juridiskt säkra för kommersialisering när alla deras komponenter och beroenden spårades.

Den nya rapporten har titeln Do Not Trust Licenses You See — Dataset Compliance Requires Massive-Scale AI-Powered Lifecycle Tracing och kommer från åtta forskare vid LG AI Research.

Rättigheter och fel

Författarna betonar utmaningarna som företag som driver AI-utveckling i en alltmer osäker juridisk landskap möter – när den tidigare akademiska “fair use”-mentaliteten kring datasetträning ger vika för en splittrad miljö där juridiska skydd är oklara och säker hamn inte längre är garanterad.

Som en publikation påpekat nyligen, blir företag alltmer defensiva när det gäller källorna till deras träningsdata. Författaren Adam Buick kommenterar*:

‘[Medan] OpenAI avslöjade de huvudsakliga källorna till data för GPT-3, avslöjade paper som introducerade GPT-4 endast att datan som modellen hade tränats på var en blandning av ‘offentligt tillgängliga data (såsom internetdata) och data licensierad från tredjepartsleverantörer’.

‘Motiven bakom denna rörelse bort från transparens har inte artikulerats i någon särskild detalj av AI-utvecklare, som i många fall inte har gett någon förklaring alls.

‘För sin del motiverade OpenAI sitt beslut att inte släppa ytterligare information om GPT-4 med hänvisning till oro över ‘konkurrenslandskapet och säkerhetsimplikationerna av storskaliga modeller’, utan ytterligare förklaring i rapporten.’

Transparens kan vara ett bedrägligt begrepp – eller helt enkelt ett missförstånd; till exempel erbjudde Adobes flaggskepp Firefly genererande modell, som tränats på aktiedata som Adobe hade rätt att utnyttja, kunderna försäkringar om lagligheten i deras användning av systemet. Senare framkom bevis för att Firefly-databehållaren hade “berikats” med potentiellt upphovsrättsskyddade data från andra plattformar.

Som vi diskuterade tidigare i veckan finns det växande initiativ som syftar till att säkerställa licensieringssamverkan i dataset, inklusive ett som endast skrapar YouTube-videor med flexibla Creative Commons-licenser.

Problemet är att licenserna i sig kan vara felaktiga eller beviljade på felaktiga grunder, som den nya forskningen tycks indikera.

Granskning av öppen källkodsdatabas

Det är svårt att utveckla en utvärderingssystem som författarnas Nexus när sammanhanget ständigt förändras. Därför påpekar rapporten att NEXUS Data Compliance-ramverket är baserat på “olika prejudikat och juridiska grunder vid denna tidpunkt”.

NEXUS använder en AI-driven agent som kallas AutoCompliance för automatiserad dataefterlevnad. AutoCompliance består av tre nyckelmoduler: en navigeringsmodul för webbutforskning; en fråge-svar-modul (QA) för informationsutvinning; och en poängsättningsmodul för juridisk riskbedömning.

AutoCompliance börjar med en användarangiven webbsida. AI: n extraherar nyckelinformation, söker efter relaterade resurser, identifierar licensvillkor och beroenden och tilldelar en juridisk riskpoäng. Källa: https://arxiv.org/pdf/2503.02784

Modulerna drivs av finjusterade AI-modeller, inklusive EXAONE-3.5-32B-Instruct-modellen, som tränats på syntetisk och mänskligt märkt data. AutoCompliance använder också en databas för cachelagring av resultat för att förbättra effektiviteten.

AutoCompliance startar med en användarangiven dataset-URL och behandlar den som rotenhet, söker efter dess licensvillkor och beroenden och spårar rekursivt länkade dataset för att bygga ett licensberoendegraf. När alla anslutningar har kartlagts beräknar den efterlevnadspoäng och tilldelar riskklassificeringar.

Data Compliance-ramverket som beskrivs i den nya studien identifierar olika^† entitetstyper som är involverade i datalivscykeln, inklusive dataset, som utgör den centrala indata för AI-träning; data bearbetningsprogram och AI-modeller, som används för att omvandla och utnyttja data; och Plattformstjänsteleverantörer, som underlättar datahantering.

Systemet bedömer juridiska risker holistiskt genom att överväga dessa olika entiteter och deras beroenden, och flyttar bortom enbart utvärdering av datasetens licenser för att omfatta en bredare ekosystem av komponenter involverade i AI-utveckling.

Data Compliance bedömer juridisk risk över hela datalivscykeln. Den tilldelar poäng baserat på datasetinformation och 14 kriterier, klassificerar enskilda entiteter och sammanställer risk över beroenden.

Träning och mått

Författarna extraherade URL:erna för de 1 000 mest nedladdade dataseten på Hugging Face, och slumpmässigt urvalade 216 objekt för att utgöra en testuppsättning.

EXAONE-modellen finjusterades på författarnas anpassade dataset, med navigeringsmodulen och frågesvarsmodulet (QA) som använde syntetisk data, och poängsättningsmodulen som använde mänskligt märkt data.

Grundvärdelabeler skapades av fem juridiska experter som tränats i minst 31 timmar i liknande uppgifter. Dessa mänskliga experter identifierade manuellt beroenden och licensvillkor för 216 testfall, och sammanställde och förfinade sina resultat genom diskussion.

Med den tränade, mänskligt kalibrerade AutoCompliance-systemet testat mot ChatGPT-4o och Perplexity Pro, upptäcktes betydligt fler beroenden inom licensvillkoren:

Exakthet vid identifiering av beroenden och licensvillkor för 216 utvärderingsdataset.

Rapporten säger:

‘AutoCompliance presterar betydligt bättre än alla andra agenter och mänskliga experter, med en exakthet på 81,04% och 95,83% i varje uppgift. I kontrast visar både ChatGPT-4o och Perplexity Pro relativt låg exakthet för käll- och licensuppgifter, respektive.’

‘Dessa resultat betonar AutoCompliances överlägsna prestanda, som visar sin effektivitet i att hantera båda uppgifterna med anmärkningsvärd exakthet, samtidigt som de indikerar en betydande prestandagap mellan AI-baserade modeller och mänskliga experter inom dessa områden.’

Vid effektivitet tog AutoCompliance-ansatsen endast 53,1 sekunder att köra, jämfört med 2 418 sekunder för motsvarande mänsklig utvärdering av samma uppgifter.

Ytterligare kostade utvärderingskörningen 0,29 USD, jämfört med 207 USD för de mänskliga experterna. Det bör dock noteras att detta baseras på att hyra en GCP a2-megagpu-16gpu-nod månadsvis till en hastighet av 14 225 USD per månad – vilket innebär att denna typ av kostnadseffektivitet i huvudsak är relaterad till en stor skalig verksamhet.

Datasetundersökning

För analysen valde forskarna 3 612 dataset som kombinerade de 3 000 mest nedladdade dataseten från Hugging Face med 612 dataset från 2023 års Data Provenance Initiative.

Rapporten säger:

‘Från de 3 612 målentiteterna identifierade vi totalt 17 429 unika entiteter, varav 13 817 entiteter förekom som målentiteternas direkta eller indirekta beroenden.’

‘För vår empiriska analys betraktar vi en entitet och dess licensberoendegraf som en enkelstrukturerad om entiteten inte har några beroenden och en multi-strukturerad om den har ett eller flera beroenden.’

‘Av de 3 612 måldataseten hade 2 086 (57,8%) multi-strukturerade strukturer, medan de andra 1 526 (42,2%) hade enkelstrukturerade strukturer utan beroenden.’

Upphovsrättsskyddade dataset kan endast återdistribueras med laglig auktoritet, som kan komma från en licens, upphovsrättslagundantag eller avtalsvillkor. Obehörig återdistribution kan leda till juridiska konsekvenser, inklusive upphovsrättsintrång eller avtalsbrott. Därför är tydlig identifiering av icke-efterlevnad avgörande.

Fördelning av överträdelser av distribution som påträffades enligt rapportens citerade Kriterium 4.4 för Data Compliance.

Studien fann 9 905 fall av icke-efterlevnad av dataset-återdistribution, uppdelat i två kategorier: 83,5% var uttryckligen förbjudna enligt licensvillkor, vilket gjorde återdistribution till ett tydligt juridiskt brott; och 16,5% involverade dataset med motstridiga licensvillkor, där återdistribution var tillåten i teorin men som inte uppfyllde krävda villkor, vilket skapade nedströms juridisk risk.

Författarna medger att de riskkriterier som föreslås i NEXUS inte är universella och kan variera beroende på jurisdiktion och AI-tillämpning, och att framtida förbättringar bör fokusera på att anpassa sig till förändrade globala regleringar samtidigt som de förfinar AI-driven juridisk granskning.

Slutsats

Detta är en lång och i stort sett ovänlig rapport, men den behandlar kanske den största bromsande faktorn i nuvarande industriell tillämpning av AI – möjligheten att tydligen “öppna” data senare kan hävdas av olika enheter, individer och organisationer.

Enligt DMCA kan överträdelser lagligen medföra betydande böter per fall. Där överträdelser kan kosta miljontals, som i de fall som forskarna upptäckte, är den potentiella juridiska ansvarigheten verkligen betydande.

Dessutom kan företag som kan bevisas ha gynnats av uppströmsdata inte (som vanligt) hävda okunskap som ursäkt, åtminstone inte på den inflytelserika amerikanska marknaden. De har för närvarande inte heller några realistiska verktyg för att tränga in i de labyrintiska implikationerna som gömmer sig i tydligen öppna dataset-licensavtal.

Problemet med att formulera ett system som NEXUS är att det skulle vara tillräckligt utmanande att kalibrera det på en per-delstatsbasis inom USA, eller på en per-nationsbasis inom EU; utsikten till att skapa ett globalt ramverk (en slags “Interpol för datasetts ursprung”) undergrävs inte bara av de olika regeringarnas motstridiga motiv som är involverade, utan också av det faktum att både dessa regeringar och deras nuvarande lagar i detta avseende ständigt förändras.

* Min substitution av hyperlänkar för författarnas citat.
† Sex typer föreskrivs i rapporten, men de två sista är inte definierade.

Publicerad första gången fredagen den 7 mars 2025