Nästan 80 % av utbildningsdataseten kan vara en juridisk fara för Enterprise AI

En färsk artikel från LG AI Research antyder att till synes "öppna" datamängder som används för att träna AI-modeller kan erbjuda en falsk trygghetskänsla – man finner att nästan fyra av fem AI-datamängder som är märkta som "kommersiellt användbara" faktiskt innehåller dolda juridiska risker.

Sådana risker sträcker sig från inkludering av icke-offentliggjort upphovsrättsskyddat material till restriktiva licensvillkor djupt begravda i en datauppsättnings beroenden. Om rapportens resultat är korrekta kan företag som förlitar sig på offentliga datauppsättningar behöva ompröva sina nuvarande AI-pipelines, eller riskera rättslig exponering nedströms.

Forskarna föreslår en radikal och potentiellt kontroversiell lösning: AI-baserade efterlevnadsagenter som kan skanna och granska datauppsättningshistoriker snabbare och mer exakt än mänskliga advokater.

I uppsatsen anges:

"Det här dokumentet förespråkar att den juridiska risken med AI-utbildningsdatauppsättningar inte kan bestämmas enbart genom att granska licensvillkoren på ytan; en grundlig, end-to-end-analys av omfördelning av datauppsättningar är avgörande för att säkerställa efterlevnad.

"Eftersom en sådan analys är bortom mänsklig kapacitet på grund av dess komplexitet och skala, kan AI-agenter överbrygga detta gap genom att utföra det med större hastighet och noggrannhet. Utan automatisering förblir kritiska juridiska risker i stort sett outforskade, vilket äventyrar etisk AI-utveckling och regelefterlevnad.

"Vi uppmanar AI-forskargemenskapen att erkänna heltäckande juridisk analys som ett grundläggande krav och att anta AI-drivna metoder som den gångbara vägen till skalbar datauppsättningsefterlevnad."

Genom att undersöka 2,852 605 populära datamängder som verkade kommersiellt användbara baserat på deras individuella licenser, fann forskarnas automatiserade system att endast 21 (cirka XNUMX %) faktiskt var juridiskt säkra för kommersialisering när alla deras komponenter och beroenden hade spårats.

Ocuco-landskapet nytt papper har titeln Lita inte på licenser du ser – Dataset-efterlevnad kräver massiv AI-driven livscykelspårning, och kommer från åtta forskare vid LG AI Research.

Rättigheter och fel

Författarna lyfter fram utmaningar som företag som driver AI-utveckling framåt i ett alltmer osäkert rättsligt landskap står inför – i takt med att det tidigare akademiska tänkesättet "rättvis användning" kring datamängdsträning ger vika för en splittrad miljö där det rättsliga skyddet är oklart och en säker hamn inte längre garanteras.

Som en publikation påpekade nyligen har företag blivit allt mer defensiva när det gäller källorna till deras utbildningsdata. Författaren Adam Buick kommenterar*:

"[Medan] OpenAI avslöjade de viktigaste datakällorna för GPT-3, tidningen som introducerade GPT-4 avslöjade endast att de uppgifter som modellen hade tränats på var en blandning av "offentligt tillgänglig data (som internetdata) och data licensierad från tredjepartsleverantörer".

"Motivationerna bakom denna övergång från transparens har inte artikulerats i någon speciell detalj av AI-utvecklare, som i många fall inte har gett någon förklaring alls.

"För sin del motiverade OpenAI sitt beslut att inte släppa ytterligare detaljer om GPT-4 med oro kring 'konkurrenslandskapet och säkerhetskonsekvenserna av storskaliga modeller', utan ytterligare förklaring i rapporten."

Transparens kan vara en oärlig term – eller helt enkelt en felaktig sådan; till exempel Adobes flaggskepp Eldfluga generativ modell, utbildad på aktiedata som Adobe hade rättigheterna att utnyttja, påstås erbjuda kunderna försäkringar om lagligheten av deras användning av systemet. Senare några bevis framkom att Fireflys databas hade blivit "berikad" med potentiellt upphovsrättsskyddad data från andra plattformar.

Som vi diskuterades tidigare i veckan, finns det växande initiativ utformade för att säkerställa licensefterlevnad i datauppsättningar, inklusive en som bara kommer att skrapa YouTube-videor med flexibla Creative Commons-licenser.

Problemet är att licenserna i sig kan vara felaktiga, eller beviljade felaktigt, vilket den nya forskningen verkar tyda på.

Undersöker datauppsättningar med öppen källkod

Det är svårt att utveckla ett utvärderingssystem som författarnas Nexus när sammanhanget ständigt förändras. Därför konstateras i artikeln att NEXUS Data Compliance-ramverket bygger på "olika prejudikat och rättsliga grunder vid denna tidpunkt".

NEXUS använder en AI-driven agent som kallas AutoCompliance för automatiserad dataefterlevnad. AutoCompliance består av tre nyckelmoduler: en navigeringsmodul för webbutforskning; en frågesvarsmodul (QA) för informationsutvinning; och en poängmodul för juridisk riskbedömning.

AutoCompliance börjar med en webbsida som tillhandahålls av användaren. AI:n extraherar nyckeldetaljer, söker efter relaterade resurser, identifierar licensvillkor och beroenden och tilldelar en juridisk riskpoäng. Källa: https://arxiv.org/pdf/2503.02784

Dessa moduler drivs av finjusterade AI-modeller, inklusive EXAONE-3.5-32B-instruktion modell, utbildad på syntetisk och människomärkt data. AutoCompliance använder också en databas för att cachelagra resultat för att öka effektiviteten.

AutoCompliance börjar med en av användaren tillhandahållen datauppsättnings-URL och behandlar den som rotentiteten, söker efter dess licensvillkor och beroenden och spårar länkade datauppsättningar rekursivt för att skapa en licensberoendegraf. När alla anslutningar är kartlagda, beräknar den efterlevnadspoäng och tilldelar riskklassificeringar.

Ramverket för dataefterlevnad som beskrivs i det nya arbetet identifierar olika^† enhetstyper som är involverade i datalivscykeln, inklusive datauppsättningar, som utgör kärnan för AI-träning; databehandlingsprogram och AI-modeller, som används för att transformera och använda data; och Plattformstjänsteleverantörer, vilket underlättar datahanteringen.

Systemet bedömer holistiskt juridiska risker genom att beakta dessa olika enheter och deras ömsesidiga beroenden, och går bortom rutinerad utvärdering av datamängdernas licenser för att inkludera ett bredare ekosystem av de komponenter som är involverade i AI-utveckling.

Data Compliance bedömer juridisk risk över hela datalivscykeln. Den tilldelar poäng baserat på datauppsättningsdetaljer och på 14 kriterier, klassificerar enskilda enheter och aggregerar risker över beroenden.

Utbildning och statistik

Författarna extraherade webbadresserna till de 1,000 216 mest nedladdade datamängderna på Hugging Face och tog slumpmässigt ut XNUMX objekt för att utgöra en testuppsättning.

EXAONE-modellen var finstämd på författarnas anpassade dataset, med navigationsmodulen och frågesvarsmodulen som använder syntetiska data, och poängmodulen som använder mänskligt märkt data.

Marksanningsetiketter skapades av fem juridiska experter som utbildats i minst 31 timmar i liknande uppgifter. Dessa mänskliga experter identifierade manuellt beroenden och licensvillkor för 216 testfall, aggregerade och förfinade sedan sina resultat genom diskussion.

Med det utbildade, mänskligt kalibrerade AutoCompliance-systemet som testats mot ChatGPT-4o och Bryderi Pro, särskilt fler beroenden upptäcktes inom licensvillkoren:

Noggrannhet vid identifiering av beroenden och licensvillkor för 216 utvärderingsdatauppsättningar.

I uppsatsen anges:

"AutoCompliance överträffar avsevärt alla andra agenter och mänskliga experter, och uppnår en noggrannhet på 81.04 % och 95.83 % i varje uppgift. Däremot visar både ChatGPT-4o och Perplexity Pro relativt låg noggrannhet för käll- respektive licensuppgifter.

"Dessa resultat framhäver den överlägsna prestandan hos AutoCompliance, och visar dess effektivitet när det gäller att hantera båda uppgifterna med anmärkningsvärd noggrannhet, samtidigt som de indikerar ett betydande prestandagap mellan AI-baserade modeller och mänskliga experter inom dessa domäner."

När det gäller effektivitet tog AutoCompliance-metoden bara 53.1 sekunder att köra, till skillnad från 2,418 XNUMX sekunder för motsvarande mänsklig utvärdering av samma uppgifter.

Vidare kostade utvärderingskörningen 0.29 USD, jämfört med 207 USD för de mänskliga experterna. Det bör dock noteras att detta är baserat på att hyra en GCP a2-megagpu-16gpu-nod månadsvis till en hastighet av $14,225 XNUMX per månad – vilket betyder att denna typ av kostnadseffektivitet i första hand är relaterad till en storskalig verksamhet.

Dataset Utredning

För analysen valde forskarna ut 3,612 3,000 datamängder som kombinerade de 612 2023 mest nedladdade datamängderna från Hugging Face med XNUMX dataset från XNUMX Datahärkomstinitiativ.

I uppsatsen anges:

"Från de 3,612 17,429 målenheterna identifierade vi totalt 13,817 XNUMX unika enheter, där XNUMX XNUMX enheter dök upp som målenheternas direkta eller indirekta beroenden.

"För vår empiriska analys anser vi att en enhet och dess licensberoendegraf har en struktur i ett lager om enheten inte har några beroenden och en struktur med flera lager om den har ett eller flera beroenden.

"Av de 3,612 2,086 måldatauppsättningarna hade 57.8 1,526 (42.2 %) strukturer i flera lager, medan de övriga XNUMX XNUMX (XNUMX %) hade strukturer i ett lager utan beroenden."

Upphovsrättsskyddade datauppsättningar kan endast omdistribueras med laglig auktoritet, vilket kan komma från en licens, undantag från upphovsrättslagstiftningen eller avtalsvillkor. Otillåten vidaredistribution kan leda till juridiska konsekvenser, inklusive upphovsrättsintrång eller avtalsbrott. Det är därför viktigt att tydligt identifiera bristande efterlevnad.

Distributionsöverträdelser hittade under tidningens citerade kriterium 4.4. av dataefterlevnad.

Studien fann 9,905 83.5 fall av icke-kompatibel omfördelning av datauppsättningar, uppdelade i två kategorier: 16.5 % var uttryckligen förbjudna enligt licensvillkoren, vilket gör omfördelning till en tydlig lagöverträdelse; och XNUMX % inblandade datauppsättningar med motstridiga licensvillkor, där omfördelning var tillåten i teorin men som inte uppfyllde de villkor som krävs, vilket skapade nedströms juridisk risk.

Författarna medger att riskkriterierna som föreslagits i NEXUS inte är universella och kan variera beroende på jurisdiktion och AI-tillämpning, och att framtida förbättringar bör fokusera på anpassning till förändrade globala regler samtidigt som AI-driven juridisk granskning förfinas.

Slutsats

Detta är en prolix och till stor del ovänlig tidning, men tar upp den kanske största fördröjande faktorn i dagens industriantagande av AI – möjligheten att uppenbarligen "öppna" data senare kommer att hävdas av olika enheter, individer och organisationer.

Enligt DMCA kan överträdelser juridiskt innebära massiva böter på en per fall grund. Där kränkningar kan uppgå till miljontals, som i de fall som upptäckts av forskarna, är det potentiella juridiska ansvaret verkligen betydande.

Dessutom kan företag som kan bevisas ha dragit nytta av uppströmsdata inte (som vanligt) hävdar okunnighet som en ursäkt, åtminstone på den inflytelserika amerikanska marknaden. Inte heller har de för närvarande några realistiska verktyg för att penetrera de labyrintiska implikationerna som är begravda i licensavtal med förment öppen källkod.

Problemet med att formulera ett system som NEXUS är att det skulle vara tillräckligt utmanande att kalibrera det per stat inom USA, eller per nation inom EU; utsikterna att skapa ett verkligt globalt ramverk (ett slags "Interpol för datauppsättning härkomst") undergrävs inte bara av de motstridiga motiven hos de olika regeringarna som är involverade, utan det faktum att både dessa regeringar och tillståndet för deras nuvarande lagar i detta avseende ständigt förändras.

* Mitt ersättningsmedel för författarnas citat är hyperlänkar.
† Sex typer är föreskrivna i tidningen, men de två sista är inte definierade.

Publicerad första gången fredagen den 7 mars 2025