Nesten 80% av treningssettene kan være en juridisk fare for bedrifter som bruker AI

En nylig artikkel fra LG AI Research antyder at såkalte “åpne” datasamlinger som brukes til å trene AI-modeller kan gi en falsk følelse av sikkerhet – og finner at nesten fire av fem AI-datasamlinger som er merket som “kommercielt brukbare” faktisk inneholder skjulte juridiske risikoer.

Slike risikoer omfatter inklusjon av ukjente opphavsrettslige materiale til restriktive lisensvilkår dypt i en datasamlingens avhengigheter. Hvis artikkelenes funn er nøyaktige, kan selskaper som er avhengige av offentlige datasamlinger måtte omvurdere sine nåværende AI-pipelines, eller risikere juridisk eksponering nedover i kjeden.

Forskerne foreslår en radikal og potensielt kontroversiell løsning: AI-baserte overholdelsesagenter som kan scannere og gjennomgå datasamlingens historie raskere og mer nøyaktig enn menneskelige jurister.

Artikkelen sier:

‘Dette dokumentet går inn for at den juridiske risikoen for AI-treningssamlinger ikke kan bestemmes bare ved å se på overflatenivåets lisensvilkår; en grundig, sluttpunkt-til-sluttpunkt-analyse av datasamlingens redistribusjon er essensiell for å sikre overholdelse.

‘Siden en slik analyse er utenfor menneskelige evner på grunn av dens kompleksitet og omfang, kan AI-agenter fylle denne gapen ved å utføre den med større hastighet og nøyaktighet. Uten automatisering forblir kritiske juridiske risikoer stort sett ueksaminert, og setter ethisk AI-utvikling og regulatorisk overholdelse i fare.

‘Vi oppfordrer AI-forskningsmiljøet til å anerkjenne sluttpunkt-til-sluttpunkt-juridisk analyse som en grunnleggende krav og å adoptere AI-drevne tilnærminger som den livskraftige vei til skalerbar datasamlingsoverholdelse.’

Ved å undersøke 2 852 populære datasamlinger som så ut til å være kommersielt brukbare basert på deres enkelte lisenser, fant forskernes automatiserte system at bare 605 (omtrent 21%) faktisk var juridisk trygge for kommersialisering en gang alle deres komponenter og avhengigheter var sporet

Den nye artikkelen har tittelen Do Not Trust Licenses You See — Dataset Compliance Requires Massive-Scale AI-Powered Lifecycle Tracing, og kommer fra åtte forskere ved LG AI Research.

Rett og galt

Forfatterne fremhever utfordringene som selskaper som driver AI-utvikling i en stadig mer usikker juridisk landskap møter – da den tidligere akademiske “fair use”-holdningen rundt datasamlingstreningsgiver vike for en splittet miljø hvor juridiske beskyttelser er uklare og trygg havn ikke lenger er garantert.

Som en publikasjon pekte ut nylig, blir selskaper stadig mer defensive om kildene til deres treningsdata. Forfatter Adam Buick kommenterer*:

‘[ Mens] OpenAI avdekket hovedkildene til data for GPT-3, avdekket papiret som introduserte GPT-4 avdekket bare at dataene som modellen var trent på var en blanding av ‘offentlig tilgjengelige data (slik som internettdata) og data lisensiert fra tredjepartsleverandører’.

‘Motivasjonene bak denne bevegelsen bort fra åpenhet har ikke blitt artikulert i noen særlig detalj av AI-utviklerne, som i mange tilfeller ikke har gitt noen forklaring i det hele tatt.

‘For sin del rettferdiggjorde OpenAI sin beslutning om ikke å utgi flere detaljer om GPT-4 på grunn av bekymringer om ‘konkurranselandskapet og sikkerhetsimplikasjonene av store modeller’, uten noen ytterligere forklaring i rapporten.’

Gjennomsiktighet kan være en uærlig betegnelse – eller bare en feil; for eksempel tilbød Adobes flaggskip Firefly generativ modell, trent på lagerdata som Adobe hadde rettighetene til å utnytte, kundene forsikringer om lovligheten av deres bruk av systemet. Senere oppdaget noen bevis for at Firefly-datasamlingen hadde blitt “beriket” med potensielt opphavsrettslige data fra andre plattformer.

Som vi diskuterte tidligere denne uken, er det voksende initiativer designet for å sikre lisensoverholdelse i datasamlinger, inkludert en som bare skraper YouTube-videoer med fleksible Creative Commons-lisenser.

Problemet er at lisensene i seg selv kan være feilaktige, eller gitt feil, som den nye forskningen synes å indikere.

Undersøkelse av åpne kildekodedatasamlinger

Det er vanskelig å utvikle en vurderingssystem som forfatternes Nexus når konteksten stadig endrer seg. Derfor sier artikkelen at NEXUS Data Compliance-rammeverket er basert på ‘forskjellige precedenser og juridiske grunnlag på dette tidspunktet’.

NEXUS bruker en AI-drevet agent kalt AutoCompliance for automatisert datasamlingsoverholdelse. AutoCompliance består av tre nøkkelmoduler: en navigasjonsmodul for nettlesing; en spørsmål-svar-modul for informasjonseksport; og en scoringmodul for juridisk risikovurdering.

AutoCompliance starter med en brukerangitt nettside. AI-en eksporterer nøkkelinformasjon, søker etter relaterte ressurser, identifiserer lisensvilkår og avhengigheter, og tildeler en juridisk risikopoengsum. Kilde: https://arxiv.org/pdf/2503.02784

Disse modulene er drevet av finjusterte AI-modeller, inkludert EXAONE-3.5-32B-Instruct-modellen, trent på syntetisk og menneske-merket data. AutoCompliance bruker også en database for caching resultater for å øke effektiviteten.

AutoCompliance starter med en brukerangitt datasamling-URL og behandler den som rotentitet, søker etter dens lisensvilkår og avhengigheter, og sporer koblet datasamlinger for å bygge en lisensavhengighetsgraf. Når alle forbindelser er kartlagt, beregner den overholdelsespoeng og tildeler risikoklassifiseringer.

Data Compliance-rammeverket i det nye arbeidet identifiserer forskjellige^† enhetstyper som er involvert i datasamlingens livssyklus, inkludert datasamlinger, som utgjør kjerneinndata for AI-trening; dataprosesseringsprogramvare og AI-modeller, som brukes til å transformere og utnytte dataene; og Plattformtjenesteleverandører, som muliggjør datahåndtering.

Systemet vurderer juridiske risikoer holistisk ved å vurdere disse forskjellige enhetene og deres avhengigheter, og går utenfor en ren vurdering av datasamlingens lisenser til å inkludere en bredere økosystem av komponentene som er involvert i AI-utvikling.

Data Compliance vurderer juridisk risiko over hele datasamlingens livssyklus. Den tildeler poeng basert på datasamlingens detaljer og på 14 kriterier, klassifiserer enkeltenheter og aggregater risiko over avhengigheter.

Trening og målinger

Forfatterne ekstraherte URL-ene til de 1 000 mest nedlastede datasamlingene på Hugging Face, og valgte ut 216 elementer til å danne en testsett.

EXAONE-modellen ble finjustert på forfatternes eget datasett, med navigasjonsmodulen og spørsmål-svar-modulen som brukte syntetisk data, og scoringmodulen som brukte menneske-merket data.

Grundtruth-etiketter ble laget av fem juridiske eksperter som var trent i minst 31 timer i lignende oppgaver. Disse menneskelige ekspertene identifiserte manuelt avhengigheter og lisensvilkår for 216 testtilfeller, og aggregerte og finjusterte sine funn gjennom diskusjon.

Med den trente, menneske-kalibrerte AutoCompliance-systemet testet mot ChatGPT-4o og Perplexity Pro, ble det funnet mer avhengigheter i lisensvilkårene:

Nøyaktighet i å identifisere avhengigheter og lisensvilkår for 216 evalueringssamlinger.

Artikkelen sier:

‘AutoCompliance overgår alle andre agenter og menneskelige eksperter, og oppnår en nøyaktighet på 81,04% og 95,83% i hver oppgave. I motsetning viser både ChatGPT-4o og Perplexity Pro relativt lav nøyaktighet for kilde- og lisensoppgaver, henholdsvis.

‘Disse resultaterene fremhever den overlegne ytelsen til AutoCompliance, og demonstrerer dens effektivitet i å håndtere begge oppgavene med bemerkelsesverdig nøyaktighet, og indikerer også et betydelig ytelsesgap mellom AI-baserte modeller og menneskelige eksperter i disse domenene.’

I forhold til effektivitet, tok AutoCompliance-tilnærmingen bare 53,1 sekunder å kjøre, i motsetning til 2 418 sekunder for menneskelig vurdering av samme oppgaver.

Videre kostet evalueringen 0,29 USD, sammenlignet med 207 USD for menneskelige eksperter. Det bør imidlertid bemerkes at dette er basert på å leie en GCP a2-megagpu-16gpu-nøkkel månedlig til en pris av 14 225 USD per måned – noe som indikerer at denne type kostnadseffektivitet primært er knyttet til storstilte operasjoner.

Datasamlingundersøkelse

For analysen valgte forskerne ut 3 612 datasamlinger som kombinerer de 3 000 mest nedlastede datasamlingene fra Hugging Face med 612 datasamlinger fra 2023 Data Provenance Initiative.

Artikkelen sier:

‘Fra de 3 612 målentitetene, identifiserte vi totalt 17 429 unike enheter, hvor 13 817 enheter opptrådte som målentitetenes direkte eller indirekte avhengigheter.

‘For vår empiriske analyse, betrakter vi en enhet og dens lisensavhengighetsgraf som en enkeltlaget struktur hvis enheten ikke har noen avhengigheter, og en flerlaget struktur hvis den har en eller flere avhengigheter.

‘Av de 3 612 måldatasamlingene, hadde 2 086 (57,8%) flerlagete strukturer, mens de andre 1 526 (42,2%) hadde enkeltlagete strukturer uten avhengigheter.’

Opphavsrettslige datasamlinger kan bare redistribueres med lovlig myndighet, som kan komme fra en lisens, opphavsrettslovene eller kontraktvilkår. Ulovlig redistribusjon kan føre til juridiske konsekvenser, inkludert opphavsrettsbrudd eller kontraktbrudd. Derfor er tydelig identifisering av ikke-overholdelse essensiell.

Distribusjonsbrudd funnet under artikkelenes siterte Kriterium 4.4. for Data Compliance.

Studien fant 9 905 tilfeller av ikke-overholdende datasamlingredistribusjon, delt inn i to kategorier: 83,5% var uttrykkelig forbudt under lisensvilkår, og gjorde redistribusjon til en åpen juridisk overtredelse; og 16,5% involverte datasamlinger med motstridende lisensbetingelser, hvor redistribusjon var tillatt i teorien, men som ikke møtte de nødvendige betingelsene, og skapte downstream-juridisk risiko.

Forfatterne innrømmer at risikokriteriene som foreslås i NEXUS, ikke er universelle og kan variere avhengig av jurisdiksjon og AI-applikasjon, og at fremtidige forbedringer bør fokusere på å tilpasse seg endrede globale reguleringer og finjustere AI-drevet juridisk gjennomgang.

Konklusjon

Dette er en omfattende og hovedsakelig uvennlig artikkel, men den tar opp kanskje den største hemmende faktoren i nåværende industriell tilpasning av AI – muligheten for at åpenbart “åpne” data senere kan bli krevd av forskjellige enheter, personer og organisasjoner.

Under DMCA, kan overtredelser juridisk medføre massive bøter på en per-sak-basis. Hvor overtredelser kan løpe inn i millioner, som i tilfellene som forskerne fant, er den potensielle juridiske ansvarligheten virkelig betydelig.

I tillegg kan selskaper som kan bevises å ha hatt nytte av oppstrømsdata, ikke (som vanlig) hevde uvitenhet som en unnskyldning, i det minste i den innflytelsesrike amerikanske markedet. De har heller ikke nå noen realistiske verktøy for å penetrere de labyrintiske implikasjonene som ligger skjult i såkalte åpne kildekodedatasamlingers lisensavtaler.

Problemet med å formulere et system som NEXUS, er at det ville være nok så vanskelig å kalibrere det på en per-stat-basis innenfor USA, eller en per-nasjons-basis innenfor EU; utsikten til å skape et virkelig globalt rammeverk (en slags “Interpol for datasamlingproveniens”) blir undergravd ikke bare av de forskjellige regjeringenes motstridende motiver, men også av at både disse regjeringene og deres nåværende lover i denne sammenhengen er konstant i endring.

* Min erstatning av hyperlenker for forfatternes sitater.
† Seks typer er foreskrevet i artikkelen, men de to siste er ikke definert.

Først publisert fredag, 7. mars 2025