Prawie 80% zbiorów danych szkoleniowych może stanowić zagrożenie prawne dla przedsiębiorstw AI

Niedawny artykuł z LG AI Research sugeruje, że tak zwane “otwarte” zbiory danych wykorzystywane do szkolenia modeli AI mogą dawać fałszywe poczucie bezpieczeństwa – stwierdzając, że prawie cztery na pięć zbiorów danych AI oznaczonych jako “komercyjnie wykorzystywane” w rzeczywistości zawierają ukryte zagrożenia prawne.

Takie zagrożenia obejmują między innymi zawarcie nieujawnionych materiałów objętych prawem autorskim lub ograniczeń licencyjnych ukrytych głęboko w zależnościach zbioru danych. Jeśli ustalenia artykułu są prawidłowe, firmy polegające na publicznych zbiorach danych mogą musieć ponownie rozważyć swoje obecne potoki AI lub ryzykować prawnym narażeniem w dół strumienia.

Badacze proponują radykalne i potencjalnie kontrowersyjne rozwiązanie: agentów zgodności opartych na AI, które mogą skanować i audytować historie zbiorów danych szybciej i dokładniej niż ludzcy prawnicy.

Artykuł stwierdza:

‘To opracowanie utrzymuje, że prawne ryzyko zbiorów danych szkoleniowych AI nie może być określone wyłącznie przez przeglądanie warunków licencyjnych na poziomie powierzchni; gruntowna, kompleksowa analiza redistribucji zbioru danych jest niezbędna do zapewnienia zgodności.

‘Ponieważ taka analiza wykracza poza ludzkie możliwości ze względu na swoją złożoność i skalę, agenci AI mogą pomóc w pokonywaniu tej luki, prowadząc ją z większą szybkością i dokładnością. Bez automatyzacji krytyczne prawne ryzyka pozostają w dużej mierze niezbadane, narażając rozwój etycznego AI i przestrzeganie przepisów.

‘Nalegamy, aby społeczność badawcza AI uznała analizę prawną na końcu za podstawowe wymaganie i przyjęła podejście oparte na AI jako słuszny ścieżkę do zgodności zbioru danych w skali.’

Badacze, którzy zbadali 2852 popularne zbiory danych, które wydawały się komercyjnie wykorzystywane na podstawie ich poszczególnych licencji, stwierdzili, że tylko 605 (około 21%) były rzeczywiście prawnie bezpieczne do komercjalizacji, gdy wszystkie ich składniki i zależności zostały śledzone.

Nowy artykuł nosi tytuł Nie ufaj licencjom, które widzisz – zgodność zbioru danych wymaga śledzenia cyklu życia na masową skalę zasilaną przez AI i pochodzi od ośmiu badaczy z LG AI Research.

Prawa i niewłaściwości

Autorzy podkreślają wyzwania stojące przed firmami, które prowadzą rozwój AI w coraz bardziej niepewnym krajobrazie prawnym – gdy dawne akademickie podejście “fair use” w przypadku szkolenia zbiorów danych ustępuje miejsca środowisku, w którym ochrony prawne są niejasne, a bezpieczna przystań nie jest już gwarantowana.

Jedno z wydawnictw wskazało niedawno, że firmy stają się coraz bardziej defensywne w odniesieniu do źródeł swoich danych szkoleniowych. Autor Adam Buick komentuje*:

‘[Podczas gdy] OpenAI ujawnił główne źródła danych dla GPT-3, artykuł wprowadzający GPT-4 ujawnił tylko to, że dane, na których został wyszkolony model, były mieszanką ‘dostępnych publicznie danych (takich jak dane internetowe) i danych udostępnionych przez dostawców zewnętrznych’.

‘Motywacje za tym odejściem od przejrzystości nie zostały wyjaśnione w szczegółach przez deweloperów AI, którzy w wielu przypadkach nie podali żadnego wyjaśnienia.

‘OpenAI uzasadnił swoją decyzję o nieujawnianiu dalszych szczegółów dotyczących GPT-4, powołując się na obawy dotyczące ‘krajobrazu konkurencyjnego i implikacji bezpieczeństwa dużych modeli’, bez dalszego wyjaśnienia w raporcie.’

Przejrzystość może być pojęciem nieuczciwym lub po prostu błędnym; na przykład, flagowy model Firefly generatywny, wyszkolony na danych akcji, do których Adobe miał prawa, rzekomo dawał klientom gwarancje co do legalności korzystania z systemu. Później pojawiły się dowody, że Firefly danych został “wzbogacony” potencjalnie objętymi prawem autorskim danymi z innych platform.

Jak omawialiśmy wcześniej w tym tygodniu, istnieją rosnące inicjatywy mające na celu zapewnienie zgodności licencyjnej w zbiorach danych, w tym jedna, która będzie tylko pobierać filmy z YouTube z elastycznymi licencjami Creative Commons.

Problem polega na tym, że same licencje mogą być błędne lub udzielone błędnie, jak wskazuje nowe badanie.

Badanie otwartych zbiorów danych

Trudno jest opracować system oceny, taki jak NEXUS, gdy kontekst jest w ciągłym ruchu. Dlatego artykuł stwierdza, że system ramowy zgodności danych NEXUS oparty jest na “różnych precedensach i podstawach prawnych na tym etapie”.

NEXUS wykorzystuje agenta opartego na AI o nazwie AutoCompliance do automatycznej zgodności danych. AutoCompliance składa się z trzech kluczowych modułów: modułu nawigacji do eksploracji internetu; modułu odpowiedzi na pytania (QA) do ekstrakcji informacji; oraz modułu oceny do oceny prawnego ryzyka.

AutoCompliance rozpoczyna się od strony internetowej dostarczonej przez użytkownika. AI wyodrębnia kluczowe szczegóły, wyszukuje powiązane zasoby, identyfikuje warunki licencyjne i zależności, a następnie przypisuje wynik prawnego ryzyka.. Źródło: https://arxiv.org/pdf/2503.02784

Te moduły są napędzane przez wyrafinowane modele AI, w tym model EXAONE-3.5-32B-Instruct, wyszkolony na danych syntetycznych i oznaczonych przez człowieka. AutoCompliance wykorzystuje również bazę danych do buforowania wyników w celu zwiększenia wydajności.

AutoCompliance rozpoczyna się od adresu URL zbioru danych dostarczonego przez użytkownika i traktuje go jako podstawową jednostkę, wyszukując jego warunki licencyjne i zależności, a następnie śledzi połączone zbiory danych, aby utworzyć graf zależności licencyjnych. Po tym, jak wszystkie połączenia są mapowane, oblicza wyniki zgodności i przypisuje klasyfikacje ryzyka.

Ramowy system zgodności danych przedstawiony w nowej pracy identyfikuje różne^† typy jednostek zaangażowanych w cykl życia danych, w tym zbiory danych, które tworzą podstawowy wejście dla szkolenia AI; oprogramowanie do przetwarzania danych i modele AI, które są wykorzystywane do transformacji i wykorzystania danych; oraz dostawców usług platformy, które ułatwiają obsługę danych.

System kompleksowo ocenia ryzyko prawne, biorąc pod uwagę te różne jednostki i ich wzajemne zależności, przechodząc poza rutynową ocenę licencji zbiorów danych, aby uwzględnić szerszy ekosystem składników zaangażowanych w rozwój AI.

Zgodność danych ocenia ryzyko prawne w całym cyklu życia danych. Przypisuje wyniki na podstawie szczegółów zbioru danych i 14 kryteriów, klasyfikując poszczególne jednostki i agregując ryzyko w zależnościach.

Szkolenie i metryki

Autorzy wyodrębnili adresy URL 1000 najczęściej pobieranych zbiorów danych z Hugging Face, losowo wybierając 216 elementów, aby utworzyć zestaw testowy.

Model EXAONE został dostosowany do niestandardowego zbioru danych autorów, z modułem nawigacji i modułem odpowiedzi na pytania (QA) wykorzystującymi dane syntetyczne, a modułem oceny wykorzystującym dane oznaczone przez człowieka.

Etykiety odniesienia zostały utworzone przez pięciu ekspertów prawnych, którzy zostali przeszkoleni przez co najmniej 31 godzin w podobnych zadaniach. Ci eksperci ludzcy ręcznie identyfikowali zależności i warunki licencyjne dla 216 przypadków testowych, a następnie agregowali i udoskonalali swoje wyniki za pomocą dyskusji.

Z testowanym, ludzkim systemem AutoCompliance przetestowanym w porównaniu z ChatGPT-4o i Perplexity Pro, znacznie więcej zależności zostało odkrytych w warunkach licencyjnych:

Dokładność w identyfikowaniu zależności i warunków licencyjnych dla 216 zbiorów danych oceny.

Artykuł stwierdza:

‘AutoCompliance znacznie przewyższa wszystkich innych agentów i ekspertów ludzkich, osiągając dokładność 81,04% i 95,83% w każdym zadaniu. W przeciwieństwie do tego, zarówno ChatGPT-4o, jak i Perplexity Pro wykazują stosunkowo niską dokładność dla źródła i zadań licencyjnych.’

‘Te wyniki podkreślają wyższą wydajność AutoCompliance, demonstrując jego skuteczność w radzeniu sobie z oboma zadaniami z godną uwagi dokładnością, a także wskazując znaczącą lukę wydajności między modelami opartymi na AI a ekspertami ludzkimi w tych dziedzinach.’

W kwestii wydajności podejście AutoCompliance zajęło tylko 53,1 sekundy, w porównaniu z 2 418 sekundami dla oceny ludzkiej na tych samych zadaniach.

Dodatkowo, koszt oceny wyniósł 0,29 USD, w porównaniu z 207 USD za ekspertów ludzkich. Należy jednak zauważyć, że jest to oparte na wynajmie węzła GCP a2-megagpu-16gpu miesięcznie za 14 225 USD miesięcznie – co oznacza, że taka wydajność kosztowa jest związana głównie z dużą skalą operacji.

Śledzenie zbioru danych

Do analizy badacze wybrali 3612 zbiorów danych, łącząc 3000 najczęściej pobieranych zbiorów danych z Hugging Face z 612 zbiorami danych z inicjatywy Data Provenance z 2023 roku Data Provenance Initiative.

Artykuł stwierdza:

‘Zaczynając od 3612 docelowych jednostek, zidentyfikowaliśmy łącznie 17 429 unikalnych jednostek, z których 13 817 jednostek pojawiło się jako bezpośrednie lub pośrednie zależności docelowych jednostek.’

‘W naszej empirycznej analizie uznajemy jednostkę i jej graf zależności licencyjnej za strukturę jednowarstwową, jeśli jednostka nie ma żadnych zależności, oraz strukturę wielowarstwową, jeśli ma jedną lub więcej zależności.’

‘Spośród 3612 docelowych zbiorów danych 2086 (57,8%) miało strukturę wielowarstwową, podczas gdy pozostałe 1526 (42,2%) miało strukturę jednowarstwową bez zależności.’

Zbiorami danych objętymi prawem autorskim można dysponować tylko za zgodą, która może pochodzić z licencji, wyjątków prawa autorskiego lub warunków umownych. Nieuprawniona redistribucja może prowadzić do konsekwencji prawnych, w tym naruszenia prawa autorskiego lub naruszenia umowy. Dlatego też jasna identyfikacja niezgodności jest niezbędna.

Naruszenia dystrybucji znalezione pod kryterium 4.4. zgodności danych.

Badanie wykazało 9905 przypadków niezgodnej redistribucji zbioru danych, podzielonych na dwie kategorie: 83,5% było wyraźnie zabronione na mocy warunków licencyjnych, co czyniło redistribucję wyraźnym naruszeniem prawa; oraz 16,5% dotyczyło zbiorów danych z sprzecznymi warunkami licencyjnymi, gdzie redistribucja była dozwolona teoretycznie, ale nie spełniała wymaganych warunków, tworząc dół strumienia prawnego ryzyka.

Autorzy przyznają, że kryteria ryzyka proponowane w NEXUS nie są powszechne i mogą się różnić w zależności od jurysdykcji i zastosowania AI, oraz że przyszłe ulepszenia powinny koncentrować się na adaptacji do zmieniających się globalnych regulacji oraz doskonaleniu przeglądu prawnego opartego na AI.

Wnioski

To jest obszerny i w dużej mierze nieprzyjazny artykuł, ale dotyka być może największego czynnika hamującego obecne wdrożenie przemysłowe AI – możliwości, że pozornie “otwarte” dane zostaną później zażądane przez różne podmioty, jednostki i organizacje.

Pod DMCA, naruszenia mogą prawomocnie pociągać za sobą ogromne kary na podstawie przypadku. Gdzie naruszenia mogą sięgać milionów, jak w przypadkach odkrytych przez badaczy, potencjalna odpowiedzialność prawna jest naprawdę znacząca.

Ponadto, firmy, które mogą być udowodnione, że skorzystały na danych pochodzących z góry, nie mogą (jak zwykle) twierdzić, że nie wiedziały o tym jako usprawiedliwienie, przynajmniej na wpływowym rynku amerykańskim. Nie mają one również realistycznych narzędzi, za pomocą których mogłyby przeniknąć do zawiłych implikacji ukrytych w pozornie otwartych umowach licencyjnych zbiorów danych.

Problem polega na tym, że sformułowanie systemu takiego jak NEXUS byłoby wystarczająco trudne, aby go skalibrować na podstawie stanu wewnątrz USA lub na podstawie kraju wewnątrz UE; perspektywa stworzenia prawdziwie globalnego ramowego systemu (rodzaj “Interpolu” dla pochodzenia zbioru danych) jest podważana nie tylko przez sprzeczne motywy różnorodnych rządów zaangażowanych, ale również przez fakt, że zarówno te rządy, jak i stan ich obecnych praw w tej kwestii są w ciągłym ruchu.

* Moja substitucja odnośników do cytatów autorów.
† Sześć typów jest przepisanych w artykule, ale dwa ostatnie nie są zdefiniowane.

Pierwotnie opublikowane w piątek, 7 marca 2025