Fast 80% der Trainingsdatensätze können ein rechtliches Risiko für Unternehmen mit künstlicher Intelligenz darstellen

Ein kürzlich veröffentlichtes Papier von LG AI Research legt nahe, dass sogenannte “offene” Datensätze, die für die Ausbildung von KI-Modellen verwendet werden, ein falsches Gefühl der Sicherheit vermitteln können – und feststellt, dass fast vier von fünf KI-Datensätzen, die als “kommerziell nutzbar” gekennzeichnet sind, tatsächlich versteckte rechtliche Risiken enthalten.

Solche Risiken reichen von der Aufnahme nicht offengelegter urheberrechtlich geschützten Materialien bis hin zu restriktiven Lizenzbedingungen, die tief in den Abhängigkeiten eines Datensatzes vergraben sind. Wenn die Ergebnisse des Papiers korrekt sind, müssen Unternehmen, die auf öffentliche Datensätze angewiesen sind, ihre aktuellen KI-Pipelines möglicherweise überdenken oder riskieren rechtliche Konsequenzen.

Die Forscher schlagen eine radikale und möglicherweise umstrittene Lösung vor: KI-basierte Compliance-Agenten, die in der Lage sind, die Historie von Datensätzen schneller und genauer als menschliche Anwälte zu scannen und zu überprüfen.

Das Papier besagt:

‘Dieses Papier argumentiert, dass das rechtliche Risiko von KI-Trainingsdatensätzen nicht allein durch die Überprüfung von Lizenzbedingungen bestimmt werden kann; eine umfassende Analyse der Datensatz-Weitergabe ist für die Sicherstellung der Compliance unerlässlich.

‘Da eine solche Analyse aufgrund ihrer Komplexität und ihres Umfangs über die Fähigkeiten von Menschen hinausgeht, können KI-Agenten diese Lücke durch die Durchführung mit größerer Geschwindigkeit und Genauigkeit schließen. Ohne Automatisierung bleiben kritische rechtliche Risiken weitgehend ununtersucht, was die ethische KI-Entwicklung und die Einhaltung von Vorschriften gefährdet.

‘Wir fordern die KI-Forschungsgemeinschaft auf, die umfassende rechtliche Analyse als grundlegende Anforderung anzuerkennen und KI-getriebene Ansätze als gangbaren Weg zur skalierbaren Datensatz-Compliance zu übernehmen.’

Durch die Untersuchung von 2.852 beliebten Datensätzen, die aufgrund ihrer individuellen Lizenzen kommerziell nutzbar erschienen, fand das automatisierte System der Forscher heraus, dass nur 605 (etwa 21%) tatsächlich rechtlich sicher für die Kommerzialisierung waren, sobald alle ihre Komponenten und Abhängigkeiten nachverfolgt wurden.

Das neue Papier trägt den Titel Do Not Trust Licenses You See — Dataset Compliance Requires Massive-Scale AI-Powered Lifecycle Tracing und stammt von acht Forschern bei LG AI Research.

Rechte und Pflichten

Die Autoren betonen die Herausforderungen, mit denen Unternehmen konfrontiert sind, die mit der Entwicklung von KI in einem zunehmend unsicheren rechtlichen Umfeld vorankommen – da die frühere akademische “Fair-Use”-Einstellung bei der Datenausbildung einem fragmentierten Umfeld weicht, in dem rechtliche Schutzmechanismen unklar sind und sichere Häfen nicht mehr garantiert sind.

Wie eine Veröffentlichung vor kurzem feststellte, werden Unternehmen zunehmend defensiv gegenüber den Quellen ihrer Trainingsdaten. Der Autor Adam Buick kommentiert*:

‘[Während] OpenAI die Hauptquellen der Daten für GPT-3 offengelegt hat, enthüllte das Papier, das GPT-4 vorstellte, nur, dass die Daten, auf denen das Modell trainiert wurde, eine Mischung aus “öffentlich verfügbaren Daten (wie Internetdaten) und Daten, die von Drittanbietern lizenziert wurden”, waren.

‘Die Motivationen hinter diesem Schritt weg von der Transparenz wurden von den KI-Entwicklern nicht im Detail erläutert, die in vielen Fällen keine Erklärung abgaben.

‘OpenAI begründete seine Entscheidung, keine weiteren Details über GPT-4 offenzulegen, mit Bedenken hinsichtlich “der Wettbewerbslandschaft und der Sicherheitsimplikationen großer Modelle”, ohne weitere Erklärung im Bericht.

Transparenz kann ein irreführender Begriff sein – oder einfach ein fehlerhafter; beispielsweise bot Adobes Flaggschiff-Firefly-Generativmodell, das auf Aktien daten trainiert wurde, die Adobe zur Ausbeutung berechtigt waren, Kunden angeblich Sicherheiten hinsichtlich der Rechtmäßigkeit ihrer Nutzung des Systems. Später wurde evident, dass der Firefly-Datentopf mit potenziell urheberrechtlich geschützten Daten von anderen Plattformen “angereichert” worden war.

Wie wir vor kurzem diskutierten, gibt es wachsende Initiativen, die darauf abzielen, die Lizenzkonformität in Datensätzen sicherzustellen, einschließlich einer, die nur YouTube-Videos mit flexiblen Creative-Commons-Lizenzen scrape wird.

Das Problem ist, dass die Lizenzen selbst fehlerhaft oder irrtümlich gewährt werden können, wie die neue Forschung zu vermuten scheint.

Untersuchung von Open-Source-Datensätzen

Es ist schwierig, ein Bewertungssystem wie das der Autoren zu entwickeln, wenn der Kontext ständig wechselt. Daher besagt das Papier, dass das NEXUS-Data-Compliance-Framework-System auf “verschiedenen Präzedenzfällen und Rechtsgrundlagen zu diesem Zeitpunkt” basiert.

NEXUS nutzt einen KI-getriebenen Agenten namens AutoCompliance für die automatisierte Datensatz-Compliance. AutoCompliance besteht aus drei Schlüsselmodulen: einem Navigationsmodul für die Web-Exploration; einem Frage-Antwort-Modul (QA) für die Informationsextraktion; und einem Bewertungsmodul für die rechtliche Risikobewertung.

AutoCompliance beginnt mit einer vom Benutzer bereitgestellten Webseite. Die KI extrahiert wichtige Details, sucht nach verwandten Ressourcen, identifiziert Lizenzbedingungen und Abhängigkeiten und weist eine rechtliche Risikobewertung zu. Quelle: https://arxiv.org/pdf/2503.02784

Diese Module werden von fein abgestimmten KI-Modellen angetrieben, darunter das EXAONE-3.5-32B-Instruct-Modell, das auf synthetischen und von Menschen beschrifteten Daten trainiert wurde. AutoCompliance nutzt auch eine Datenbank für die Zwischenspeicherung von Ergebnissen, um die Effizienz zu verbessern.

AutoCompliance beginnt mit einer vom Benutzer bereitgestellten Datensatz-URL und behandelt sie als die Wurzelentität, sucht nach ihren Lizenzbedingungen und Abhängigkeiten und verfolgt rekursiv verknüpfte Datensätze, um einen Lizenz-Abhängigkeitsgraphen zu erstellen. Sobald alle Verbindungen kartiert sind, berechnet es Compliance-Scores und weist Risikokategorien zu.

Das Data-Compliance-Framework, das in der neuen Arbeit dargelegt wird, identifiziert verschiedene^† Entitätstypen, die am Datenlebenszyklus beteiligt sind, darunter Datensätze, die die Kern-Eingabe für die KI-Ausbildung bilden; Software für die Datenverarbeitung und KI-Modelle, die zur Transformation und Nutzung der Daten verwendet werden; und Plattform-Dienstleister, die die Datenverwaltung erleichtern.

Das System bewertet rechtliche Risiken umfassend, indem es diese verschiedenen Entitäten und ihre Abhängigkeiten berücksichtigt, und geht über die bloße Bewertung der Lizenzbedingungen der Datensätze hinaus, um eine breitere Ökosystem-Komponenten einzubeziehen, die an der KI-Entwicklung beteiligt sind.

Data Compliance bewertet das rechtliche Risiko über den gesamten Datenlebenszyklus hinweg. Es weist Bewertungen basierend auf Datensatz-Details und 14 Kriterien zu, klassifiziert einzelne Entitäten und aggregiert Risiken über Abhängigkeiten hinweg.

Schulung und Metriken

Die Autoren extrahierten die URLs der 1.000 meistheruntergeladenen Datensätze bei Hugging Face und wählten 216 Items zufällig aus, um einen Testsatz zu bilden.

Das EXAONE-Modell wurde fein abgestimmt auf dem benutzerdefinierten Datensatz der Autoren, wobei das Navigationsmodul und das Frage-Antwort-Modul synthetische Daten und das Bewertungsmodul von Menschen beschriftete Daten verwendeten.

Ground-Truth-Labels wurden von fünf Rechtsexperten erstellt, die mindestens 31 Stunden in ähnlichen Aufgaben trainiert hatten. Diese menschlichen Experten identifizierten manuell Abhängigkeiten und Lizenzbedingungen für 216 Testfälle und aggregierten und verfeinerten ihre Ergebnisse durch Diskussion.

Mit dem trainierten, human-kalibrierten AutoCompliance-System, das gegen ChatGPT-4o und Perplexity Pro getestet wurde, wurden bemerkenswerterweise mehr Abhängigkeiten innerhalb der Lizenzbedingungen entdeckt:

Genauigkeit bei der Identifizierung von Abhängigkeiten und Lizenzbedingungen für 216 Bewertungsdatensätze.

Das Papier besagt:

‘AutoCompliance übertrifft alle anderen Agenten und menschliche Experten deutlich, erzielt eine Genauigkeit von 81,04% und 95,83% in jeder Aufgabe. Im Gegensatz dazu zeigen ChatGPT-4o und Perplexity Pro eine relativ geringe Genauigkeit für Quellen- und Lizenz-Aufgaben.

‘Diese Ergebnisse unterstreichen die überlegene Leistung von AutoCompliance, die ihre Wirksamkeit bei der Bearbeitung beider Aufgaben mit bemerkenswerter Genauigkeit unter Beweis stellt, während sie auch auf eine erhebliche Leistungslücke zwischen KI-basierten Modellen und menschlichen Experten in diesen Bereichen hinweisen.

In Bezug auf Effizienz benötigte der AutoCompliance-Ansatz nur 53,1 Sekunden, um zu laufen, im Gegensatz zu 2.418 Sekunden für die menschliche Bewertung bei denselben Aufgaben.

Darüber hinaus kostete die Bewertung 0,29 USD, im Vergleich zu 207 USD für die menschlichen Experten. Es sollte jedoch beachtet werden, dass dies auf der Grundlage des monatlichen Mietpreises eines GCP a2-megagpu-16gpu-Knotens bei 14.225 USD pro Monat basiert – was bedeutet, dass diese Art von Kosteneffizienz hauptsächlich mit einem groß angelegten Betrieb verbunden ist.

Datensatz-Untersuchung

Für die Analyse wählten die Forscher 3.612 Datensätze aus, indem sie die 3.000 meistheruntergeladenen Datensätze von Hugging Face mit 612 Datensätzen aus der Data Provenance Initiative 2023 kombinierten.

Das Papier besagt:

‘Beginnend mit den 3.612 Zielentitäten identifizierten wir insgesamt 17.429 eindeutige Entitäten, von denen 13.817 Entitäten als direkte oder indirekte Abhängigkeiten der Zielentitäten auftraten.

‘Für unsere empirische Analyse betrachten wir eine Entität und ihren Lizenz-Abhängigkeitsgraphen als einstufig aufgebaut, wenn die Entität keine Abhängigkeiten hat, und als mehrstufig aufgebaut, wenn sie eine oder mehrere Abhängigkeiten hat.

‘Von den 3.612 Ziel-Datensätzen hatten 2.086 (57,8%) mehrstufige Strukturen, während die anderen 1.526 (42,2%) einstufige Strukturen mit keinen Abhängigkeiten hatten.’

Urheberrechtlich geschützte Datensätze können nur mit rechtlicher Autorität weitergegeben werden, die durch eine Lizenz, urheberrechtliche Ausnahmen oder Vertragbedingungen erteilt werden kann. Eine unbefugte Weitergabe kann zu rechtlichen Konsequenzen führen, einschließlich Urheberrechtsverletzungen oder Vertragsverletzungen. Daher ist eine klare Identifizierung von Nicht-Konformität unerlässlich.

Verteilungsverletzungen, die unter dem im Papier zitierten Kriterium 4.4. der Data Compliance gefunden wurden.

Die Studie fand 9.905 Fälle von nicht konformen Datensatz-Weitergaben, die in zwei Kategorien unterteilt wurden: 83,5% waren ausdrücklich durch Lizenzbedingungen verboten, was die Weitergabe zu einer klaren rechtlichen Verletzung machte; und 16,5% betrafen Datensätze mit widersprüchlichen Lizenzbedingungen, bei denen die Weitergabe theoretisch erlaubt war, aber die erforderlichen Bedingungen nicht erfüllte, was zu rechtlichen Risiken führte.

Die Autoren räumen ein, dass die im NEXUS vorgeschlagenen Risikokriterien nicht universell sind und je nach Rechtsordnung und KI-Anwendung variieren können, und dass zukünftige Verbesserungen sich auf die Anpassung an sich ändernde globale Vorschriften und die Verfeinerung von KI-getriebener Rechtsprüfung konzentrieren sollten.

Schlussfolgerung

Dies ist ein umfangreiches und weitgehend unfreundliches Papier, aber es behandelt vielleicht den größten hemmenden Faktor bei der aktuellen Branchenadoption von KI – die Möglichkeit, dass scheinbar “offene” Daten später von verschiedenen Entitäten, Personen und Organisationen beansprucht werden.

Unter dem DMCA können Verletzungen rechtlich massive Strafen pro Fall nach sich ziehen. Wo Verletzungen in die Millionen gehen können, wie in den Fällen, die die Forscher entdeckt haben, ist die potenzielle rechtliche Haftung wirklich erheblich.

Darüber hinaus können Unternehmen, die als Nutznießer von Upstream-Daten nachgewiesen werden können, nicht (wie üblich) Ignoranz als Entschuldigung geltend machen, zumindest nicht auf dem einflussreichen US-Markt. Sie verfügen derzeit auch nicht über realistische Werkzeuge, mit denen sie die labyrinthine Implikationen in sogenannten Open-Source-Datensatz-Lizenzvereinbarungen durchdringen könnten.

Das Problem bei der Formulierung eines Systems wie NEXUS besteht darin, dass es bereits herausfordernd genug wäre, es auf einer pro-Staat-Basis innerhalb der USA oder auf einer pro-Nation-Basis innerhalb der EU zu kalibrieren; die Aussicht auf die Schaffung eines wirklich globalen Rahmens (eine Art “Interpol für Datensatz-Provenienz”) wird nicht nur durch die widersprüchlichen Motive der diversen Regierungen behindert, sondern auch durch die Tatsache, dass sowohl diese Regierungen als auch der Zustand ihrer aktuellen Gesetze in dieser Hinsicht ständig im Wandel sind.

* Meine Ersetzung von Hyperlinks durch die Zitate der Autoren.
† Sechs Arten sind im Papier vorgeschrieben, aber die letzten beiden sind nicht definiert.

Erstveröffentlicht am Freitag, den 7. März 2025