Wie Bias Ihre AI/ML-Strategie töten wird und was Sie dagegen tun können

‘Bias’ in Modellen jeder Art beschreibt eine Situation, in der das Modell ungenau auf Eingaben oder Daten reagiert, weil es nicht mit genügend hochwertigen, vielfältigen Daten trainiert wurde, um eine genaue Antwort zu liefern. Ein Beispiel wäre Apples Gesichtserkennungs-Feature zum Entsperren des Telefons, das bei Menschen mit dunklerer Hautfarbe wesentlich häufiger fehlschlug als bei Menschen mit hellerer Hautfarbe. Das Modell war nicht mit genügend Bildern von Menschen mit dunkler Haut trainiert worden. Dies war ein relativ niedriges Risiko-Bias-Beispiel, aber genau deshalb hat der EU-AI-Akt Anforderungen zur Nachweisbarkeit der Modell-Effizienz (und Kontrollen) vor der Markteinführung festgelegt. Modelle mit Ausgaben, die Geschäfts-, Finanz-, Gesundheits- oder persönliche Situationen beeinflussen, müssen vertrauenswürdig sein, sonst werden sie nicht verwendet.

Bias mit Daten bekämpfen

Große Mengen an hochwertigen Daten

Unter vielen wichtigen Datenmanagement-Praktiken ist die Beschaffung großer Mengen an hochwertigen, vielfältigen Daten ein Schlüsselkomponente, um Bias in AI/ML-Modellen zu überwinden und zu minimieren. Dies erfordert die Zusammenarbeit mit mehreren Organisationen, die solche Daten besitzen. Traditionell werden Datenbeschaffung und -zusammenarbeit durch Datenschutz- und/oder IP-Schutzbedenken eingeschränkt – sensible Daten können nicht an den Modellbesitzer gesendet werden, und der Modellbesitzer kann nicht riskieren, seine IP an einen Datenbesitzer zu verlieren. Ein häufiger Workaround ist die Arbeit mit Mock- oder synthetischen Daten, die nützlich sein können, aber auch Einschränkungen im Vergleich zur Verwendung von echten, vollständigen Daten haben. Hier kommen Datenschutz-Technologien (PETs) ins Spiel und bieten vielversprechende Antworten.

Synthetische Daten: Nah dran, aber nicht ganz

Synthetische Daten werden künstlich generiert, um echte Daten nachzuahmen. Dies ist schwierig, wird aber mit AI-Tools leichter. Gute synthetische Daten sollten die gleichen Merkmalsabstände wie echte Daten haben, sonst sind sie nicht nützlich. Qualitativ hochwertige synthetische Daten können verwendet werden, um die Vielfalt der Trainingsdaten effektiv zu erhöhen, indem sie Lücken für kleinere, Randgruppen oder für Gruppen füllen, für die der AI-Anbieter einfach nicht genug Daten hat. Synthetische Daten können auch verwendet werden, um Randfälle zu behandeln, die in der realen Welt möglicherweise schwer zu finden sind. Zusätzlich können Organisationen ein synthetisches Datenset generieren, um Daten-Residenz- und Datenschutzanforderungen zu erfüllen, die den Zugriff auf echte Daten blockieren. Dies klingt großartig, aber synthetische Daten sind nur ein Teil des Puzzles, nicht die Lösung.

Eine der offensichtlichen Einschränkungen von synthetischen Daten ist der Bruch mit der realen Welt. Zum Beispiel werden autonome Fahrzeuge, die ausschließlich auf synthetischen Daten trainiert wurden, mit realen, unvorhersehbaren Straßenbedingungen kämpfen. Zusätzlich erben synthetische Daten den Bias aus den realen Daten, die zur Generierung verwendet wurden – was den Zweck unserer Diskussion praktisch zunichtemacht. Zusammenfassend sind synthetische Daten eine nützliche Option für Feinabstimmung und Randfälle, aber wesentliche Verbesserungen in der Modell-Effizienz und Minimierung von Bias hängen immer noch von der Nutzung von realen Welt-Daten ab.

Eine bessere Lösung: Echte Daten über PETs-aktivierte Workflows

PETs schützen Daten während der Nutzung. Wenn es um AI/ML-Modelle geht, können sie auch den IP-Schutz des laufenden Modells schützen – “zwei Fliegen mit einer Klappe”. Lösungen, die PETs verwenden, bieten die Option, Modelle auf realen, sensiblen Datensätzen zu trainieren, die zuvor aufgrund von Datenschutz- und Sicherheitsbedenken nicht zugänglich waren. Diese Freigabe von Datenflüssen zu realen Daten ist die beste Option, um Bias zu reduzieren. Aber wie würde es tatsächlich funktionieren?

Derzeit beginnen die führenden Optionen mit einer vertraulichen Rechenumgebung. Dann erfolgt eine Integration mit einer PETs-basierten Software-Lösung, die es sofort einsatzbereit macht und die Daten-Governance- und Sicherheitsanforderungen erfüllt, die in einer Standard-TEEs (Trusted Execution Environment) nicht enthalten sind. Mit dieser Lösung werden die Modelle und Daten vor dem Versand in eine gesicherte Rechenumgebung verschlüsselt. Die Umgebung kann überall gehostet werden, was wichtig ist, wenn es um die Erfüllung bestimmter Daten-Localisierungsanforderungen geht. Dies bedeutet, dass sowohl der Modell-IP-Schutz als auch die Sicherheit der Eingabedaten während der Berechnung aufrechterhalten werden – nicht einmal der Anbieter der vertrauenswürdigen Ausführungsumgebung hat Zugriff auf die Modelle oder Daten innerhalb davon. Die verschlüsselten Ergebnisse werden dann zur Überprüfung zurückgesendet und Protokolle stehen zur Überprüfung zur Verfügung.

Dieser Fluss schaltet die beste Qualität von Daten frei, egal wo sie sind oder wer sie besitzt, und schafft einen Weg zur Minimierung von Bias und zur Erstellung von vertrauenswürdigen Modellen mit hoher Effizienz. Dieser Fluss ist auch das, was der EU-AI-Akt in seinen Anforderungen für einen AI-Regulierungs-Sandbox beschreibt.

Erleichterung der ethischen und rechtlichen Einhaltung

Die Beschaffung von hochwertigen, realen Daten ist schwierig. Datenschutz- und Localisierungsanforderungen beschränken sofort die Datensätze, auf die Organisationen zugreifen können. Damit Innovation und Wachstum stattfinden können, müssen Daten zu denen fließen, die den Wert daraus ziehen können.

Art. 54 des EU-AI-Aktes legt Anforderungen für “hochrisikoreiche” Modelltypen in Bezug auf das fest, was vor der Markteinführung nachgewiesen werden muss. Kurz gesagt müssen Teams reale Welt-Daten innerhalb eines AI-Regulierungs-Sandboxes verwenden, um ausreichende Modell-Effizienz und Einhaltung aller in Titel III, Kapitel 2 festgelegten Kontrollen nachzuweisen. Die Kontrollen umfassen Überwachung, Transparenz, Erklärbarkeit, Daten-Sicherheit, Datenschutz, Daten-Minimierung und Modell-Schutz – denken Sie an DevSecOps + Data Ops.

Die erste Herausforderung wird darin bestehen, einen realen Datensatz zu finden – da dies inhärent sensible Daten für solche Modelltypen sind. Ohne technische Garantien werden viele Organisationen zögern, dem Modell-Anbieter ihre Daten anzuvertrauen oder werden nicht dazu in der Lage sein. Darüber hinaus stellt die Art und Weise, wie der Akt einen “AI-Regulierungs-Sandbox” definiert, eine Herausforderung dar. Einige der Anforderungen umfassen die Garantie, dass die Daten aus dem System entfernt werden, nachdem das Modell ausgeführt wurde, sowie die Governance-Kontrollen, Durchsetzung und Berichterstattung, um dies nachzuweisen.

Viele Organisationen haben versucht, out-of-the-box-Daten-Clean-Rooms (DCRs) und vertrauenswürdige Ausführungsumgebungen (TEEs) zu verwenden. Aber auf sich allein gestellt erfordern diese Technologien erhebliche Fachkenntnisse und Arbeit, um die Anforderungen von Daten- und AI-Regulierungen zu erfüllen.
DCRs sind einfacher zu verwenden, aber noch nicht nützlich für umfassendere AI/ML-Bedürfnisse. TEEs sind gesicherte Server und benötigen immer noch eine integrierte Kollaborationsplattform, um schnell nützlich zu sein. Dies identifiziert jedoch eine Chance für Datenschutz-Technologie-Plattformen, um mit TEEs zu integrieren und diese Arbeit zu eliminieren, wodurch die Einrichtung und der Einsatz eines AI-Regulierungs-Sandboxes trivialisiert werden und somit die Beschaffung und der Einsatz sensibler Daten.

Indem diese Technologien die Nutzung vielfältigerer und umfassenderer Datensätze in einer datenschutzfreundlichen Weise ermöglichen, helfen sie sicherzustellen, dass AI- und ML-Praktiken ethischen Standards und rechtlichen Anforderungen im Zusammenhang mit Datenschutz (z. B. DSGVO und EU-AI-Akt in Europa) entsprechen. Insgesamt sind die Anforderungen, die oft mit hörbaren Grunzen und Seufzern begegnet werden, einfach nur Richtlinien, die uns helfen, bessere Modelle zu erstellen, auf die wir uns verlassen können, um wichtige datengetriebene Entscheidungen zu treffen, während wir die Privatsphäre der Daten-Subjekte schützen, die für die Modell-Entwicklung und -Anpassung verwendet werden.