Wie man 2023 einen AI-Audit durchführt

Ein AI-Audit bezieht sich auf die Bewertung von KI-Systemen, um sicherzustellen, dass sie wie erwartet funktionieren, ohne Voreingenommenheit oder Diskriminierung und im Einklang mit ethischen und rechtlichen Standards. KI hat in den letzten zehn Jahren ein exponentielles Wachstum erlebt. Folglich sind KI-bezogene Risiken zu einem Anliegen für Organisationen geworden. Wie Elon Musk sagte:

“KI ist ein seltener Fall, in dem ich denke, wir müssen proaktiv in der Regulierung tätig sein, anstatt reaktiv.”

Organisationen müssen Governance-, Risikobewertungs- und Kontrollstrategien für Mitarbeiter entwickeln, die mit KI arbeiten. KI-Rechenschaftspflicht wird bei Entscheidungen, bei denen die Einsätze hoch sind, wie z. B. der Bereitstellung von Polizei in einem Gebiet und nicht in einem anderen, der Einstellung und Ablehnung von Kandidaten, kritisch.
Dieser Artikel gibt einen Überblick über KI-Audit, Rahmenbedingungen und Vorschriften für KI-Audits und eine Checkliste für die Überprüfung von KI-Anwendungen.

Faktoren, die berücksichtigt werden müssen

• Compliance: Risikobewertung im Zusammenhang mit der Einhaltung von KI-Systemen mit rechtlichen, regulatorischen, ethischen und sozialen Überlegungen.
• Technologie: Risikobewertung im Zusammenhang mit technischen Fähigkeiten, einschließlich Machine Learning, Sicherheitsstandards und Modellleistung.

Herausforderungen bei der Überprüfung von KI-Systemen

• Voreingenommenheit: KI-Systeme können die Voreingenommenheit in den Daten, auf denen sie trainiert wurden, verstärken und ungerechte Entscheidungen treffen. Das Forschungsinstitut Human Centered AI (HAI) an der Stanford University hat eine Innovationsherausforderung im Wert von 71.000 Dollar gestartet, um bessere KI-Audits zu entwerfen. Das Ziel dieser Herausforderung war es, Diskriminierung in KI-Systemen zu verhindern.
• Komplexität: KI-Systeme, insbesondere solche, die Deep Learning verwenden, sind komplex und fehlen an Interpretierbarkeit.

Bestehtende Vorschriften und Rahmenbedingungen für KI-Audit

Vorschriften und Rahmenbedingungen dienen als Leitfaden für die Überprüfung von KI. Einige wichtige Überprüfungsrahmenbedingungen und Vorschriften werden im Folgenden erörtert.

Überprüfungsrahmenbedingungen

1. COBIT-Rahmen (Control Objectives for Information and related Technology): Es ist der Rahmen für IT-Governance und -Management eines Unternehmens.
2. IIA’s (Institute of Internal Auditors) KI-Überprüfungsrahmen: Dieser KI-Rahmen zielt darauf ab, die Konstruktion, Entwicklung und Funktionsweise von KI-Systemen und ihre Ausrichtung auf die Unternehmensziele zu bewerten. Die drei Hauptkomponenten von IIA’s KI-Überprüfungsrahmen sind Strategie, Governance und Humanfaktor. Es hat sieben Elemente, die wie folgt sind:

• Cyber Resilienz
• KI-Kompetenzen
• Datenqualität
• Datenarchitektur und Infrastruktur
• Leistungsmessung
• Ethik
• Die Black Box

3. COSO ERM-Rahmen: Dieser Rahmen bietet einen Bezugspunkt für die Bewertung von Risiken für KI-Systeme in einem Unternehmen. Es hat fünf Komponenten für interne Audits:

• Interne Umgebung: Sicherstellung, dass die Governance und das Management des Unternehmens KI-Risiken managen
• Zielsetzung: Zusammenarbeit mit Stakeholdern, um eine Risikostrategie zu erstellen
• Ereigniserkennung: Erkennung von Risiken in KI-Systemen, wie unbeabsichtigte Voreingenommenheit, Datenverletzungen
• Risikobewertung: Welche Auswirkungen wird das Risiko haben?
• Risikobewältigung: Wie wird das Unternehmen auf Risikosituationen reagieren, wie z. B. suboptimale Datenqualität?

Vorschriften

Die Datenschutz-Grundverordnung (DSGVO) ist ein Gesetz in der EU-Verordnung, das Organisationen verpflichtet, personenbezogene Daten zu verwenden. Es hat sieben Grundsätze:

• Rechtmäßigkeit, Fairness und Transparenz: Die Verarbeitung personenbezogener Daten muss gesetzeskonform sein
• Zweckbindung: Daten nur für einen bestimmten Zweck verwenden
• Datensparsamkeit: Personenbezogene Daten müssen angemessen und beschränkt sein
• Genauigkeit: Daten sollten genau und aktuell sein
• Speicherbegrenzung: Personenbezogene Daten, die nicht mehr benötigt werden, nicht speichern
• Integrität und Vertraulichkeit: Personenbezogene Daten sicher verarbeiten
• Verantwortlichkeit: Der Verantwortliche verarbeitet Daten verantwortungsvoll und im Einklang mit den Vorschriften

Andere Vorschriften umfassen CCPA und PIPEDA.

Checkliste für KI-Audit

Datenquellen

Die Identifizierung und Überprüfung der Datenquellen ist die primäre Überlegung bei der Überprüfung von KI-Systemen. Prüfer überprüfen die Datenqualität und ob das Unternehmen die Daten verwenden kann.

Quervalidierung

Die Sicherstellung, dass das Modell angemessen quervalidiert wird, ist eine der Checklisten der Prüfer. Validierungsdaten sollten nicht für die Schulung verwendet werden, und die Validierungstechniken sollten die Modellgeneralisierbarkeit sicherstellen.

Sichere Hosting

In einigen Fällen verwenden KI-Systeme personenbezogene Daten. Es ist wichtig, zu bewerten, ob die Hosting- oder Cloud-Dienste die Informationsicherheitsanforderungen wie die Richtlinien von OWASP (Open Web Application Security Project) erfüllen.

Erklärbares KI

Erklärbares KI bezieht sich auf die Interpretation und das Verständnis der Entscheidungen, die von KI-Systemen getroffen werden, und der Faktoren, die sie beeinflussen. Prüfer überprüfen, ob Modelle ausreichend erklärbar sind, indem sie Techniken wie LIME und SHAP verwenden.

Modellausgaben

Fairness ist das Erste, was Prüfer bei Modellausgaben sicherstellen. Die Modellausgaben sollten konsistent bleiben, wenn Variablen wie Geschlecht, Rasse oder Religion geändert werden. Darüber hinaus wird die Qualität der Vorhersagen unter Verwendung der geeigneten Bewertungsmethode bewertet.

Soziales Feedback

KI-Überprüfung ist ein kontinuierlicher Prozess. Sobald bereitgestellt, sollten Prüfer die soziale Auswirkung des KI-Systems überprüfen. Das KI-System und die Risikostrategie sollten entsprechend den Feedback, der Nutzung, den Folgen und dem Einfluss, sei es positiv oder negativ, überprüft und geändert werden.

Unternehmen, die KI-Pipelines und -Anwendungen überprüfen

Fünf große Unternehmen, die KI überprüfen, sind wie folgt:

• Deloitte: Deloitte ist das größte Beratungsunternehmen der Welt und bietet Dienstleistungen im Bereich Auditing, Steuern und Finanzberatung an. Deloitte setzt RPA, KI und Analytics ein, um Organisationen bei der Risikobewertung ihrer KI-Systeme zu unterstützen.
• PwC: PwC ist das zweitgrößte Beratungsnetzwerk nach Umsatz. Sie haben Auditmethoden entwickelt, um Organisationen dabei zu helfen, Rechenschaftspflicht, Zuverlässigkeit und Transparenz sicherzustellen.
• EY: Im Jahr 2022 kündigte EY eine Investition von 1 Milliarde Dollar in eine KI-gestützte Technologieplattform an, um hochwertige Auditdienstleistungen zu erbringen. Unternehmen, die von KI angetrieben werden, sind gut informiert, um KI-Systeme zu überprüfen.
• KPMG: KPMG ist das viertgrößte Wirtschaftsprüfungsunternehmen. KPMG bietet maßgeschneiderte Dienstleistungen im Bereich KI-Governance, Risikobewertung und Kontrolle an.
• Grant Thronton: Sie helfen Kunden, Risiken im Zusammenhang mit der Bereitstellung von KI und der Einhaltung von KI-Ethik und Vorschriften zu managen.

Vorteile der Überprüfung von KI-Systemen

• Risikomanagement: Die Überprüfung verhindert oder mindert Risiken, die mit KI-Systemen verbunden sind.
• Transparenz: Die Überprüfung stellt sicher, dass KI-Anwendungen frei von Voreingenommenheit und Diskriminierung sind.
• Einhaltung von Vorschriften: Die Überprüfung von KI-Anwendungen bedeutet, dass das System rechtlichen und regulatorischen Vorschriften entspricht.

KI-Überprüfung: Was die Zukunft bringt

Organisationen, Regulierungsbehörden und Prüfer sollten sich mit den Fortschritten im Bereich KI vertraut machen, ihre potenziellen Bedrohungen erkennen und Vorschriften, Rahmenbedingungen und Strategien regelmäßig überprüfen und anpassen, um eine faire, risikofreie und ethische Nutzung sicherzustellen.

In 2021 verabschiedeten 193 Mitgliedstaaten der UNESCO eine globale Vereinbarung über die Ethik von KI. KI ist ein kontinuierlich evolvierendes Ökosystem.

Möchten Sie mehr KI-bezogene Inhalte? Besuchen Sie unite.ai.