Wie man 2023 eine AI-Audit durchführt

Ein AI-Audit bezieht sich auf die Bewertung von KI-Systemen, um sicherzustellen, dass sie wie erwartet funktionieren, ohne Voreingenommenheit oder Diskriminierung und im Einklang mit ethischen und rechtlichen Standards stehen. KI hat in den letzten zehn Jahren ein exponentielles Wachstum erlebt. Folglich sind KI-bezogene Risiken zu einem Anliegen für Organisationen geworden. Wie Elon Musk sagte:

“KI ist ein seltenes Beispiel, bei dem ich denke, wir müssen proaktiv in der Regulierung sein, anstatt reaktiv.”

Organisationen müssen Governance-, Risikobewertungs- und Kontrollstrategien für Mitarbeiter entwickeln, die mit KI arbeiten. KI-Verantwortlichkeit wird bei Entscheidungen, bei denen die Einsätze hoch sind, wie z.B. der Einsatz von Polizei in einem bestimmten Gebiet und nicht in einem anderen, der Einstellung und Ablehnung von Kandidaten, kritisch.

Dieser Artikel wird einen Überblick über KI-Audit, Rahmenbedingungen und Vorschriften für KI-Audits sowie eine Checkliste für die Überprüfung von KI-Anwendungen präsentieren.

Faktoren, die berücksichtigt werden müssen

• Compliance: Risikobewertung im Zusammenhang mit der Einhaltung von KI-Systemen mit rechtlichen, regulatorischen, ethischen und sozialen Aspekten.
• Technologie: Risikobewertung im Zusammenhang mit technischen Fähigkeiten, einschließlich Maschinellem Lernen, Sicherheitsstandards und Modellleistung.

Herausforderungen bei der Überprüfung von KI-Systemen

• Voreingenommenheit: KI-Systeme können die Voreingenommenheit in den Daten, auf denen sie trainiert werden, verstärken und ungerechte Entscheidungen treffen. Ein Forschungsinstitut an der Stanford University, Human Centered AI (HAI), hat eine Innovationsherausforderung im Wert von 71.000 US-Dollar gestartet, um bessere KI-Audits zu entwerfen. Das Ziel dieser Herausforderung war es, Diskriminierung in KI-Systemen zu verhindern.
• Komplexität: KI-Systeme, insbesondere solche, die Deep Learning verwenden, sind komplex und fehlen an Interpretierbarkeit.

Bestehtende Vorschriften und Rahmenbedingungen für KI-Audit

Vorschriften und Rahmenbedingungen dienen als Leitfaden für die Überprüfung von KI. Einige wichtige Überprüfungsrahmenbedingungen und Vorschriften werden unten erläutert.

Überprüfungsrahmenbedingungen

1. COBIT-Rahmenbedingung (Control Objectives for Information and related Technology): Es ist der Rahmenbedingung für IT-Governance und -Management eines Unternehmens.
2. IIA’s (Institute of Internal Auditors) KI-Überprüfungsrahmenbedingung: Dieser KI-Rahmenbedingung zielt darauf ab, die Konzeption, Entwicklung und Funktionsweise von KI-Systemen und ihre Ausrichtung auf die Unternehmensziele zu bewerten. Drei Hauptkomponenten von IIA’s KI-Überprüfungsrahmenbedingung sind Strategie, Governance und Humanfaktor. Es hat sieben Elemente, die wie folgt sind:

• Cyber Resilienz
• KI-Kompetenzen
• Datenqualität
• Datenarchitektur und Infrastruktur
• Leistungs messen
• Ethik
• Die Black Box

3. COSO ERM-Rahmenbedingung: Diese Rahmenbedingung bietet einen Bezugsrahmen für die Bewertung von Risiken für KI-Systeme in einem Unternehmen. Es hat fünf Komponenten für interne Überprüfung:

• Interne Umgebung: Sicherstellung, dass die Unternehmensführung und -management KI-Risiken managen
• Zielsetzung: Zusammenarbeit mit Stakeholdern, um eine Risikostrategie zu entwickeln
• Ereigniserkennung: Identifizierung von Risiken in KI-Systemen, wie unbeabsichtigte Voreingenommenheit, Datenverletzungen
• Risikobewertung: Welche Auswirkungen wird das Risiko haben?
• Risikobewältigung: Wie wird das Unternehmen auf Risikosituationen reagieren, wie z.B. suboptimale Datenqualität?

Vorschriften

Die Allgemeine Datenschutzverordnung (DSGVO) ist ein Gesetz in der EU-Verordnung, das Unternehmen verpflichtet, personenbezogene Daten zu verwenden. Es hat sieben Grundsätze:

• Rechtmäßigkeit, Fairness und Transparenz: Die Verarbeitung personenbezogener Daten muss gesetzeskonform sein
• Zweckbindung: Daten nur für einen bestimmten Zweck verwenden
• Datensparsamkeit: Personenbezogene Daten müssen angemessen und beschränkt sein
• Genauigkeit: Daten sollten genau und aktuell sein
• Speicherbegrenzung: Personenbezogene Daten, die nicht mehr benötigt werden, nicht speichern
• Integrität und Vertraulichkeit: Personenbezogene Daten müssen sicher verarbeitet werden
• Verantwortlichkeit: Verantwortlicher für die Verarbeitung von Daten, die den Vorschriften entspricht

Andere Vorschriften umfassen CCPA und PIPEDA.

Checkliste für KI-Audit

Datenquellen

Die Identifizierung und Überprüfung von Datenquellen ist die wichtigste Überlegung bei der Überprüfung von KI-Systemen. Prüfer überprüfen die Datenqualität und ob das Unternehmen die Daten verwenden kann.

Überprüfung

Die Sicherstellung, dass das Modell angemessen überprüft wird, ist eine der Checklisten der Prüfer. Validierungsdaten sollten nicht für die Schulung verwendet werden, und die Validierungstechniken sollten die Modellgeneralisierbarkeit sicherstellen.

Sichere Hosting

In einigen Fällen verwenden KI-Systeme personenbezogene Daten. Es ist wichtig, zu bewerten, ob die Hosting- oder Cloud-Dienste die Anforderungen an die Informationssicherheit erfüllen, wie z.B. die Richtlinien von OWASP (Open Web Application Security Project).

Erklärbares KI

Erklärbares KI bezieht sich auf die Interpretation und das Verständnis der Entscheidungen, die von dem KI-System getroffen werden, und der Faktoren, die es beeinflussen. Prüfer überprüfen, ob Modelle ausreichend erklärbar sind, indem sie Techniken wie LIME und SHAP verwenden.

Modellausgaben

Fairness ist das Erste, was Prüfer bei Modellausgaben sicherstellen. Die Modellausgaben sollten konsistent bleiben, wenn Variablen wie Geschlecht, Rasse oder Religion geändert werden. Darüber hinaus wird auch die Qualität der Vorhersagen unter Verwendung der geeigneten Bewertungsmethode bewertet.

Soziales Feedback

KI-Überprüfung ist ein kontinuierlicher Prozess. Sobald das KI-System bereitgestellt wurde, sollten Prüfer den sozialen Einfluss des KI-Systems überprüfen. Das KI-System und die Risikstrategie sollten entsprechend den Feedback, der Nutzung, den Folgen und dem Einfluss, sei es positiv oder negativ, geändert und überprüft werden.

Unternehmen, die KI-Pipelines und -Anwendungen überprüfen

Fünf große Unternehmen, die KI überprüfen, sind wie folgt:

• Deloitte: Deloitte ist das größte Beratungsunternehmen der Welt und bietet Dienstleistungen im Bereich Auditing, Steuern und Finanzberatung an. Deloitte verwendet RPA, KI und Analytics, um Unternehmen bei der Risikobewertung ihrer KI-Systeme zu unterstützen.
• PwC: PwC ist das zweitgrößte Beratungsnetzwerk nach Umsatz. Sie haben Auditmethoden entwickelt, um Unternehmen zu helfen, Rechenschaftspflicht, Zuverlässigkeit und Transparenz sicherzustellen.
• EY: Im Jahr 2022 kündigte EY eine Investition von 1 Milliarde US-Dollar in eine KI-gestützte Technologieplattform an, um hochwertige Auditdienstleistungen zu bieten. Unternehmen, die von KI getrieben werden, sind gut informiert, um KI-Systeme zu überprüfen.
• KPMG: KPMG ist das viertgrößte Wirtschaftsprüfungsunternehmen. KPMG bietet maßgeschneiderte Dienstleistungen im Bereich KI-Governance, Risikobewertung und Kontrolle an.
• Grant Thronton: Sie helfen Kunden, Risiken im Zusammenhang mit der Bereitstellung von KI und der Einhaltung von KI-Ethik und Vorschriften zu managen.

Vorteile der Überprüfung von KI-Systemen

• Risikomanagement: Die Überprüfung verhindert oder mildert Risiken, die mit KI-Systemen verbunden sind.
• Transparenz: Die Überprüfung stellt sicher, dass KI-Anwendungen frei von Voreingenommenheit und Diskriminierung sind.
• Einhaltung von Vorschriften: Die Überprüfung von KI-Anwendungen bedeutet, dass das System rechtlichen und regulatorischen Vorschriften entspricht.

KI-Überprüfung: Was die Zukunft bringt

Unternehmen, Regulierungsbehörden und Prüfer sollten sich mit den Fortschritten im Bereich KI auseinandersetzen, ihre potenziellen Bedrohungen erkennen und Vorschriften, Rahmenbedingungen und Strategien häufig überprüfen, um eine faire, risikofreie und ethische Nutzung sicherzustellen.

Im Jahr 2021 verabschiedeten 193 Mitgliedstaaten der UNESCO eine globale Vereinbarung über die Ethik von KI. KI ist ein kontinuierlich sich entwickelndes Ökosystem.

Möchten Sie mehr KI-bezogene Inhalte? Besuchen Sie unite.ai.