Navrina Singh, CEO und Gründerin von Credo AI – Interview-Serie

Navrina Singh ist CEO und Gründerin von Credo AI, einem Unternehmen, das die erste umfassende AI-Governance-SaaS-Plattform entwickelt, die es Unternehmen und Einzelpersonen ermöglicht, vertrauenswürdige und ethische KI besser zu verstehen und bereitzustellen, neue Vorschriften und Richtlinien zu überwachen und einen KI-Nachweis zu erstellen, der in der gesamten Organisation überprüfbar und transparent ist. Das Unternehmen war im Verborgenen tätig und hat stillschweigend ein beeindruckendes Kundenportfolio aufgebaut, das einen der größten Regierungsunternehmer und Finanzdienstleistungsunternehmen der Welt sowie andere Fortune-100-Marken umfasst.

Sie sind in einer kleinen Stadt in Indien mit bescheidenen Anfängen aufgewachsen. Wie kamen Sie zur Ingenieurwissenschaft und zum Bereich KI?

Ich komme aus einer Mittelschichtfamilie; mein Vater war vier Jahrzehnte lang bei der Armee und meine Mutter war Lehrerin, die sich zur Modeschöpferin weiterentwickelte. Von klein auf ermutigten sie meine Neugier, meine Liebe zur wissenschaftlichen Entdeckung und gaben mir einen sicheren Raum, um die “Was-wäre-wenn”-Fragen zu erkunden.

Als ich in Indien aufwuchs, hatten Frauen nicht so viele Möglichkeiten wie Männer. Viele Entscheidungen wurden bereits für ein Mädchen getroffen, basierend auf dem, was in der Gesellschaft akzeptabel war. Der einzige Weg, um sich von dieser Situation zu befreien und ein gutes Leben für die Familie zu ermöglichen, war durch Bildung.

Nach meinem High-School-Abschluss besaß ich meinen ersten Computer, der mein Fenster zur Welt war. Ich war sehr an Hardware interessiert und verbrachte Stunden online, um zu lernen, wie man Motherboards demontiert, Roboteranwendungen baut, codiert, das elektrische System in meinem Haus neu verlegt (oh je!) und vieles mehr. Die Ingenieurwissenschaften wurden mein sicherer Raum, in dem ich experimentieren, erkunden, bauen und eine Welt erleben konnte, die ich durch meine Erfindungen Teil sein wollte. Ich war inspiriert und begeistert von der Möglichkeit, dass Technologie ein mächtiges Werkzeug sein könnte, um Veränderungen herbeizuführen, insbesondere für Frauen.

Als ich aufwuchs, waren meine Mittel begrenzt, aber die Möglichkeiten nicht. Ich träumte immer davon, in die Vereinigten Staaten zu kommen, um eine solide Grundlage in der Technologie zu schaffen, um die größten Herausforderungen der Menschheit zu meistern. Ich immigrierte 2001 in die Vereinigten Staaten, um meine ingenieurwissenschaftliche Ausbildung an der University of Wisconsin Madison fortzusetzen.

Im Laufe meiner fast zwei Jahrzehnte in der Ingenieurwissenschaft hatte ich das Privileg, an mehreren frontier-Technologien zu arbeiten, von mobilen Anwendungen bis hin zu erweiterter Realität.

2011 begann ich, künstliche Intelligenz zu erforschen, um neue aufstrebende Geschäfte bei Qualcomm (QCOM ) aufzubauen. Ich verbrachte auch Zeit damit, Geschäfte und Anwendungen in KI bei Microsoft (MSFT ) und Qualcomm aufzubauen, insbesondere im Bereich Sprache, Vision und NLP. Als ich mehr über KI und maschinelles Lernen erfuhr, wurde mir klar, dass diese frontier-Technologie unser Leben massiv verändern würde, mehr als wir uns vorstellen können.

Die Entwicklung von KI auf Unternehmensniveau machte mir auch bewusst, dass diese Technologie unseren Menschen und Gemeinschaften schaden kann, wenn sie nicht kontrolliert wird. Als Führungskräfte müssen wir eine extreme Verantwortung für die Technologien übernehmen, die wir entwickeln. Wir müssen proaktiv daran arbeiten, die Vorteile für die Menschheit zu maximieren und die Risiken zu minimieren. Schließlich “Was wir machen, macht uns”. Das verantwortungsvolle Bauen ist kritisch, was mich zu der nächsten Phase meiner Karriere inspiriert hat, nämlich der Entwicklung von KI-Governance.

Wann begannen Sie ernsthaft über KI-Governance nachzudenken?

Als ich Leiterin der Innovationsabteilung bei Qualcomm war, erkundeten wir die Möglichkeiten, die KI für unsere aufstrebenden Geschäfte bringen konnte. Unsere anfängliche Arbeit konzentrierte sich auf kollaborative Roboter, die in der Lieferkette eingesetzt wurden. Dies war meine erste Begegnung mit den “wahren” Risiken von KI, insbesondere im Hinblick auf die physische Sicherheit der Menschen, die neben diesen Robotersystemen arbeiteten.

Während dieser Zeit verbrachten wir viel Zeit mit Start-ups wie Soul Machines, um neue Anwendungsfälle zu lernen und Möglichkeiten zu finden, um mit ihnen zusammenzuarbeiten und unsere Arbeit zu beschleunigen. Soul Machines hatte eine neue Version ihres Baby-Avatars “Baby X” veröffentlicht. Beim Beobachten dieses von neuronalen Netzen angetriebenen Babys, das aktiv von der Welt um es herum lernte, hielt ich inne und reflektierte über die ungewollten Konsequenzen dieser Technologie. Meine Tochter Ziya wurde etwa zur gleichen Zeit geboren, und wir nannten sie liebevoll “Baby Z” nach Soul Machines “Baby X”. Ich habe darüber viel gesprochen, einschließlich der Women In Product Keynote 2019.

Die Lernreisen von Baby X und Baby Z waren verblüffend ähnlich! Als Ziya aufwuchs, gaben wir ihr die anfänglichen Werkzeuge und Vokabular, um zu lernen. Im Laufe der Zeit begann sie, die Welt zu verstehen und Dinge selbst zusammenzusetzen. Baby X, das von neuronalen Netzen angetriebene Baby, lernte ähnlich durch Visionssensoren und Spracherkennung und baute schnell ein tiefes Verständnis der menschlichen Welt auf.

Diese frühen KI-Momente machten mir klar, dass es kritisch war, Wege zu finden, um Risiken zu managen und wirksame Schutzmechanismen um diese mächtige Technologie herum zu schaffen, um sicherzustellen, dass sie zum Wohl der Menschheit eingesetzt wird.

Könnten Sie die Entstehungsgeschichte hinter Credo AI teilen?

Nach Qualcomm wurde ich rekrutiert, um die Kommerzialisierung von KI-Technologien bei Microsoft in der Geschäftsentwicklungsgruppe und später in der Produktgruppe zu leiten. Während meiner Amtszeit hatte ich das Privileg, an einer Vielzahl von KI-Technologien mit Anwendungen in Bereichen wie Conversational AI, Vertragsintelligenz, visueller Inspektion und sprachgesteuertem Produkt-Discovery zu arbeiten.

Das Saatgut der KI-Governance, das bei Qualcomm gelegt wurde, wuchs jedoch weiter, als ich den zunehmenden “Überwachungsdefizit” bei der Entwicklung von KI-Technologien beobachtete. Als Produktleiterin, die mit dem Datenwissenschafts- und Ingenieurteam zusammenarbeitete, waren wir motiviert, eine hochleistungsfähige KI-Anwendung zu entwickeln, die von maschinellem Lernen angetrieben wurde und schnell auf den Markt gebracht werden konnte.

Wir betrachteten Compliance und Governance als ein Tor, das den Innovationsprozess verlangsamte. Mein wachsendes Bedenken hinsichtlich des Governance-Defizits zwischen technischen und Aufsichts-Fachleuten in den Bereichen Risiko, Compliance und Audit motivierte mich jedoch, die Herausforderungen bei der Umsetzung von KI-Governance weiter zu erforschen.

Alle unbeantworteten Fragen zur KI-Governance veranlassten mich, nach Antworten zu suchen. Also begann ich, die Grundlagen für eine Non-Profit-Organisation namens MERAT (Marktplatz für ethische und verantwortungsvolle KI-Tools) zu legen, mit dem Ziel, einen Ökosystem für Start-ups und Global 2000-Unternehmen zu schaffen, die sich auf die verantwortungsvolle Entwicklung von KI konzentrieren.

Durch frühe Experimente bei MERAT wurde klar, dass es keine Start-ups gab, die Multi-Stakeholder-Tools zur umfassenden Governance von KI- und ML-Anwendungen bereitstellten – bis Credo AI. Diese Lücke war meine Chance, die Mission der gezielten KI-Governance zu verwirklichen. Meine Hypothese wurde bestätigt, dass die nächste Front der KI-Revolution von Governance geleitet werden wird. Unternehmen, die Governance übernehmen, werden als vertrauenswürdige Marken hervorgehen.

Ich wurde von dem AI-Fund angesprochen, einem Inkubator, der von Andrew Ng, einem renommierten KI-Experten, gegründet wurde. Der AI-Fund hatte sich auf die gleichen Themen der KI-Überprüfbarkeit und -Governance konzentriert, mit denen ich mich in den letzten zehn Jahren beschäftigt hatte.

Credo AI wurde am 28. Februar 2020 mit Finanzierung durch den AI-Fund gegründet.

Credo bedeutet “ein Satz von Werten, der Ihre Handlungen leitet”. Mit Credo AI ist unsere Vision, Unternehmen zu befähigen, KI mit den höchsten ethischen Standards zu schaffen.

In einem vorherigen Interview diskutierten Sie, wie Marken in der Zukunft nicht nur aufgrund dessen vertrauenswürdig sein werden, wie sie KI aufbauen und einsetzen, sondern auch, wie sie KI so skalieren, dass sie im Dienste der Menschheit steht. Könnten Sie dies erläutern?

Künstliche Intelligenz ist eine der spielverändernden Technologien des Jahrhunderts und bietet transformative Chancen für die Wirtschaft und die Gesellschaft. Sie wird voraussichtlich bis 2030 fast 16 Billionen Dollar zur globalen Wirtschaft beitragen.

Die letzten Jahre haben jedoch einen Schwerpunkt auf die großen KI-Bedrohungen (und nein, es sind nicht die Roboter-Herrscher!) gelegt, die bereits vorhanden sind. Zum Beispiel können Justitalgorithmen, die auf minimale Rückfälligkeit (eine Rückkehr in kriminelles Verhalten) optimiert sind, Voreingenommenheit einführen und Parole für diejenigen verweigern, die sie verdienen.

Soziale Algorithmen, die auf Engagement optimiert sind, können eine Nation spalten.

Ungerechte Algorithmen können der Grund dafür sein, dass Sie keinen Job oder keinen Zugang zu einer Universität erhalten.

Je mehr Autonomie wir unseren Werkzeugen geben, desto größer ist der Bereich der ungewollten Konsequenzen. Außergewöhnliche Skalierbarkeit generiert außergewöhnliche Auswirkungen, aber nicht immer die Auswirkungen, die wir beabsichtigen (Ich schreibe darüber in der Credo AI-Manifest).

Ich prophezeie, dass Unternehmen, die in KI-Governance investieren, um verantwortungsvolle Technologie zu entwickeln und sich zu ethischer Nutzung von Daten zu verpflichten, in der Lage sein werden, Vertrauen bei allen Stakeholdern zu schaffen – Kunden, Verbrauchern, Investoren, Mitarbeitern und anderen.

Wie hilft Credo AI Unternehmen, verantwortungsvoll zu handeln?

Verantwortung bedeutet die Verpflichtung, die Verantwortung für seine Handlungen zu übernehmen. Im Kontext der KI-Entwicklung und -Einsetzung bedeutet dies, dass Unternehmen nicht nur darin übereinstimmen müssen, was “gut” für sie aussieht, sondern auch absichtliche Schritte unternehmen müssen, um auf diese abgestimmten Ziele zu handeln und die Verantwortung für die Ergebnisse zu übernehmen.

Credo AI zielt darauf ab, ein Sherpa für Unternehmen in ihren ethischen und verantwortungsvollen KI-Initiativen zu sein, um sie gegenüber den vielfältigen Stakeholdern – Benutzern, Mitarbeitern, Regulierungsbehörden, Auditoren, Investoren, Führungskräften und anderen – verantwortlich zu machen. Daher hat Credo AI eine Echtzeit-, kontextgetriebene, umfassende und kontinuierliche Lösung entwickelt, um ethische und verantwortungsvolle KI im großen Maßstab bereitzustellen.

Die Schaffung von Verantwortung und Vertrauen in KI ist ein dynamischer Prozess. Organisationen müssen ihre Unternehmenswerte ausrichten, diese Werte kodifizieren, sie in ihre organisatorische Infrastruktur einbauen, die Auswirkungen beobachten und den Prozess mit diversen Stimmen auf jeder Ebene wiederholen. Credo AI ermöglicht diese Verantwortung durch eine umfassende und Echtzeit-Lösung für die Verwaltung von Compliance und Risikobewertung für KI-Einsetzungen im großen Maßstab.

Mithilfe der Credo AI-Governance-Lösung können Unternehmen:

• Auf Governance-Anforderungen für ihre KI-Anwendungsfälle und -Modelle ausrichten, mit anpassbaren Richtlinien-Paketen und Entscheidungsunterstützungs-Tools für die Auswahl von Modellbewertungsmetriken.
• Die Daten und ML-Modelle gegen diese abgestimmten Ziele bewerten und befragen
• Technische Spezifikationen in handhabbare Risikoauswirkungen für das Unternehmen bei jeder Phase der Modellentwicklung und -einsetzung analysieren, damit Sie Governance-Probleme erkennen und beheben können, bevor sie zu großen Problemen werden

Indem Credo AI die Entscheidungen und Handlungen bei jedem Schritt aufzeichnet, erfasst es den Ursprung der Entscheidungen, die zur Erstellung der Modelle geführt haben, als Beweis. Dieser Beweis wird ein Nachweis sein, der intern mit den Stakeholdern des Unternehmens und extern mit Auditoren geteilt wird, um Vertrauen in die Absichten von KI aufzubauen.

Dieser Beweis wird helfen, ungewollte Konsequenzen vorherzusagen und zu verhindern und wird die Art und Weise standardisieren, wie wir die Wirksamkeit und Vertrauenswürdigkeit von KI-Modellen bewerten.

Wir sind in den frühen Phasen der Ermöglichung von KI-Governance durch umfassende Bewertungen und Sicherstellung und freuen uns darauf, mit mehr Unternehmen zusammenzuarbeiten, um Verantwortung zu fördern.

Wie hilft Credo AI Unternehmen, sich von der KI-Governance als Nachgedanke zu lösen?

In der heutigen Welt gibt es ein mangelndes Verständnis dafür, was “verantwortungsvolle”, “ethische” und “vertrauenswürdige” KI wirklich ist und wie Unternehmen diese umsetzen können. Wir helfen, diese wichtige Frage für Unternehmen zu reformulieren, indem wir die Credo AI-SaaS-Plattform nutzen, um die “Ökonomie der Ethik” zu demonstrieren.

Mit Credo AI können Unternehmen nicht nur faire, konforme und überprüfbare KI bereitstellen, sondern auch Vertrauen bei den Kunden aufbauen.

Das Aufbauen von Vertrauen bei den Kunden kann die Kundenbasis eines Unternehmens erweitern und mehr Umsatz generieren. Zum Beispiel können Unternehmen die beste mögliche Kundenexperience bieten, indem sie ethische KI in ihren Kunden-Service-Chatbots verwenden oder verantwortungsvoll KI nutzen, um Benutzeraktivitäten zu verstehen und zusätzliche Inhalte oder Produkte vorzuschlagen. Sehr zufriedene Kunden bieten dann das beste Werbemittel, indem sie ihre Erfahrungen mit Freunden und Familie teilen.

Darüber hinaus können Unternehmen auch erkennen, wie die Zusammenarbeit zwischen technischen und Aufsichts-Funktionen dazu beitragen kann, Kosten zu sparen, da sie durch schnellere Compliance, informierte Risikomanagement und geringere Marken- und Regulierungsrisiken profitieren. Wir helfen Organisationen, ethische KI einzusetzen, indem wir eine Brücke zwischen technischen Metriken und greifbaren Geschäftsergebnissen bauen. Wie immer mehr Menschen erkennen, bedeutet die Förderung ethischer KI viel mehr als nur das Ankreuzen eines “Regulierungs-Compliance”-Kästchens. Aber es hat die Macht, noch mehr als einen Beitrag zu einer gerechteren Welt zu leisten, was an sich bereits ein wertvolles Ergebnis wäre.

Wenn ein Unternehmen hohe ethische Standards aufrechterhält, kann es mit realen Geschäftsergebnissen rechnen, wie z.B. erhöhten Umsatz. Die Verschiebung der Perspektive von einem abstrakten “weichen” Konzept zu einer objektiven Geschäftsentscheidung war ein wichtiger Weg für uns, um KI-Governance als kritischen Teil des wirtschaftlichen und sozialen Motors für das Unternehmen zu positionieren.

Vor kurzem hat die Biden-Regierung den Nationalen KI-Beratungsausschuss eingerichtet. Was sind Ihre Auswirkungen auf KI-Unternehmen?

Regierungen weltweit gehen mit voller Kraft auf die Regulierung von KI zu, und Unternehmen müssen sich darauf vorbereiten. Die Schaffung des Nationalen KI-Beratungsausschusses durch die Biden-Regierung und die Investitionen in das Weiße Haus OSTP sind ein guter erster Schritt, um Handlungen zu den Diskussionen über das Gesetz zur Regulierung von KI-Systemen zu bringen. Es muss jedoch noch viel Arbeit geleistet werden, um zu verstehen, was verantwortungsvolle KI für unser Land und unsere Wirtschaft bedeuten würde.

Ich glaube, dass 2022 das Jahr der Aktion für verantwortungsvolle KI sein wird. Es ist ein Weckruf für Unternehmen, die ihre KI-Ethik-Rahmen zu überprüfen oder zu implementieren. Jetzt ist der Zeitpunkt, an dem Unternehmen ihre bestehenden Rahmenbedingungen auf Lücken überprüfen oder, wenn sie keinen Ansatz haben, einen soliden Rahmen für vertrauenswürdige KI zu implementieren, um erfolgreich zu sein und in der Ära der KI zu führen.

Wir sollten mehr harte und weiche Regulierungen erwarten. Neben den Maßnahmen des Weißen Hauses gibt es viel Momentum von anderen politischen Entscheidungsträgern und Behörden, wie dem Entwurf des Algorithmus-Verantwortlichkeitsgesetzes des Senats, der FTC-Richtlinie zu KI-Voreingenommenheit und mehr.

Wenn wir in die Zukunft blicken, wie wichtig werden KI-Ethik und KI-Governance in fünf Jahren sein?

Wir sind in den frühen Phasen der KI-Governance. Um zu unterstreichen, wie kritisch KI-Governance ist, hier sind einige meiner Vorhersagen für die nächsten Jahre:

• Ethische KI-Governance wird zu einer Top-Organisations-Priorität

Unternehmen setzen weiterhin in die Nutzung von KI in ihren Geschäften und erzielen Vorteile. IDC hat einen Ausgabenbetrag von 340 Milliarden Dollar für KI im Jahr 2022 prognostiziert. Ohne Governance werden Unternehmen jedoch zögern, in KI zu investieren, weil sie Bedenken hinsichtlich Voreingenommenheit, Sicherheit, Genauigkeit und Compliance dieser Systeme haben.

Ohne Vertrauen werden Verbraucher auch zögern, KI-basierte Produkte zu akzeptieren oder Daten zur Verfügung zu stellen, um diese Systeme aufzubauen. In den nächsten fünf Jahren wird ethische KI-Governance zu einer Vorstands-Priorität und einem wichtigen Metrik, das Unternehmen berichten und gegenüber ihren Stakeholdern veröffentlichen müssen, um Vertrauen aufzubauen.

• Neue sozio-technische Job-Kategorien werden innerhalb eines Unternehmens entstehen

Wir sehen bereits, dass ethikorientierte Organisationen erheblich in die Zukunftssicherung ihrer Entwicklung investieren, um faire, konforme und überprüfbare KI-Anwendungen zu gewährleisten.

Um in KI zu führen, müssen Unternehmen den KI-Regulierungslandschaft und die Implementierung von Verantwortungsstrukturen im großen Maßstab noch schneller erkunden. Da sich das aufstrebende Feld der ethischen KI-Implementierung entwickelt, könnte eine neue sozio-technische Job-Kategorie entstehen, um diese Gespräche zu erleichtern und in diesem Bereich die Führung zu übernehmen. Diese neue Komponente der Belegschaft könnte als Vermittler zwischen technischen und Aufsichts-Funktionen fungieren und dazu beitragen, gemeinsame Standards und Ziele zu entwickeln.

• Neue KI-erfahrene Erfahrungen werden strengere Governance erfordern

Die Bewältigung der beabsichtigten und ungewollten Konsequenzen von künstlicher Intelligenz ist kritisch, insbesondere wenn wir in die Metaverse- und Web3-Welt eintauchen. Die Risiken von KI existieren in der realen Welt und der virtuellen Welt, aber sie werden in letzterer noch verstärkt.

Wenn Unternehmen in die Metaverse eintauchen, ohne dass es eine KI-Überwachung gibt, setzen sie ihre Kunden einem Risiko aus, wie z.B. Identitätsdiebstahl und Betrug. Es ist von entscheidender Bedeutung, dass KI- und Governance-Probleme in der realen Welt gelöst werden, um die Verbraucher in der Metaverse zu schützen.

• Neue Ökosysteme in ethischer KI-Governance werden entstehen

Die Welt hat erkannt, dass KI-Governance die grundlegende Bausteine für die Operationalisierung verantwortungsvoller KI darstellt. In den nächsten Jahren werden wir einen wettbewerbsfähigen und dynamischen Markt von Dienstleistern sehen, die Tools, Dienstleistungen, Bildung und andere Fähigkeiten bereitstellen, um diesen enormen Bedarf zu unterstützen.

Zusätzlich werden wir auch eine Konsolidierung und Erweiterung bestehender MLOps- und GRC-Plattformen sehen, um Governance- und Bewertungsfunktionen für KI bereitzustellen.

Gibt es noch etwas, das Sie über Credo AI teilen möchten?

Ethische KI-Governance ist eine zukunftssichere Investition, die Sie nicht versäumen können, und heute ist der beste Tag, um zu beginnen.

Vielen Dank für das detaillierte Interview und für die Teilung aller Ihrer Erkenntnisse zu KI-Governance und -Ethik. Leser, die mehr erfahren möchten, sollten Credo AI besuchen.