Navrina Singh, CEO und Gründerin von Credo AI – Interviewreihe

Navrina Singh ist CEO und Gründerin von Credo AI, einem Unternehmen, das die erste umfassende AI-Governance-SaaS-Plattform entwirft, die es Unternehmen und Einzelpersonen ermöglicht, vertrauenswürdige und ethische KI besser zu verstehen und bereitzustellen, neue Vorschriften und Richtlinien zu überwachen und einen KI-Nachweis zu erstellen, der in der gesamten Organisation überprüfbar und transparent ist. Das Unternehmen war im Verborgenen tätig und hat unauffällig ein beeindruckendes Kundenportfolio aufgebaut, das einen der größten Regierungsunternehmer und Finanzdienstleister der Welt sowie andere Fortune-100-Marken umfasst.

Sie sind in einer kleinen Stadt in Indien mit bescheidenen Anfängen aufgewachsen, wie kamen Sie auf die Idee, sich für Ingenieurwesen und das Feld der KI zu interessieren?

Ich komme aus einer Mittelschichtfamilie; mein Vater war vier Jahrzehnte lang im Militär und meine Mutter war Lehrerin und später Modeschöpferin. Von klein auf ermutigten sie meine Neugier, meine Liebe zu wissenschaftlichen Entdeckungen und gaben mir einen sicheren Raum, um die “Was-wäre-wenn”-Fragen zu erkunden.

Als ich in Indien aufwuchs, hatten Frauen nicht so viele Möglichkeiten wie Männer. Viele Entscheidungen wurden bereits für ein Mädchen getroffen, basierend auf dem, was von der Gesellschaft akzeptiert wurde. Der einzige Weg, um sich von den gesellschaftlichen Erwartungen zu befreien und ein gutes Leben für die Familie zu ermöglichen, war durch Bildung.

Nach meinem High-School-Abschluss besaß ich meinen ersten Computer, der mein Fenster zur Welt war. Ich war sehr an Hardware interessiert und verbrachte Stunden online, um zu lernen, wie man Mainboards demontiert, Roboteranwendungen baut, codet, die Elektrik in meinem Haus erneuert (oh je!) und vieles mehr. Ingenieurwesen wurde mein sicherer Raum, in dem ich experimentieren, erkunden, bauen und eine Welt erleben konnte, die ich durch meine Erfindungen teilhaben wollte. Ich war inspiriert und begeistert von der Möglichkeit, dass Technologie ein mächtiges Werkzeug sein konnte, um Veränderungen herbeizuführen, insbesondere für Frauen.

Als ich aufwuchs, waren meine Mittel begrenzt, aber die Möglichkeiten nicht. Ich träumte immer davon, in die Vereinigten Staaten zu kommen, um eine solide Grundlage in der Technologie zu schaffen, um die größten Herausforderungen der Menschheit zu lösen. Ich immigrierte 2001, um meine ingenieurwissenschaftliche Reise an der University of Wisconsin Madison fortzusetzen.

Im Laufe meiner fast zwei Jahrzehnte im Ingenieurwesen hatte ich das Privileg, an mehreren Frontier-Technologien zu arbeiten, von Mobilfunk bis hin zu erweiterter Realität.

2011 begann ich, künstliche Intelligenz zu erforschen, um neue aufstrebende Geschäfte bei Qualcomm aufzubauen. Ich habe auch Zeit damit verbracht, Geschäfte und Anwendungen in KI über Sprache, Vision und NLP bei Microsoft und Qualcomm aufzubauen. Als ich mehr über KI und maschinelles Lernen erfuhr, wurde mir klar, dass diese Frontier-Technologie unser Leben massiv verändern würde, mehr als wir uns vorstellen können.

Die Erstellung von Unternehmens-KI machte mir auch bewusst, dass die Technologie unseren Menschen und Gemeinschaften einen Dienst erweisen und schaden kann, wenn sie nicht kontrolliert wird. Wir als Führungskräfte müssen eine extreme Verantwortung für die Technologien übernehmen, die wir entwickeln. Wir müssen proaktiv daran arbeiten, ihre Vorteile für die Menschheit zu maximieren und ihre Risiken zu minimieren. Schließlich “Was wir machen, macht uns”. Das Bauen von verantwortungsvoller KI ist daher kritisch, was mich zu der nächsten Phase meiner Karriere inspiriert hat, nämlich der Entwicklung von KI-Governance.

Wann begannen Sie ernsthaft über KI-Governance nachzudenken?

Als ich Leiterin der Abteilung für Innovation bei Qualcomm war, erforschten wir die Möglichkeiten, die KI für unsere aufstrebenden Geschäfte bieten konnte. Unsere anfängliche Arbeit konzentrierte sich auf kollaborative Roboter, die in der Lieferkette eingesetzt wurden. Dies war meine erste Begegnung mit den “wahren” Risiken von KI, insbesondere im Hinblick auf die physische Sicherheit der Menschen, die neben diesen Robotersystemen arbeiteten.

Während dieser Zeit verbrachten wir viel Zeit mit Start-ups wie Soul Machines, um neue Anwendungsfälle zu lernen und Möglichkeiten zu finden, um mit ihnen zusammenzuarbeiten und unsere Arbeit zu beschleunigen. Soul Machines hatte eine neue Version ihres Baby-Avatars “Baby X” veröffentlicht. Beim Beobachten dieses neuronalen Netzes, das aktiv von der Welt um es herum lernte, hielt ich inne und reflektierte über die unbeabsichtigten Konsequenzen dieser Technologie. Meine Tochter Ziya wurde etwa zur gleichen Zeit geboren, und wir nannten sie liebevoll “Baby Z” nach Soul Machines “Baby X”. Ich habe darüber viel gesprochen, einschließlich einer Women In Product Keynote im Jahr 2019.

Die Lernreisen von Baby X und Baby Z waren verblüffend ähnlich! Als Ziya aufwuchs, gaben wir ihr das anfängliche Vokabular und die Werkzeuge, um zu lernen. Mit der Zeit begann sie, die Welt zu verstehen und Dinge selbst zusammenzufügen. Baby X, das neuronale Netz-Baby, lernte ähnlich durch Visionssensoren und Spracherkennung und baute schnell ein tiefes Verständnis der menschlichen Welt auf.

Diese frühen KI-Momente machten mir klar, dass es wichtig war, Wege zu finden, um Risiken zu managen und effektive Schutzmechanismen um diese mächtige Technologie zu schaffen, um sicherzustellen, dass sie zum Wohle eingesetzt wird.

Können Sie die Entstehungsgeschichte hinter Credo AI teilen?

Nach Qualcomm wurde ich rekrutiert, um die Kommerzialisierung von KI-Technologien bei Microsoft in der Abteilung für Geschäftsentwicklung und später in der Produktgruppe zu leiten. Während meiner Amtszeit hatte ich das Glück, an einer Vielzahl von KI-Technologien mit Anwendungsfällen von Conversational KI bis hin zu Vertragsintelligenz und von visuellen Inspektionen bis hin zu sprachgesteuerten Produktentdeckungen zu arbeiten.

Die Saat der KI-Governance, die bei Qualcomm gelegt wurde, wuchs jedoch weiter, als ich den zunehmenden “Überwachungsdefizit” bei der Entwicklung von KI-Technologien beobachtete. Als Produktleiterin, die mit dem Data-Science- und Ingenieurteam zusammenarbeitete, waren wir motiviert, eine leistungsstarke KI-Anwendung zu entwickeln, die von maschinellem Lernen angetrieben wurde und schnell auf dem Markt eingesetzt werden konnte.

Wir sahen Compliance und Governance als ein Tor, das die Innovationsgeschwindigkeit verlangsamte. Mein wachsendes Bedenken hinsichtlich des Governance-Defizits zwischen technischen und Überwachungsfachleuten in Risiko, Compliance, Audit, motivierte mich, die Herausforderungen bei der Realisierung von KI-Governance zu erforschen.

All die unbeantworteten Fragen zu KI-Governance veranlassten mich, nach Antworten zu suchen. Also begann ich, die Grundlagen für eine Non-Profit-Organisation namens MERAT (Marktplatz für ethische und verantwortungsvolle KI-Tools) zu legen, mit dem Ziel, ein Ökosystem für Start-ups und Global 2000 zu schaffen, die sich auf die verantwortungsvolle Entwicklung von KI konzentrieren.

Durch frühe Experimente bei MERAT wurde klar, dass es keine Start-ups gab, die mehrere Interessengruppen-Tools zur Verfügung stellten, um eine umfassende Governance von KI- und ML-Anwendungen zu ermöglichen – bis Credo AI. Diese Lücke war meine Chance, die Mission der gezielten KI-Governance zu verwirklichen. Meine Hypothese wurde bestätigt, dass die nächste Frontier der KI-Revolution von Governance geleitet werden wird. Unternehmen, die Governance annehmen, werden als vertrauenswürdige Marken hervorgehen.

Ich wurde von dem AI-Fonds angesprochen, einem Inkubator, der von Andrew Ng, einem renommierten KI-Experten, gegründet wurde. Der AI-Fonds hatte sich auf die gleichen Themen der KI-Überprüfbarkeit und -Governance konzentriert, mit denen ich mich seit einem Jahrzehnt beschäftigt hatte.

Credo AI wurde am 28. Februar 2020 mit Finanzierung durch den AI-Fonds gegründet.

Credo bedeutet “eine Reihe von Werten, die Ihre Handlungen leiten”. Mit Credo AI ist unser Ziel, Unternehmen zu befähigen, KI mit den höchsten ethischen Standards zu schaffen.

In einem früheren Interview diskutierten Sie, wie Marken in Zukunft nicht nur aufgrund dessen vertrauenswürdig sein werden, wie sie KI aufbauen und einsetzen, sondern auch, wie sie KI skaliert, damit sie dem Menschen dient. Können Sie dies erläutern?

Künstliche Intelligenz ist eine der spielverändernden Technologien des Jahrhunderts und bietet transformative Chancen für die Wirtschaft und die Gesellschaft. Sie ist auf dem Weg, fast 16 Billionen Dollar zur globalen Wirtschaft bis 2030 beizutragen.

Jedoch haben die letzten Jahre einen Schwerpunkt auf große KI-Bedrohungen (und nein, es sind nicht die Roboter-Herrscher!) gelegt, die bereits hier sind. Zum Beispiel können Justizalgorithmen, die auf minimale Rückfälle (ein Rückfall in kriminelles Verhalten) optimiert sind, Voreingenommenheit einführen und Parole für diejenigen verweigern, die sie verdienen.

Soziale Algorithmen, die auf Engagement optimiert sind, können eine Nation spalten.

Ungerechte Algorithmen können der Grund dafür sein, dass Sie keinen Job oder keinen Zugang zu einer Universität erhalten.

Je mehr Autonomie wir unseren Werkzeugen geben, desto breiter ist der Bereich der unbeabsichtigten Konsequenzen. Außergewöhnliche Skalierung generiert außergewöhnliche Auswirkungen, aber nicht immer die Auswirkungen, die wir beabsichtigen (ich schreibe darüber im Credo AI-Manifest).

Ich prophezeie, dass Unternehmen, die in KI-Governance investieren, um verantwortungsvolle Technologie zu entwickeln und sich zu ethischer Nutzung von Daten verpflichten, in der Lage sein werden, Vertrauen bei allen Interessengruppen zu schaffen – Kunden, Verbrauchern, Investoren, Mitarbeitern und anderen.

Wie hilft Credo AI Unternehmen, verantwortungsvoll zu handeln?

Verantwortung bedeutet die Verpflichtung, die Verantwortung für seine Handlungen zu übernehmen. Im Kontext der KI-Entwicklung und -Einsetzung bedeutet dies, dass Unternehmen nicht nur darin übereinstimmen müssen, was “gut” für sie aussieht, sondern auch absichtliche Schritte unternehmen müssen, um ihre Ziele zu demonstrieren und die Verantwortung für die Ergebnisse zu übernehmen.

Credo AI zielt darauf ab, ein Sherpa für Unternehmen in ihren ethischen und verantwortungsvollen KI-Initiativen zu sein, um sie gegenüber den verschiedenen Interessengruppen – Nutzern, Mitarbeitern, Regulierungsbehörden, Prüfern, Investoren, Führungskräften und anderen – verantwortlich zu machen. Daher hat Credo AI eine Echtzeit-, kontextgesteuerte, umfassende und kontinuierliche Lösung zur Bereitstellung ethischer und verantwortungsvoller KI im großen Maßstab entwickelt.

Die Schaffung von Verantwortung und Vertrauen in KI ist ein dynamischer Prozess. Organisationen müssen ihre Unternehmenswerte ausrichten, diese Werte kodifizieren, in ihre Organisationsinfrastruktur integrieren, die Auswirkungen beobachten und den Prozess mit diversen Stimmen, die bei jedem Schritt Input liefern, wiederholen. Credo AI ermöglicht diese Verantwortung durch eine umfassende und Echtzeit-Lösung für die Verwaltung von Compliance und Risikobewertung für KI-Einsätze im großen Maßstab.

Mithilfe der Credo AI-Governance-Lösung können Unternehmen:

• Die Governance-Anforderungen für ihre KI-Anwendungsfälle und -Modelle ausrichten, mit anpassbaren Richtlinien-Paketen und Entscheidungsunterstützungs-Tools für die Auswahl von Modellbewertungsmetriken.
• Die Daten und ML-Modelle gegen diese ausgerichteten Ziele bewerten und befragen
• Die technischen Spezifikationen in handhabbare Risikoauswirkungen für das Geschäft bei jedem Schritt der Modellentwicklung und -einsetzung analysieren, damit Sie Governance-Probleme erkennen und beheben können, bevor sie zu großen Problemen werden

Indem Credo AI die Entscheidungen und Handlungen bei jedem Schritt aufzeichnet, erfasst es den Ursprung der Entscheidungen, die zur Erstellung der Modelle geführt haben, als Beweis. Dieser Beweis wird ein Nachweis sein, der intern mit den Unternehmensinteressengruppen und extern mit Prüfern geteilt wird, um Vertrauen in die Absichten von KI aufzubauen.

Dieser Beweis wird dazu beitragen, unbeabsichtigte Konsequenzen vorherzusagen und zu verhindern und wird die Art und Weise standardisieren, wie wir die Wirksamkeit und Vertrauenswürdigkeit von KI-Modellen bewerten.

Wir sind in den frühen Phasen der Ermöglichung von KI-Governance durch umfassende Bewertungen und Sicherstellung und freuen uns darauf, mit mehr Unternehmen zusammenzuarbeiten, um Verantwortung zu fördern.

Wie hilft Credo AI Unternehmen, KI-Governance nicht nur als Nachgedanke zu betrachten?

In der heutigen Welt gibt es einen Mangel an Klarheit darüber, was “verantwortungsvolle”, “ethische” und “vertrauenswürdige” KI wirklich bedeutet und wie Unternehmen dies liefern können. Wir helfen Unternehmen, diese wichtige Frage umzuformulieren, indem wir die Credo AI-SaaS-Plattform nutzen, um die “Ökonomie der Ethik” zu demonstrieren.

Mit Credo AI können Unternehmen nicht nur faire, konforme und überprüfbare KI bereitstellen, sondern auch Vertrauen bei den Kunden aufbauen.

Das Aufbauen von Vertrauen bei den Kunden kann die Kundenbasis eines Unternehmens erweitern und mehr Umsatz freischalten. Zum Beispiel können Unternehmen die beste mögliche Kundenerfahrung bieten, indem sie ethische KI in ihren Kunden-Service-Chatbots verwenden oder verantwortungsvoll KI nutzen, um Benutzeraktivitäten zu verstehen und zusätzliche Inhalte oder Produkte vorzuschlagen. Sehr zufriedene Kunden bieten dann das beste Werbemittel, indem sie ihre Erfahrungen mit Freunden und Familie teilen.

Darüber hinaus können Unternehmen auch sehen, wie die Zusammenarbeit zwischen technischen und Überwachungsfunktionen ihnen helfen kann, Kosten zu sparen, da sie schneller mit der Einhaltung von Vorschriften, informiertem Risikomanagement, gesenkten Marken- und Regulierungsrisiken umgehen. Wir helfen Organisationen, ethische KI einzusetzen, indem wir eine Brücke zwischen technischen Metriken und greifbaren Geschäftsergebnissen bauen. Da immer mehr Menschen erkennen, dass die Förderung ethischer KI viel mehr als das Ankreuzen eines “Regulierungs-Compliance”-Kästchens beinhaltet. Aber es hat die Macht, noch mehr als einen Beitrag zu einer gerechteren Welt zu leisten, was an sich ein wertvolles Ergebnis wäre.

Wenn ein Unternehmen hohe ethische Standards einhält, kann es mit realen Geschäftsergebnissen rechnen, wie z.B. erhöhten Umsatz. Die Verschiebung der Perspektive von einem abstrakten “weichen” Konzept zu einer objektiven Geschäftsentscheidung war ein wichtiger Weg für uns, um KI-Governance als kritischen Teil des wirtschaftlichen und sozialen Motors des Unternehmens zu positionieren.

Kürzlich hat die Biden-Regierung den Nationalen KI-Beratungsausschuss geschaffen. Was sind Ihre Auswirkungen auf KI-Unternehmen?

Regierungen weltweit gehen mit voller Kraft auf die Regulierung von KI zu, und Unternehmen müssen sich darauf vorbereiten. Die sorgfältige Schaffung des Nationalen KI-Beratungsausschusses und die Investitionen in das Weiße Haus OSTP durch die Biden-Regierung sind ein guter erster Schritt, um Handlungen zu den Diskussionen über das Gesetzbuch der Rechte zur Regulierung von KI-Systemen zu bringen. Es muss jedoch noch viel Arbeit geleistet werden, um zu verwirklichen, was verantwortungsvolle KI für unser Land und unsere Wirtschaft bedeuten würde.

Ich glaube, dass 2022 zum Jahr der Aktion für verantwortungsvolle KI wird. Es ist ein Weckruf für Unternehmen, die ihre KI-Ethik-Rahmenbedingungen überprüfen oder für Unternehmen, die keinen Ansatz haben, einen soliden Rahmen für vertrauenswürdige KI zu implementieren, um sich für den Erfolg im Zeitalter der KI zu positionieren.

Wir sollten mehr harte und weiche Vorschriften erwarten. Neben den Maßnahmen des Weißen Hauses gibt es viel Schwung von anderen politischen Entscheidungsträgern und Behörden, wie dem Entwurf des Algorithmus-Accountability-Gesetzes des Senats, der FTC-Leitlinie zu KI-Voreingenommenheit und mehr.

Wenn wir in die Zukunft blicken, wie wichtig wird KI-Ethik und KI-Governance in fünf Jahren sein?

Wir sind in den frühen Phasen der KI-Governance. Um zu unterstreichen, wie kritisch KI-Governance ist, sind hier einige meiner Vorhersagen für die nächsten Jahre:

• Ethische KI-Governance wird zu einer Top-Organisationspriorität

Unternehmen setzen weiterhin in die Nutzung von KI in ihren Geschäften und erzielen Vorteile. IDC hat einen Ausgabenbetrag von 340 Milliarden Dollar für KI im Jahr 2022 prognostiziert. Ohne Governance werden Unternehmen jedoch zögern, in KI zu investieren, weil sie Bedenken hinsichtlich Voreingenommenheit, Sicherheit, Genauigkeit und Compliance dieser Systeme haben.

Ohne Vertrauen werden Verbraucher auch zögern, KI-basierte Produkte zu akzeptieren oder Daten zur Erstellung dieser Systeme zu teilen. In den nächsten fünf Jahren wird ethische KI-Governance zu einer Priorität im Vorstand und einem wichtigen Metrik werden, auf die Unternehmen achten und über die sie Bericht erstatten müssen, um Vertrauen bei allen Interessengruppen aufzubauen.

• Neue sozio-technische Berufskategorien werden innerhalb eines Unternehmens entstehen

Wir sehen bereits, dass ethikorientierte Organisationen erheblich in die zukünftige Sicherung ihrer Entwicklung investieren, um sicherzustellen, dass faire, konforme und überprüfbare KI-Anwendungen entwickelt werden.

Um in KI zu führen, müssen Unternehmen die Lernkurve über die KI-Regulierungslandschaft und die Umsetzung von Verantwortungsstrukturen im großen Maßstab beschleunigen. Da das aufstrebende Feld der ethischen KI-Implementierung evolviert, könnte eine neue sozio-technische Berufskategorie entstehen, um diese Gespräche zu erleichtern und in diesem Bereich die Führung zu übernehmen. Diese neue Komponente der Arbeitskraft könnte als Vermittler zwischen technischen und Überwachungsfunktionen fungieren, um gemeinsame Standards und Ziele zu entwickeln.

• Neue KI-gesteuerte Erfahrungen werden strengere Governance erfordern

Die Bewältigung der beabsichtigten und unbeabsichtigten Konsequenzen von künstlicher Intelligenz ist kritisch, insbesondere wenn wir in die Metaverse- und Web3-Welt eintreten. Die Risiken von KI existieren in der realen Welt und der virtuellen Welt, aber sie werden in letzterer verstärkt.

Durch das Betreten der Metaverse ohne ausreichende KI-Überwachung setzen Unternehmen ihre Kunden Gefahren wie Identitätsdiebstahl und Betrug aus. Es ist von entscheidender Bedeutung, dass KI- und Governance-Probleme in der realen Welt gelöst werden, um die Verbraucher in der Metaverse zu schützen.

• Neue Ökosysteme in ethischer KI-Governance werden entstehen

Die Welt hat sich der Idee bewusst, dass KI-Governance den grundlegenden Baustein zur Operationalisierung verantwortungsvoller KI darstellt. In den nächsten Jahren werden wir einen wettbewerbsorientierten und dynamischen Markt von Dienstleistern sehen, die Tools, Dienstleistungen, Bildung und andere Fähigkeiten anbieten, um diesen enormen Bedarf zu unterstützen.

Darüber hinaus werden wir auch eine Konsolidierung und Erweiterung bestehender MLOps- und GRC-Plattformen sehen, um Governance- und Bewertungsfähigkeiten für KI bereitzustellen.

Gibt es noch etwas, das Sie über Credo AI teilen möchten?

Ethische KI-Governance ist eine zukunftssichere Investition, die Sie nicht nicht tun können, und heute ist der beste Tag, um zu beginnen.

Vielen Dank für das detaillierte Interview und für das Teilen all Ihrer Erkenntnisse zu KI-Governance und -Ethik. Leser, die mehr erfahren möchten, sollten Credo AI besuchen.