Navrina Singh, CEO und Gründerin von Credo AI – Interviewreihe

Navrina Singh ist CEO und Gründerin von Credo KI, ein Unternehmen, das die erste umfassende SaaS-Plattform für KI-Governance entwickelt, die es Unternehmen und Einzelpersonen ermöglicht, vertrauenswürdige und ethische KI besser zu verstehen und bereitzustellen, neuen Vorschriften und Richtlinien immer einen Schritt voraus zu sein und einen KI-Datensatz zu erstellen, der im gesamten Unternehmen überprüfbar und transparent ist. Das Unternehmen agierte im Verborgenen und baute im Stillen ein beeindruckendes Kundenportfolio auf, zu dem neben anderen Fortune-100-Marken auch einer der größten Regierungsauftragnehmer und Finanzdienstleister der Welt gehört.

Sie sind in einer kleinen Stadt in Indien mit bescheidenen Anfängen aufgewachsen. Wie haben Sie sich zum Ingenieurwesen und zum Bereich der KI hingezogen gefühlt?

Ich komme aus einer bürgerlichen Familie; Mein Vater war vier Jahrzehnte lang beim Militär und meine Mutter war Lehrerin und wurde Modedesignerin. Schon in jungen Jahren haben sie meine Neugier und meine Liebe zu wissenschaftlichen Entdeckungen gefördert und mir einen sicheren Ort geboten, an dem ich das „Was wäre wenn“ erforschen konnte.

Als ich in Indien aufwuchs, hatten Frauen nicht so viele Möglichkeiten wie Männer. Für ein Mädchen wurden bereits viele Entscheidungen getroffen, basierend auf dem, was von der Gesellschaft akzeptiert wurde. Der einzige Weg, sich zu lösen und der Familie ein gutes Leben zu ermöglichen, war Bildung.

Nach meinem High-School-Abschluss besaß ich meinen ersten Computer, der mein Fenster zur Welt war. Ich interessierte mich wirklich für Hardware und verbrachte Stunden damit, online zu lernen, wie man Motherboards zerlegt, Roboteranwendungen erstellt, Programmieren lernt, die Elektrik in meinem Haus erneuert (huch!) und vieles mehr. Die Technik wurde zu meinem sicheren Raum, in dem ich experimentieren, erforschen, bauen und eine Welt erleben konnte, von der ich durch meine Erfindungen ein Teil sein wollte. Ich war inspiriert und begeistert davon, wie Technologie ein wirkungsvolles Instrument sein könnte, um Veränderungen herbeizuführen, insbesondere für Frauen.

Als ich aufwuchs, waren meine Mittel begrenzt, die Möglichkeiten jedoch nicht. Ich habe immer davon geträumt, in die Vereinigten Staaten zu kommen, um eine stärkere technologische Grundlage zu schaffen, um die größten Herausforderungen der Menschheit zu lösen. Ich bin 2001 hierher eingewandert, um meine Ingenieurskarriere an der University of Wisconsin Madison fortzusetzen.

Im Laufe meiner fast zwei Jahrzehnte langen Karriere im Ingenieurwesen hatte ich das Privileg, mit mehreren Grenztechnologien zu arbeiten, von Mobilgeräten bis hin zu Augmented Reality.

Im Jahr 2011 begann ich, mich mit künstlicher Intelligenz zu beschäftigen, um bei Qualcomm neue, aufstrebende Unternehmen aufzubauen. Ich habe im letzten Jahrzehnt auch Zeit damit verbracht, Unternehmen und Anwendungen im Bereich KI in den Bereichen Sprache, Vision und NLP bei Microsoft und Qualcomm aufzubauen. Als ich mehr über KI und maschinelles Lernen erfuhr, wurde mir klar, dass diese Spitzentechnologie unser Leben weit über unser Vorstellungsvermögen hinaus verändern würde.

Durch den Aufbau künstlicher Intelligenz auf Unternehmensebene wurde mir auch klar, dass die Technologie, wenn sie nicht kontrolliert wird, einen schlechten Dienst leisten und unseren Menschen und Gemeinschaften schaden kann. Als Führungskräfte müssen wir äußerste Verantwortung für die Technologien übernehmen, die wir entwickeln. Wir müssen proaktiv sein, um den Nutzen für die Menschheit zu maximieren und das Risiko zu minimieren. Denn „Was wir machen, macht uns aus.“ Daher ist verantwortungsvolles Bauen von entscheidender Bedeutung, was die nächste Phase meiner Karriere beim Aufbau von KI-Governance inspiriert hat.

Wann haben Sie erstmals ernsthaft über KI-Governance nachgedacht?

Als ich Innovationsleiter bei Qualcomm war, erkundeten wir die Möglichkeiten, die KI unseren aufstrebenden Unternehmen bieten könnte. Unsere anfängliche Arbeit konzentrierte sich auf kollaborative Roboter, die in der Lieferkette eingesetzt wurden. Dies war mein erster Kontakt mit den „echten“ Risiken der KI, insbesondere im Hinblick auf die physische Sicherheit der Menschen, die neben diesen Robotersystemen arbeiteten.

Während dieser Zeit verbrachten wir viel Zeit mit Start-ups wie Soul Machines, lernten neue Anwendungsfälle kennen und fanden Wege, mit ihnen zusammenzuarbeiten, um unsere Arbeit zu beschleunigen. Soul Machines haben eine neue Version ihres Baby-Avatars „Baby X“ veröffentlicht. Als ich sah, wie dieses mit einem neuronalen Netz betriebene Baby aktiv von der Welt um es herum lernte, musste ich innehalten und über die unbeabsichtigten Folgen dieser Technologie nachdenken. Etwa zur gleichen Zeit wurde meine Tochter Ziya geboren und wir nannten sie liebevoll Baby „Z“, nach Soul Machines Baby „X“. Ich habe darüber ziemlich oft gesprochen, auch bei der Keynote „Frauen im Produkt“ im Jahr 2019.

Die Lernreisen von Baby X und Baby Z waren unheimlich ähnlich! Als Ziya heranwuchs, gaben wir ihr den ersten Wortschatz und die Werkzeuge zum Lernen. Mit der Zeit begann sie, die Welt zu verstehen und die Dinge selbst zusammenzustellen. Baby

Diese frühen KI-Momente haben mir klar gemacht, dass es von entscheidender Bedeutung ist, Wege zum Risikomanagement zu finden und wirksame Schutzmaßnahmen für diese leistungsstarke Technologie zu errichten, um sicherzustellen, dass sie dauerhaft eingesetzt wird.

Könnten Sie die Entstehungsgeschichte hinter Credo AI erzählen?

Nach Qualcomm wurde ich eingestellt, um die Kommerzialisierung der KI-Technologien bei Microsoft in der Geschäftsentwicklungsgruppe und anschließend in der Produktgruppe zu leiten. Während meiner Amtszeit hatte ich das Glück, an einem Spektrum von KI-Technologien mit Anwendungen in Anwendungsfällen von Konversations-KI bis hin zu Vertragsintelligenz und von visuellen Inspektionen bis hin zu sprachgestützter Produkterkennung zu arbeiten.

Der bei Qualcomm gepflanzte Samen der KI-Governance wuchs jedoch weiter, da ich weiterhin das zunehmende „Überwachungsdefizit“ bei der Entwicklung von Technologien der künstlichen Intelligenz beobachtete. Als Produktleiter, der mit dem Team für Datenwissenschaft und -technik zusammenarbeitet, waren wir motiviert, eine leistungsstarke KI-Anwendung zu entwickeln, die auf maschinellem Lernen basiert, und diese schnell auf dem Markt bereitzustellen.

Wir betrachteten Compliance und Governance als Gate-Check, der das Innovationstempo verlangsamt. Meine wachsende Besorgnis über das Governance-Defizit zwischen den Technik- und Aufsichtsexperten in den Bereichen Risiko, Compliance und Audit motivierte mich jedoch, die Herausforderungen bei der Umsetzung der KI-Governance weiter zu untersuchen.

All die unbeantworteten Fragen zur KI-Governance veranlassten mich, nach Antworten zu suchen. Also begann ich, den Grundstein für eine gemeinnützige Organisation namens MERAT (Marketplace for Ethical and Responsible AI tools) zu legen, mit dem Ziel, ein Ökosystem für Startups und Global 2000s zu schaffen, das sich auf die verantwortungsvolle Entwicklung von KI konzentriert.

Durch frühe Experimente bei MERAT wurde klar, dass es bis Credo AI keine Startups gab, die Multi-Stakeholder-Tools für eine umfassende Steuerung von KI- und ML-Anwendungen ermöglichten. Diese Lücke war für mich die Gelegenheit, die Mission der gezielten Steuerung der KI zu verwirklichen. Meine Hypothese wurde immer wieder bestätigt, dass die nächste Grenze der KI-Revolution von der Governance geleitet wird. Unternehmen, die sich Governance zu eigen machen, werden zu führenden Anbietern vertrauenswürdiger Marken.

Ich wurde vom AI Fund angesprochen, einem Inkubator, der von Andrew Ng, einem renommierten KI-Experten, gegründet wurde. AI Fund hatte sich auf die gleichen Themen der KI-Überprüfbarkeit und -Governance konzentriert, mit denen ich mich im letzten Jahrzehnt beschäftigt hatte.

Credo AI wurde am 28. Februar gegründet^th, 2020, mit Mitteln des AI Fund.

Credo bedeutet „eine Reihe von Werten, die Ihr Handeln leiten“. Mit Credo AI ist es unsere Vision, Unternehmen in die Lage zu versetzen, KI mit den höchsten ethischen Standards zu entwickeln.

Kurz und vorheriges Interview, Sie haben darüber gesprochen, wie Marken in Zukunft nicht „nur“ darauf vertrauen können, wie sie KI aufbauen und einsetzen, sondern auch darauf, wie sie KI so skalieren, dass sie im Dienste der Menschheit steht. Könnten Sie das näher erläutern?

Künstliche Intelligenz ist eine der bahnbrechenden Technologien dieses Jahrhunderts und bietet transformative Chancen für Wirtschaft und Gesellschaft. Es ist auf dem besten Weg, bis 16 fast 2030 Billionen US-Dollar zur Weltwirtschaft beizutragen.

In den letzten Jahren wurden jedoch bereits große KI-Bedrohungen ins Rampenlicht gerückt (und nein, es sind nicht die Roboter-Overlords!). Beispielsweise können Justizalgorithmen, die auf minimale Rückfälle (einen Rückfall in kriminelles Verhalten) optimieren, Voreingenommenheit hervorrufen und denjenigen, die sie verdienen, die Bewährung verweigern.

Soziale Algorithmen, die das Engagement optimieren, können eine Nation spalten.

Unfaire Algorithmen können der Grund dafür sein, dass Sie keinen Job oder keine Zulassung zur Universität bekommen.

Je mehr Autonomie wir unseren Werkzeugen geben, desto größer ist die Bandbreite unbeabsichtigter Konsequenzen. Außergewöhnliches Ausmaß erzeugt außergewöhnliche Wirkung, aber nicht immer die Wirkung, die wir beabsichtigen (ich schreibe darüber in Credo KI-Manifest).

Ich gehe davon aus, dass Unternehmen, die in KI-Governance investieren, um ihnen dabei zu helfen, verantwortungsvoll Technologien aufzubauen und sich zu einer ethischen Nutzung von Daten zu verpflichten, in der Lage sein werden, Vertrauen bei allen Beteiligten – Kunden, Verbrauchern, Investoren, Mitarbeitern und anderen – zu schaffen.

Wie hilft Credo AI dabei, Unternehmen zur Rechenschaft zu ziehen?

Verantwortung bedeutet die Verpflichtung, Verantwortung für das eigene Handeln zu übernehmen. Im Kontext der KI-Entwicklung und -Bereitstellung bedeutet dies, dass Unternehmen sich nicht nur darauf einigen müssen, was für sie „gut aussieht“, sondern auch gezielte Schritte unternehmen müssen, um Maßnahmen zur Erreichung dieser abgestimmten Ziele zu demonstrieren und Verantwortung für die Ergebnisse zu übernehmen.

Ziel von Credo AI ist es, den Unternehmen bei ihren ethischen und verantwortungsvollen KI-Initiativen als Sherpa zur Seite zu stehen, um sie gegenüber den verschiedenen Stakeholdern zur Rechenschaft zu ziehen: Benutzer, Mitarbeiter, Aufsichtsbehörden, Prüfer, Investoren, Führungskräfte und andere. Daher hat Credo AI Pionierarbeit für eine kontextgesteuerte, umfassende und kontinuierliche Echtzeitlösung geleistet, um ethische und verantwortungsvolle KI in großem Maßstab bereitzustellen.

Der Aufbau von Verantwortlichkeit und Vertrauen in die KI ist ein dynamischer Prozess. Organisationen müssen sich an den Unternehmenswerten ausrichten, diese Werte kodifizieren, sie in ihre organisatorische Infrastruktur integrieren, die Auswirkungen beobachten und den Prozess mit vielfältigen Stimmen wiederholen, die in jeder Phase Beiträge leisten. Credo AI ermöglicht diese Verantwortlichkeit durch eine umfassende Echtzeitlösung für die Verwaltung der Compliance und die Messung des Risikos für KI-Einsätze in großem Maßstab.

Mit der Credo AI-Governance-Lösung sind Unternehmen in der Lage:

• Stimmen Sie sich mit anpassbaren Richtlinienpaketen und Entscheidungsunterstützungstools für die Auswahl von Modellbewertungsmetriken auf Governance-Anforderungen für ihre KI-Anwendungsfälle und -Modelle ab.
• Bewerten und befragen Sie die Daten und ML-Modelle im Hinblick auf diese ausgerichteten Ziele
• Analysieren Sie technische Spezifikationen in jeder Phase der Modellentwicklung und -bereitstellung in umsetzbare Risikoauswirkungen für das Unternehmen, damit Sie Governance-Probleme erkennen und beheben können, bevor sie zu massiven Problemen werden

Durch die Aufzeichnung der Entscheidungen und Aktionen an jedem Punkt erfasst Credo AI den Ursprung der Entscheidungen, die als Beweismittel in die Erstellung der Modelle einflossen. Bei diesem Nachweis handelt es sich um eine Aufzeichnung, die intern mit den Interessenvertretern des Unternehmens und extern mit Prüfern geteilt wird und Vertrauen in die Absichten der KI schafft.

Diese Erkenntnisse werden Entwicklungsteams dabei helfen, unbeabsichtigte Folgen vorherzusagen und zu verhindern, und die Art und Weise standardisieren, wie wir die Wirksamkeit und Vertrauenswürdigkeit von KI-Modellen bewerten.

Wir stehen noch am Anfang der Ermöglichung von KI-Governance durch umfassende Bewertungen und Sicherung und freuen uns darauf, mit weiteren Unternehmen zusammenzuarbeiten, um die Rechenschaftspflicht zu fördern.

Wie hilft Credo AI Unternehmen dabei, die KI-Governance nicht mehr nur im Nachhinein zu betrachten?

In der heutigen Welt herrscht Unklarheit darüber, was wirklich „verantwortungsvolle“, „ethische“ und „vertrauenswürdige“ KI ist und wie Unternehmen sie umsetzen können. Wir helfen dabei, diese Schlüsselfrage für Unternehmen neu zu formulieren, indem wir die Credo AI SaaS-Plattform nutzen, um die „Ökonomie der Ethik“ zu demonstrieren.

Mit Credo AI sind Unternehmen nicht nur in der Lage, faire, konforme und überprüfbare KI bereitzustellen, sondern auch das Vertrauen ihrer Kunden aufzubauen.

Der Aufbau von Verbrauchervertrauen kann den Kundenstamm eines Unternehmens erweitern und mehr Verkäufe ermöglichen. Unternehmen können beispielsweise das bestmögliche Kundenerlebnis bieten, indem sie ethische KI in ihren Kundenservice-Chatbots einsetzen, oder KI verantwortungsbewusst einsetzen, um Benutzeraktivitäten zu verstehen und ihnen zusätzliche Inhalte oder Produkte vorzuschlagen. Überaus zufriedene Kunden bieten dann die beste Werbung, indem sie ihre Erfahrungen mit Freunden und Familie teilen.

Darüber hinaus können Unternehmen auch erkennen, wie die Zusammenarbeit zwischen technischen und Aufsichtsfunktionen ihnen helfen kann, Kosten zu sparen, da die Compliance kürzer ist, ein fundiertes Risikomanagement erforderlich ist und Marken- und Regulierungsrisiken geringer sind. Wir helfen Unternehmen beim Einsatz ethischer KI, indem wir eine Brücke zwischen technischen Kennzahlen und greifbaren Geschäftsergebnissen schlagen. Wie immer mehr Menschen erkennen, umfasst die Förderung ethischer KI viel mehr als nur das Ankreuzen eines Kästchens zur Einhaltung gesetzlicher Vorschriften. Aber es hat die Macht, noch mehr als nur einen Beitrag zu einer gerechteren Welt zu leisten, was für sich genommen schon ein lohnendes Ergebnis wäre.

Wenn ein Unternehmen hohe ethische Standards einhält, kann es mit realen Geschäftsergebnissen rechnen, beispielsweise mit höheren Umsätzen. Die Verlagerung der Perspektive von einem abstrakten „weichen“ Konzept hin zu einer objektiven Geschäftsentscheidung war für uns eine wichtige Möglichkeit, die KI-Governance als entscheidenden Teil des wirtschaftlichen und sozialen Motors des Unternehmens zu positionieren.

Kürzlich hat die Biden-Administration das National Artificial Intelligence Advisory Committee gegründet. Welche Auswirkungen hat dies Ihrer Meinung nach auf KI-Unternehmen?

Regierungen weltweit regulieren KI mit Hochdruck, und Unternehmen müssen sich darauf vorbereiten. Die wohlüberlegte Einrichtung des Nationalen KI-Beratungsausschusses durch die Biden-Administration und die Investitionen in das OSTP des Weißen Hauses sind ein guter erster Schritt, um die Diskussionen um die Bill of Rights zur Regulierung von KI-Systemen voranzutreiben. Es bleibt jedoch noch viel zu tun, um zu erkennen, was verantwortungsvolle KI für unser Land und unsere Wirtschaft bedeuten würde.

Ich glaube, dass 2022 das Jahr des Handelns für verantwortungsvolle KI sein wird. Es ist ein Weckruf für Unternehmen, die ihren ethischen Rahmen für KI umsetzen oder stärken möchten. Jetzt ist es an der Zeit, dass Unternehmen ihr bestehendes Rahmenwerk auf Lücken überprüfen oder – für Unternehmen, denen ein Ansatz fehlt – ein solides Rahmenwerk für vertrauenswürdige KI implementieren, um im Zeitalter der KI erfolgreich und führend zu sein.

Wir sollten damit rechnen, dass es mehr harte und weiche Regulierungen geben wird. Zusätzlich zu den Maßnahmen des Weißen Hauses kommen viele Impulse von anderen politischen Entscheidungsträgern und Behörden, wie zum Beispiel dem Entwurf des Algorithmic Accountability Act des Senats, den Leitlinien der Federal Trade Commission (FTC) zum Thema KI-Voreingenommenheit und mehr.

Wenn wir einen Blick in die Zukunft werfen, wie wichtig werden KI-Ethik und KI-Governance in fünf Jahren sein?

Wir befinden uns in den Anfängen der KI-Governance. Um zu unterstreichen, wie wichtig KI-Governance ist, hier einige meiner Prognosen für die nächsten Jahre:

• Ethische KI-Governance wird für Unternehmen oberste Priorität haben

Unternehmen investieren weiterhin und profitieren von der Nutzung von KI in ihren Unternehmen. IDC hat für das Jahr 340 Ausgaben in Höhe von 2022 Milliarden US-Dollar für KI prognostiziert. Ohne Governance werden Unternehmen aufgrund von Bedenken hinsichtlich Voreingenommenheit, Sicherheit, Genauigkeit und Compliance dieser Systeme zögern, in KI zu investieren.

Ohne Vertrauen werden Verbraucher auch zögern, KI-basierte Produkte zu akzeptieren oder Daten zum Aufbau dieser Systeme weiterzugeben. In den nächsten fünf Jahren wird ethische KI-Governance zu einer Priorität in den Vorstandsetagen und zu einer wichtigen Kennzahl werden, die Unternehmen offenlegen und berichten müssen, um Vertrauen bei ihren Stakeholdern aufzubauen.

• Innerhalb eines Unternehmens werden neue soziotechnische Berufskategorien entstehen

Wir sehen bereits, dass Ethik-orientierte Organisationen erheblich in die Zukunftssicherheit ihrer Entwicklung investieren, um faire, konforme und überprüfbare KI-Anwendungen sicherzustellen.

Um im KI-Bereich führend zu sein, müssen Unternehmen ihre Kenntnisse über die KI-Regulierungslandschaft und die Implementierung von Verantwortlichkeitsstrukturen in großem Maßstab weiter vorantreiben. Während sich das aufstrebende Feld der ethischen KI-Implementierung weiterentwickelt, könnte eine neue soziotechnische Berufskategorie entstehen, um diese Gespräche zu erleichtern und in diesem Bereich Verantwortung zu übernehmen. Diese neue Komponente der Belegschaft könnte als Vermittler zwischen technischen und Aufsichtsbehörden fungieren und dabei helfen, gemeinsame Standards und Ziele zu entwickeln.

• Neue KI-gestützte Erlebnisse erfordern eine strengere Governance

Der Umgang mit den beabsichtigten und unbeabsichtigten Folgen künstlicher Intelligenz ist von entscheidender Bedeutung, insbesondere wenn wir in die Metaverse- und Web3-Welt eintreten. Die Risiken von KI bestehen sowohl in der realen als auch in der virtuellen Welt, werden in letzterer jedoch noch verstärkt.

Indem Unternehmen ohne KI-Überwachung kopfüber in das Metaverse eintauchen, setzen sie ihre Kunden dem Risiko von Herausforderungen wie Identitätsdiebstahl und Betrug aus. Es ist von größter Bedeutung, dass KI- und Governance-Probleme jetzt in der realen Welt gelöst werden, um die Sicherheit der Verbraucher im Metaverse zu gewährleisten.

• Es werden neue Ökosysteme in der ethischen KI-Governance entstehen

Die Welt ist zu der Idee aufgewacht, dass KI-Governance den Grundbaustein für die Operationalisierung verantwortungsvoller KI darstellt. In den nächsten Jahren wird ein wettbewerbsintensiver und dynamischer Markt von Dienstleistern entstehen, die Tools, Dienstleistungen, Schulungen und andere Fähigkeiten bereitstellen, um diesen enormen Bedarf zu decken.

Darüber hinaus werden wir auch eine Konsolidierung und Erweiterung bestehender MLops- und GRC-Plattformen sehen, um der KI Governance- und Bewertungsfunktionen zu verleihen.

Gibt es noch etwas, das Sie über Credo AI mitteilen möchten?

Eine ethische KI-Governance ist eine zukunftssichere Investition, die Sie sich nicht leisten können kein Frontalunterricht. zu machen, und heute ist der beste Tag, um damit zu beginnen.

Vielen Dank für das ausführliche Interview und dafür, dass Sie all Ihre Erkenntnisse zur KI-Governance und -Ethik geteilt haben. Leser, die mehr erfahren möchten, sollten vorbeischauen Credo KI.