Yotam Oren, CEO und Mitbegründer von Mona Labs – Interviewreihe

Yotam Oren ist CEO und Mitbegründer von Mona Labs, eine Plattform, die es Unternehmen ermöglicht, KI-Initiativen von Laborexperimenten in skalierbare Geschäftsabläufe umzuwandeln, indem sie wirklich versteht, wie sich ML-Modelle in realen Geschäftsprozessen und -anwendungen verhalten.

Mona analysiert automatisch das Verhalten Ihrer Machine-Learning-Modelle über geschützte Datensegmente hinweg und im Kontext der Geschäftsfunktionen, um potenzielle KI-Verzerrungen zu erkennen. Mona bietet die Möglichkeit, vollständige Fairnessberichte zu erstellen, die den Branchenstandards und -vorschriften entsprechen, und bietet die Gewissheit, dass die KI-Anwendung konform und frei von jeglichen Voreingenommenheiten ist.

Was hat Sie ursprünglich an der Informatik interessiert?

Informatik ist in meiner Familie ein beliebter Berufsweg und hatte daher immer im Hinterkopf, dass es eine praktikable Option sei. Natürlich ist die israelische Kultur sehr technologiefreundlich. Wir feiern innovative Technologen und ich hatte immer den Eindruck, dass CS mir eine Chance für Wachstum und Erfolg bieten würde.

Trotzdem wurde es erst zu einer persönlichen Leidenschaft, als ich das Universitätsalter erreichte. Ich gehörte nicht zu den Kindern, die in der Mittelschule mit dem Programmieren begannen. In meiner Jugend war ich zu sehr damit beschäftigt, Basketball zu spielen, um mich auf Computer zu konzentrieren. Nach der High School verbrachte ich fast fünf Jahre beim Militär, in operativen/gefechtstechnischen Führungspositionen. In gewisser Weise habe ich also erst begonnen, mehr über Informatik zu lernen, als ich mich für ein akademisches Hauptfach an der Universität entscheiden musste. Was meine Aufmerksamkeit sofort erregte, war, dass Informatik das Lösen von Problemen und das Erlernen einer Sprache (oder Sprachen) kombiniert. Zwei Dinge interessierten mich besonders. Von da an war ich süchtig.

Von 2006 bis 2008 haben Sie für ein kleines Startup an der Kartierung und Navigation gearbeitet. Was waren Ihre wichtigsten Erkenntnisse aus dieser Zeit?

Meine Rolle bei Telmap bestand darin, eine Suchmaschine auf der Grundlage von Karten- und Standortdaten aufzubauen.

Dies waren die Anfänge von „Big Data“ im Unternehmen. Wir haben es nicht einmal so genannt, aber wir haben riesige Datensätze erfasst und versucht, die aussagekräftigsten und relevantesten Erkenntnisse zu gewinnen, um sie unseren Endbenutzern zu präsentieren.

Eine der erstaunlichsten Erkenntnisse, die ich hatte, war, dass Unternehmen (einschließlich uns) so wenig ihrer Daten nutzten (ganz zu schweigen von öffentlich zugänglichen externen Daten). Es gab so viel Potenzial für neue Erkenntnisse, bessere Prozesse und Erfahrungen.

Die andere Erkenntnis war, dass die Möglichkeit, mehr Daten zu erhalten, natürlich von besseren Architekturen, einer besseren Infrastruktur usw. abhängt.

Können Sie uns die Entstehungsgeschichte von Mona Labs erzählen?

Wir drei, Mitbegründer, haben uns im Laufe unserer Karriere mit Datenprodukten beschäftigt.

Nemo, der Chief Technology Officer, ist mein Studienfreund und Klassenkamerad und einer der ersten Mitarbeiter von Google Tel Aviv. Dort startete er ein Produkt namens Google Trends, das über viele fortschrittliche Analysen und maschinelles Lernen auf der Grundlage von Suchmaschinendaten verfügte. Itai, der andere Mitbegründer und Chief Product Officer, war in Nemos Team bei Google (und er und ich haben uns über Nemo kennengelernt). Die beiden waren immer frustriert darüber, dass KI-gesteuerte Systeme nach anfänglicher Entwicklung und Tests unbeaufsichtigt blieben. Obwohl es schwierig war, diese Systeme vor der Produktion ordnungsgemäß zu testen, wussten die Teams immer noch nicht, wie gut ihre Vorhersagemodelle im Laufe der Zeit funktionierten. Darüber hinaus schien es, dass sie nur dann Feedback zu KI-Systemen hörten, wenn die Dinge schlecht liefen und das Entwicklungsteam zu einer „Feuerwehrübung“ gerufen wurde, um katastrophale Probleme zu beheben.

Etwa zur gleichen Zeit war ich Berater bei McKinsey & Co. Eines der größten Hindernisse für die Skalierung von KI- und Big-Data-Programmen in großen Unternehmen war meiner Meinung nach das mangelnde Vertrauen der Geschäftsinteressenten in diese Programme.

Der rote Faden hier wurde Nemo, Itai und mir in Gesprächen klar. Die Branche benötigte die Infrastruktur zur Überwachung von KI/ML-Systemen in der Produktion. Wir hatten die Vision, diese Sichtbarkeit bereitzustellen, um das Vertrauen der Geschäftsinteressenten zu stärken und es KI-Teams zu ermöglichen, immer den Überblick über die Leistung ihrer Systeme zu behalten und effizienter zu iterieren.

Und dann wurde Mona gegründet.

Was sind einige der aktuellen Probleme mit mangelnder KI-Transparenz?

In vielen Branchen haben Unternehmen bereits Dutzende Millionen Dollar in ihre KI-Programme gesteckt und erste Erfolge im Labor und bei kleinen Einsätzen erzielt. Aber die Skalierung, die Erreichung einer breiten Akzeptanz und das Erreichen eines tatsächlichen Einsatzes von KI im Unternehmen war für fast alle eine große Herausforderung.

Warum passiert das? Nun, es beginnt mit der Tatsache, dass großartige Forschung nicht automatisch zu großartigen Produkten führt (Ein Kunde sagte uns einmal: „ML-Modelle sind wie Autos, sobald sie das Labor verlassen, verlieren sie 20 % ihres Wertes“). Großartige Produkte haben unterstützende Systeme. Es gibt Tools und Prozesse, die sicherstellen, dass die Qualität langfristig erhalten bleibt und Probleme frühzeitig erkannt und effizient behoben werden. Großartige Produkte verfügen außerdem über eine kontinuierliche Feedbackschleife, einen Verbesserungszyklus und eine Roadmap. Daher erfordern großartige Produkte eine tiefe und konstante Leistungstransparenz.

Wenn es an Transparenz mangelt, kommt es zu Folgendem:

• Probleme, die eine Zeit lang verborgen bleiben und dann an die Oberfläche dringen, was zu „Brandschutzübungen“ führt
• Langwierige und manuelle Untersuchungen und Abhilfemaßnahmen
• Ein KI-Programm, dem Geschäftsanwender und Sponsoren nicht vertrauen und das letztendlich nicht skalierbar ist

Welche Herausforderungen bestehen darin, Vorhersagemodelle transparent und vertrauenswürdig zu machen?

Transparenz ist natürlich ein wichtiger Faktor, um Vertrauen zu schaffen. Transparenz kann viele Formen annehmen. Es gibt eine einzelne Vorhersagetransparenz, die die Anzeige des Vertrauensniveaus für den Benutzer oder die Bereitstellung einer Erklärung/Begründung für die Vorhersage umfassen kann. Die Transparenz einzelner Vorhersagen zielt hauptsächlich darauf ab, dem Benutzer zu helfen, sich mit der Vorhersage vertraut zu machen. Und dann gibt es noch die allgemeine Transparenz, die Informationen über die Vorhersagegenauigkeit, unerwartete Ergebnisse und potenzielle Probleme umfassen kann. Das KI-Team benötigt allgemeine Transparenz.

Der schwierigste Teil der allgemeinen Transparenz besteht darin, Probleme frühzeitig zu erkennen und das entsprechende Teammitglied zu alarmieren, damit es Korrekturmaßnahmen ergreifen kann, bevor eine Katastrophe eintritt.

Warum es schwierig ist, Probleme frühzeitig zu erkennen:

• Probleme fangen oft klein an und brodeln, bevor sie schließlich an die Oberfläche treten.
• Probleme entstehen oft aufgrund unkontrollierbarer oder externer Faktoren, wie z. B. Datenquellen.
• Es gibt viele Möglichkeiten, „die Welt zu spalten“, und die erschöpfende Suche nach Problemen in kleinen Taschen kann zu viel Lärm (Alarmmüdigkeit) führen, zumindest wenn dies auf naive Weise geschieht.

Ein weiterer herausfordernder Aspekt bei der Bereitstellung von Transparenz ist die schiere Verbreitung von KI-Anwendungsfällen. Dies macht einen einheitlichen Ansatz nahezu unmöglich. Jeder KI-Anwendungsfall kann unterschiedliche Datenstrukturen, unterschiedliche Geschäftszyklen, unterschiedliche Erfolgsmetriken und häufig unterschiedliche technische Ansätze und sogar Stacks umfassen.

Es ist also eine monumentale Aufgabe, aber Transparenz ist so grundlegend für den Erfolg von KI-Programmen, dass Sie sie tun müssen.

Könnten Sie uns einige Details zu den Lösungen für NLU-/NLP-Modelle und Chatbots mitteilen?

Konversations-KI ist eine der Kernbranchen von Mona. Wir sind stolz darauf, innovative Unternehmen mit einem breiten Spektrum an Anwendungsfällen für Konversations-KI zu unterstützen, darunter Sprachmodelle, Chatbots und mehr.

Diesen Anwendungsfällen ist gemeinsam, dass die Modelle nahe (und manchmal sichtbar) am Kunden arbeiten, sodass das Risiko einer inkonsistenten Leistung oder eines schlechten Verhaltens höher ist. Für Konversations-KI-Teams wird es immer wichtiger, das Systemverhalten auf granularer Ebene zu verstehen, was eine Stärke der Überwachungslösung von Mona darstellt.

Die einzigartige Lösung von Mona besteht darin, Konversationsgruppen systematisch zu sichten und Bereiche zu finden, in denen sich die Models (oder Bots) schlecht benehmen. Dadurch können Konversations-KI-Teams Probleme frühzeitig erkennen und bevor Kunden sie bemerken. Diese Fähigkeit ist ein entscheidender Entscheidungsfaktor für Konversations-KI-Teams bei der Auswahl von Überwachungslösungen.

Zusammenfassend bietet Mona eine End-to-End-Lösung für die Konversations-KI-Überwachung. Es beginnt damit, sicherzustellen, dass es eine einzige Informationsquelle für das Verhalten der Systeme im Laufe der Zeit gibt, und geht weiter mit der kontinuierlichen Verfolgung wichtiger Leistungsindikatoren und proaktiven Erkenntnissen über Fehlverhaltensbereiche – so können Teams präventive und effiziente Korrekturmaßnahmen ergreifen.

Könnten Sie uns einige Einzelheiten zu Monas Insight Engine mitteilen?

Sicher. Beginnen wir mit der Motivation. Das Ziel der Insight Engine besteht darin, den Benutzern Anomalien mit genau der richtigen Menge an Kontextinformationen aufzuzeigen, ohne Lärm zu erzeugen oder zu Alarmmüdigkeit zu führen.

Die Insight Engine ist ein einzigartiger analytischer Workflow. In diesem Workflow sucht die Engine nach Anomalien in allen Datensegmenten und ermöglicht so die frühzeitige Erkennung von Problemen, wenn sie noch „klein“ sind und bevor sie sich auf den gesamten Datensatz und die nachgelagerten Geschäfts-KPIs auswirken. Anschließend nutzt es einen proprietären Algorithmus, um die Grundursachen der Anomalien zu erkennen und stellt sicher, dass jede Anomalie nur einmal gemeldet wird, sodass Störungen vermieden werden. Zu den unterstützten Anomalietypen gehören: Zeitreihenanomalien, Abweichungen, Ausreißer, Modellverschlechterung und mehr.

Die Insight Engine ist über Monas intuitive No-Code/Low-Code-Konfiguration hochgradig anpassbar. Die Konfigurierbarkeit der Engine macht Mona zur flexibelsten Lösung auf dem Markt und deckt ein breites Spektrum an Anwendungsfällen ab (z. B. Batch und Streaming, mit/ohne Geschäftsfeedback/Ground Truth, über Modellversionen hinweg oder zwischen Zug und Inferenz und mehr). ).

Schließlich wird diese Insight-Engine durch ein Visualisierungs-Dashboard unterstützt, in dem Erkenntnisse angezeigt werden können, sowie durch eine Reihe von Untersuchungstools, die eine Ursachenanalyse und eine weitere Untersuchung der Kontextinformationen ermöglichen. Die Insight-Engine ist außerdem vollständig in eine Benachrichtigungs-Engine integriert, die es ermöglicht, Erkenntnisse in die eigenen Arbeitsumgebungen der Benutzer, einschließlich E-Mail, Kollaborationsplattformen usw., einzuspeisen.

Am 31. Januar Mona enthüllt Könnten Sie uns wegen seiner neuen KI-Fairness-Lösung Einzelheiten darüber mitteilen, was diese Funktion ist und warum sie wichtig ist?

Bei der KI-Fairness geht es darum sicherzustellen, dass Algorithmen und KI-gesteuerte Systeme im Allgemeinen unvoreingenommene und gerechte Entscheidungen treffen. Es ist von entscheidender Bedeutung, Vorurteile in KI-Systemen anzugehen und zu verhindern, da sie erhebliche Konsequenzen für die reale Welt haben können. Mit der zunehmenden Bedeutung von KI würden die Auswirkungen auf das tägliche Leben der Menschen an immer mehr Stellen sichtbar, etwa durch die Automatisierung unseres Fahrens, die genauere Erkennung von Krankheiten, die Verbesserung unseres Verständnisses der Welt und sogar durch die Schaffung von Kunst. Wenn wir nicht darauf vertrauen können, dass es fair und unvoreingenommen ist, wie sollen wir dann zulassen, dass es sich weiter ausbreitet?

Eine der Hauptursachen für Verzerrungen in der KI ist einfach die Fähigkeit von Modelltrainingsdaten, die reale Welt vollständig abzubilden. Dies kann auf historische Diskriminierung, die Unterrepräsentation bestimmter Gruppen oder sogar auf absichtliche Manipulation von Daten zurückzuführen sein. Beispielsweise weist ein Gesichtserkennungssystem, das auf vorwiegend hellhäutige Personen trainiert wird, wahrscheinlich eine höhere Fehlerquote bei der Erkennung von Personen mit dunklerer Hautfarbe auf. In ähnlicher Weise kann ein Sprachmodell, das auf Textdaten aus einer begrenzten Anzahl von Quellen trainiert wird, Verzerrungen entwickeln, wenn die Daten auf bestimmte Weltanschauungen zu Themen wie Religion, Kultur usw. ausgerichtet sind.

Die KI-Fairness-Lösung von Mona gibt KI- und Geschäftsteams die Gewissheit, dass ihre KI frei von Vorurteilen ist. In regulierten Sektoren kann die Lösung von Mona Teams auf die Compliance-Bereitschaft vorbereiten.

Monas Fairness-Lösung ist etwas Besonderes, weil sie auf der Mona-Plattform basiert – einer Brücke zwischen KI-Daten und -Modellen und ihren Auswirkungen auf die reale Welt. Mona betrachtet alle Teile des Geschäftsprozesses, die das KI-Modell in der Produktion bedient, um zwischen Trainingsdaten, Modellverhalten und tatsächlichen Ergebnissen in der realen Welt zu korrelieren und so eine möglichst umfassende Bewertung der Fairness zu ermöglichen.

Zweitens verfügt es über eine einzigartige Analyse-Engine, die eine flexible Segmentierung der Daten zur Steuerung relevanter Parameter ermöglicht. Dies ermöglicht genaue Korrelationsbewertungen im richtigen Kontext, vermeidet das Simpson-Paradoxon und liefert einen umfassenden echten „Bias Score“ für jede Leistungsmetrik und jede geschützte Funktion.

Insgesamt würde ich also sagen, dass Mona ein grundlegendes Element für Teams ist, die verantwortungsvolle KI aufbauen und skalieren müssen.

Was ist Ihre Vision für die Zukunft der KI?

Das ist eine große Frage.

Ich denke, es lässt sich leicht vorhersagen, dass die Nutzung und Wirkung von KI in einer Vielzahl von Branchen und Lebensbereichen der Menschen weiter zunehmen wird. Allerdings ist es schwer, eine Vision ernst zu nehmen, die detailliert ist und gleichzeitig versucht, alle Anwendungsfälle und Auswirkungen von KI in der Zukunft abzudecken. Weil niemand wirklich genug weiß, um dieses Bild glaubwürdig zu zeichnen.

Wir wissen jedoch mit Sicherheit, dass KI in den Händen von mehr Menschen sein und mehr Zwecken dienen wird. Der Bedarf an Governance und Transparenz wird daher deutlich zunehmen.

Ein echter Einblick in die KI und ihre Funktionsweise wird zwei Hauptrollen spielen. Erstens wird es dazu beitragen, Vertrauen bei den Menschen zu schaffen und Widerstandsbarrieren für eine schnellere Akzeptanz abzubauen. Zweitens wird es jedem, der KI betreibt, dabei helfen, sicherzustellen, dass sie nicht außer Kontrolle gerät.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Mona Labs.