Wilson Pang, Co-Autor von Real World AI – Interview-Serie

Wilson Pang trat Appen im November 2018 als CTO bei und ist für die Produkte und Technologie des Unternehmens verantwortlich. Wilson hat über 19 Jahre Erfahrung in der Softwareentwicklung und Datenwissenschaft. Bevor er zu Appen kam, war Wilson Chief Data Officer von Ctrip in China, dem zweitgrößten Online-Reiseunternehmen der Welt, wo er Dateningenieure, Analysten, Datenproduktmanager und Wissenschaftler leitete, um die Benutzererfahrung zu verbessern und die BetriebsEffizienz zu steigern, was das Geschäft ausbaute. Davor war er Senior Director of Engineering bei eBay in Kalifornien und übernahm die Leitung in verschiedenen Bereichen, einschließlich Daten Dienstleistungen und Lösungen, Suchwissenschaft, Marketingtechnologie und Abrechnungssysteme. Er arbeitete als Architekt bei IBM, bevor er zu eBay kam, und baute Technologielösungen für verschiedene Kunden. Wilson erhielt seinen Master- und Bachelor-Abschluss in Elektrotechnik von der Zhejiang-Universität in China.

Wir diskutieren sein neues Buch: Die reale Welt von KI: Ein praktischer Leitfaden für verantwortungsvolles Machine Learning

Sie beschreiben, wie Sie, als Sie die Suchwissenschaftsteams von eBay leiteten, eine Ihrer ersten Lektionen im Machine Learning waren, die Bedeutung zu verstehen, welche Metriken gemessen werden müssen. Das Beispiel, das angegeben wurde, war, wie die Metrik “Käufe pro Sitzung” den monetären Wert eines Artikels nicht berücksichtigte. Wie können Unternehmen am besten verstehen, welche Metriken gemessen werden müssen, um ähnliche Probleme zu vermeiden?

Beginnen Sie mit den Zielen, die Ihr Team dem KI-Modell zuweist – in unserem Fall wollten wir mit Machine Learning mehr Umsatz erzielen. Wenn Sie Metriken an die Ziele anhängen, denken Sie über die Mechanismen nach, die diese Metriken produzieren werden, sobald Sie das Modell freigeben und die Menschen damit interagieren, aber auch über Ihre Annahmen. In unserem Fall nahmen wir an, dass das Modell auf Umsatz optimiert werden würde, aber die Anzahl der Käufe pro Sitzung entsprach nicht dazu, da das Modell auf eine hohe Anzahl von Käufen mit niedrigem Wert optimiert war, und am Ende des Tages verdienten wir nicht mehr Geld. Sobald wir das erkannten, konnten wir die Metriken ändern und das Modell in die richtige Richtung lenken. Also ist es entscheidend, die detaillierten Metriken zu bestimmen sowie Annahmen zu beachten, um den Erfolg eines Projekts zu gewährleisten.

Was haben Sie persönlich aus der Recherche und dem Schreiben dieses Buches gelernt?

Wir haben viele verschiedene Probleme, die durch KI gelöst werden können, von verschiedenen Unternehmen und verschiedenen Branchen. Die Anwendungsfälle können sehr unterschiedlich sein, die KI-Lösung kann unterschiedlich sein, die Daten, um diese KI-Lösung zu trainieren, können unterschiedlich sein. Trotz all dieser Unterschiede sind die Fehler, die Menschen während ihrer KI-Reise machen, sehr ähnlich. Diese Fehler passieren wieder und wieder in allen Arten von Unternehmen aus allen Arten von Branchen.

Wir haben einige gemeinsame Best Practices geteilt, wenn man KI-Projekte implementiert, in der Hoffnung, mehr Menschen und Unternehmen zu helfen, diese Fehler zu vermeiden und ihnen das Vertrauen zu geben, verantwortungsvolle KI zu bereitstellen.

Was sind einige der wichtigsten Lektionen, die Sie hoffen, dass die Menschen aus dem Lesen dieses Buches ziehen werden?

Wir glauben fest an die bedachten, verantwortungsvollen und ethischen Anwendungen von Machine-Learning-Technologie, die die Welt zu einem gerechteren, faireren und integrativeren Ort machen kann. Machine-Learning-Technologie verspricht, alles in der Geschäftswelt umzugestalten, aber es muss nicht schwer sein. Es gibt bewährte Methoden und Prozesse, die Teams befolgen und das Vertrauen haben können, um in der Produktion zu deployen.

Eine weitere wichtige Lektion ist, dass die Besitzer von Geschäftsbereichen (wie Produktmanager) und Teammitglieder auf der technischeren Seite (wie Ingenieure und Datenwissenschaftler) eine gemeinsame Sprache sprechen müssen. Um KI erfolgreich zu deployen, müssen Führungskräfte die Lücke zwischen den Teams schließen und den Geschäftsspezialisten und dem C-Level genug Kontext geben, um effizient mit den technischen Implementierern zu sprechen.

Viele Menschen denken zuerst an Code, wenn sie an KI denken. Eine der wichtigsten Lektionen in dem Buch ist, dass Daten für den Erfolg eines KI-Modells entscheidend sind. Es gibt viel, was mit Daten zu tun hat, von der Erfassung bis zur Kennzeichnung, zur Speicherung und jedem Schritt, der den Erfolg des Modells beeinflussen wird. Die erfolgreichsten KI-Deployments sind die, die einen hohen Stellenwert auf Daten legen und danach streben, diesen Aspekt ihres ML-Modells kontinuierlich zu verbessern.

Alle realen KI-Anwendungen erfordern ein cross-funktionales Team und einen innovativen Geist.

Es wird diskutiert, wie man bestimmt, ob die Genauigkeit eines KI-Modells ausreichend ist, um KI zu verwenden. Was ist der einfachste Weg, um die Art der Genauigkeit zu bewerten, die benötigt wird?

Es hängt von Ihren Anwendungsfällen und Ihrem Risikotoleranz ab. Teams, die KI entwickeln, sollten immer eine Testphase haben, in der sie die Genauigkeitslevel und akzeptable Schwellenwerte für ihre Organisation und Stakeholder bestimmen. Für lebensbedrohliche Anwendungsfälle – bei denen es potenziellen Schaden gibt, wenn die KI falsch ist, wie bei der Verwendung von Urteilssoftware, selbstfahrenden Autos, medizinischen Anwendungsfällen, ist die Latte sehr hoch – und Teams müssen Vorkehrungen treffen, wenn die Modelle falsch sind. Für fehlertolerantere Anwendungsfälle, bei denen viel Subjektivität im Spiel ist – wie bei Inhalten, Suchrelevanz oder Werbe-Relevanz, können Teams auf Nutzerfeedback zurückgreifen, um ihre Modelle auch während der Produktion anzupassen. Natürlich gibt es auch einige Hochrisikoanwendungsfälle hier, bei denen illegale oder unethische Materialien den Nutzern gezeigt werden könnten, also müssen Vorkehrungen und Feedbackmechanismen eingerichtet werden.

Können Sie die Bedeutung definieren, den Erfolg eines Projekts im Voraus zu definieren?

Es ist genauso wichtig, mit einem Geschäftsproblem zu beginnen, wie es ist, den Erfolg im Voraus zu definieren, da diese beiden Dinge Hand in Hand gehen. Dem Beispiel im Buch über den Autohändler, der KI verwendet, um Bilder zu beschriften, folgend, haben sie nicht bestimmt, was Erfolg bedeutet, da sie kein Geschäftsproblem definiert hatten, das gelöst werden sollte. Erfolg für sie hätte viele verschiedene Dinge sein können, was es schwierig macht, ein Problem zu lösen, selbst für Teams von Menschen, geschweige denn ein Machine-Learning-Modell mit einem festen Umfang. Wenn sie sich zum Ziel gesetzt hätten, alle Fahrzeuge mit Beulen zu beschriften, um eine Liste von Fahrzeugen zu erstellen, die repariert werden müssen, und Erfolg als korrekte Beschriftung von 80% aller Fahrzeugbeulen im Gebrauchtwagenbestand definiert hätten, dann hätten sie Erfolg gehabt, wenn sie 85% korrekt beschriftet hätten. Aber wenn dieser Erfolg nicht an das Geschäftsproblem geknüpft ist und nicht direkt auf den Geschäftseffekt abzielt, ist es schwierig, das Projekt außerhalb der fokussierten Definition der Beschriftungsgenauigkeit in diesem Beispiel zu bewerten. Hier war das Geschäftsproblem komplexer, und die Beschriftung von Beulen ist nur ein Teil davon. In ihrem Fall hätten sie besser daran getan, Erfolg als Zeit-/Kosteneinsparung bei dem Anspruchsprozess oder Optimierung des Reparaturprozesses um X% zu definieren und dann die Auswirkungen der Beschriftung in reale Geschäftsergebnisse umzusetzen.

Wie wichtig ist es, sicherzustellen, dass die Trainingsdatenbeispiele alle Anwendungsfälle abdecken, die in der Produktionsbereitstellung auftreten werden?

Es ist extrem wichtig, dass das Modell auf alle Anwendungsfälle trainiert wird, um Verzerrungen zu vermeiden. Aber es ist auch wichtig zu beachten, dass es unmöglich ist, absolut alle Anwendungsfälle in der Produktion abzudecken, Teams, die KI aufbauen, müssen ihr Produktionsdaten sowie ihre Trainingsdaten verstehen, damit sie die KI auf das vorbereiten, was sie in der Produktion antreffen werden. Der Zugang zu Trainingsdaten, die von großen, vielfältigen Gruppen mit verschiedenen Anwendungsfällen stammen, wird für den Erfolg des Modells entscheidend sein. Zum Beispiel muss ein Modell, das darauf trainiert ist, das Haustier einer Person in einem hochgeladenen Bild zu erkennen, auf alle Arten von Haustieren trainiert werden; Hunde, Katzen, Vögel, kleine Säugetiere, Eidechsen usw. Wenn das Modell nur auf Hunde, Katzen und Vögel trainiert ist, kann es nicht erkennen, wenn jemand ein Bild mit seinem Meerschweinchen hochlädt. Obwohl dies ein sehr einfaches Beispiel ist, zeigt es, wie wichtig es ist, auf so viele wahrscheinliche Anwendungsfälle wie möglich zu trainieren, um den Erfolg eines Modells zu gewährleisten.

Im Buch wird die Notwendigkeit diskutiert, gute Datenhygieneverfahren von oben nach unten zu entwickeln. Was sind einige gemeinsame erste Schritte, um diese Gewohnheit zu fördern?

Gute Datenhygieneverfahren erhöhen die Nutzbarkeit interner Daten und bereiten sie für KI-Anwendungsfälle vor. Das gesamte Unternehmen muss gut darin werden, seine Datensätze zu organisieren und zu verfolgen. Eine Möglichkeit, dies zu erreichen, besteht darin, es als Geschäftsanforderung zu machen und die Umsetzung zu verfolgen, damit es sehr wenige Berichte gibt, die als individuelle Aufträge enden, und Teams mehr und mehr mit Datenpipelines arbeiten, die in ein zentrales Repository geleitet werden, mit einer klaren Ontologie. Eine weitere gute Praxis ist es, eine Aufzeichnung davon zu führen, wann und wo die Daten gesammelt wurden und was mit ihnen passierte, bevor sie in die Datenbank gespeichert wurden, sowie Prozesse für die regelmäßige Reinigung ungenutzter oder veralteter Daten einzurichten.

Vielen Dank für das großartige Interview. Für Leser, die mehr erfahren möchten, empfehle ich, das Buch Die reale Welt von KI: Ein praktischer Leitfaden für verantwortungsvolles Machine Learning zu lesen.