Dr. Neil Yager, Mitbegründer und Chefwissenschaftler von Phrasee – Interview Series

Dr. Neil Yager ist der Chefwissenschaftler von Phrasee, und der Architekt der Phrasee-Methode, einem KI-gestützten Copywriting-Tool, das dabei geholfen hat, Marketingtexte für einige der bekanntesten Marken der Welt zu optimieren, darunter eBay, Groupon und Virgin – und viele mehr, von Australien bis Amerika, in über 20 Sprachen, von Englisch bis Japanisch.

Dr. Yager hat über ein Dutzend wissenschaftliche Publikationen verfasst, Autor eines Buches über Data Miningund hält mehrere Patente. Als einer der weltweit führenden Experten für die Kommerzialisierung künstlicher Intelligenz besitzt er einen Doktortitel in Informatik von der University of New South Wales in Australien.

Sie sind seit 20 Jahren in der Technologiebranche tätig. Was waren einige Ihrer früheren Rollen im Bereich KI? 

Ich beschäftige mich seit meiner Doktorarbeit Mitte der 2000er Jahre mit KI-bezogener Arbeit. Seitdem hat der Bereich jedoch mehrere Umbenennungen erfahren. Vor 15 Jahren habe ich zum Beispiel „Statistische Mustererkennung“ studiert. Einige Jahre später wurde dies allgemein als „maschinelles Lernen“ bezeichnet, was ein viel fesselnderer Name ist. In jüngerer Zeit ist maschinelles Lernen (und „Deep Learning“ im Besonderen) zum Synonym für „künstliche Intelligenz“ im Allgemeinen geworden. Ich habe diesbezüglich gemischte Gefühle. Einerseits hatte ich durch meine Arbeit mit Phrasee gelernt, wie wichtig Branding ist. Andererseits bringt der Begriff „künstliche Intelligenz“ Ballast mit sich und kann zu falschen Vorstellungen über die Technologie führen. Ich frage mich, wo wir stünden, wenn wir es alle immer noch „statistische Mustererkennung“ nennen würden.

Die meisten meiner bisherigen Arbeiten waren in den Bereichen Signalverarbeitung und Computer Vision tätig. Vor Phrasee hatte ich kaum Erfahrung mit der Verarbeitung natürlicher Sprache. Seitdem habe ich gelernt, dass Sprache wahrscheinlich das schwierigste Problem in der KI ist.

2008 waren Sie Mitautor eines Buches mit dem Titel „Biometrische System- und Datenanalyse: Design, Bewertung und Data Mining', das Aspekte der Statistik und des maschinellen Lernens verbindet, um einen umfassenden Leitfaden zur Auswertung, Interpretation und zum Verständnis biometrischer Daten bereitzustellen. Glauben Sie, dass sich dieser Bereich seit der Veröffentlichung dieses Buches, abgesehen von mehr Computerressourcen, weiterentwickelt hat? Könnten Sie beschreiben, wie? 

Deep Learning hat die Bereiche Computer Vision, Sprachverarbeitung und maschinelles Lernen revolutioniert, seit ich dieses Buch geschrieben habe. Es wäre heute nicht möglich, dieses Buch ohne einen Abschnitt über Deep Learning zu schreiben.

Die Deep-Learning-Revolution nahm 2012 richtig Fahrt auf, als ein Deep-Learning-Modell einen Wettbewerb namens ImageNet gewann. ImageNet ist ein Datensatz zur visuellen Objekterkennung, bei dem der Computer bestimmt, was in einem Bild enthalten ist (z. B. „Hund“ oder „Ballon“). Jahrzehntelang hatten Forscher mit Benchmark-Datensätzen wie diesem schrittweise Fortschritte gemacht. Jeder Teilbereich operierte unabhängig und stützte sich stark auf domänenspezifisches Fachwissen. Fast über Nacht waren alle über viele Jahre mühsam gebauten Modelle veraltet. Von Außenstehenden entwickelte Deep-Learning-Algorithmen gewannen Wettbewerbe mit deutlichem Vorsprung. Dies hat die KI-Branche verändert.

Das Feld ist immer noch schnelllebig und hat sich seit der Gründung von Phrasee vor ein paar Jahren weiterentwickelt. Beispielsweise gab es die Deep-Learning-Tools, auf die wir heute setzen, noch nicht einmal, als wir das Unternehmen gründeten. Das Innovationstempo bringt eigene Herausforderungen mit sich.

Können Sie uns mitteilen, was Phrasee für Unternehmen tun kann? 

Phrasee löst zwei Probleme für Unternehmen. Erstens gibt es das Problem, Marketingtexte zu verfassen. Es gibt heute mehr Werbekanäle als je zuvor (z. B. E-Mail, AdWords, soziale Netzwerke, Printmedien, Podcasts usw.). Es ist schwierig, für all diese Texte qualitativ hochwertige Texte zu verfassen, die zum Stil und Tonfall der Marke passen. Phrasee geht das Problem der Skalierung an, indem es automatisch Kopien generiert. Zweitens ist es wichtig, dass die gesamte verwendete Sprache wirksam ist. Phrasee generiert nicht nur Sprache, sondern nutzt auch maschinelles Lernen, um die Auswirkungen der Nachrichten vorherzusagen und entsprechend zu optimieren.

Was hat Sie an der Idee gereizt, mithilfe von Natural Language Processing (NLP) und Deep Learning die Leistungsfähigkeit von Anzeigentexten zu verbessern? 

Der Einsatz von KI zur Maximierung der Wirkung digitaler Marketingkampagnen ist keine neue Idee. Es gibt Teams mit promovierten Physikern, die für die Arbeit an der Anzeigenoptimierung eingestellt wurden. In den meisten Fällen konzentrieren sie ihre Forschungs- und Entwicklungsbemühungen jedoch auf Dinge wie Zielgruppensegmentierung, Personalisierung, Bereitstellungszeitpunkt, Anzeigenplatzierung, Schriftarten usw. Als wir zum ersten Mal Ideen für Phrasee austauschten, stellten wir fest, dass fast alles an Anzeigen optimiert wird, mit Ausnahme der tatsächlich verwendete Sprache! Wir haben darin eine Marktlücke und eine große Chance erkannt.

Phrasee ist in der Lage, Marketingtexte in über 20 Sprachen, einschließlich Japanisch, zu verbessern. Könnten Sie einige der einzigartigen Probleme bei der Verarbeitung natürlicher Sprache besprechen, die bei Fremdsprachen auftreten? 

Die neueste Ergänzung zu unserem Satz unterstützter Sprachen ist Russisch. Dies ist eine slawische Sprache und unterscheidet sich deutlich von anderen indogermanischen Sprachen. In diesem Fall war es notwendig, neue Regeln in unser Sprachgenerierungssystem einzubauen, damit die Ausgabe fließend und grammatikalisch korrekt ist. Das ist nicht nur ein Sprachproblem. Es ist auch ein Problem der Softwareentwicklung. Wenn die Ausgabe unseres Systems in der Muttersprache des Entwicklers erfolgt, ist es relativ einfach, Fehler zu erkennen und zu überprüfen, ob alles ordnungsgemäß funktioniert. Wenn wir jedoch an Russisch oder Japanisch arbeiten, könnten wir Unsinn ausgeben und keine Ahnung haben. Es ist wichtig, dass ein Muttersprachler eng in den Qualitätssicherungsprozess eingebunden wird.

Die Herausforderung besteht nicht nur bei Fremdsprachen. Es gibt auch einige interessante regionale Unterschiede. Im Englischen gibt es beispielsweise Variationen in der Schreibweise für die USA, Großbritannien, Australien, Kanada usw. Darüber hinaus gibt es grammatikalische Unterschiede. Im britischen Englisch sagt man „have a look“, im amerikanischen Englisch „take a look“. Auch die Bedeutung von Wörtern kann von Ort zu Ort variieren. Ein „Gummi“ ist in Großbritannien ein Radiergummi, in Nordamerika jedoch ein Kondom! Damit NLG-Systeme für Geschäftsanwendungen eingesetzt werden können, müssen sie alle diese Feinheiten berücksichtigen.

Könnten Sie uns auch einige Details dazu mitteilen, wie Deep Learning in Phrasee verwendet wird? 

Die Technologie von Phrasee besteht aus zwei Haupt-KI-Komponenten. Die erste ist die Natural Language Generation (NLG), die tatsächlich Sprache produziert. Das zweite ist Deep Learning, und hier liegt der Fokus auf der Leistung. Leistung kann je nach Kontext unterschiedliche Bedeutungen haben. Das Ziel einer E-Mail-Betreffzeile besteht beispielsweise darin, den Empfänger dazu zu verleiten, die E-Mail zu öffnen und den darin enthaltenen Inhalt zu sehen. Für Facebook könnte das Ziel darin bestehen, Likes oder Shares zu maximieren. Angesichts großer Mengen historischer Daten ist es möglich, subtile Trends und Muster zu finden, die einem Menschen nie auffallen würden. Dies ist ein Standardproblem des maschinellen Lernens.

Deep Learning bietet einige Vorteile gegenüber dem traditionellen Ansatz des maschinellen Lernens. Beim traditionellen maschinellen Lernen liegt ein starker Fokus auf „Feature Engineering“. Das bedeutet, dass der Entwickler entscheiden muss, was seiner Meinung nach die wichtigsten Merkmale der Sprache sind. B. Wörter, Länge, Emoji-Verwendung usw. Das Problem besteht darin, dass dies durch die Fähigkeiten und Vorstellungskraft des Ingenieurs begrenzt ist. Beim Deep Learning wird jedoch der Rohtext in das Modell eingespeist und es erstellt eine eigene maschinelle Darstellung der Sprache (dies wird als End-to-End-Lernen bezeichnet). Daher ist es frei von menschlichen Vorurteilen und ein wirkungsvoller Ansatz. Der Nachteil besteht jedoch darin, dass es schwierig sein kann, zu verstehen, warum sich das Modell so verhält. „Erklärbarkeit“ ist ein aktives Forschungsgebiet innerhalb der Deep-Learning-Community. Es besteht jedoch ein grundlegender Kompromiss zwischen der Komplexität eines Systems und unserer Fähigkeit, es zu verstehen. Die menschliche Sprache ist chaotisch, daher weisen erfolgreiche NLP-Lösungen typischerweise einen hohen Grad an Komplexität auf.

Eine der Funktionen von Phrasee ist die Möglichkeit, im einzigartigen Ton einer Marke zu schreiben. Können Sie näher erläutern, wie dies geschieht? 

Wenn wir einen neuen Kunden gewinnen, sammeln wir zunächst Informationen über den Kommunikationsstil seiner Marke. Dazu gehören alle formellen Markenrichtlinien, historische Marketingkampagnen und eine Reihe von Fragebögen, die wir zu diesem Zweck entwickelt haben. Alle diese Informationen werden von einem internen Team von Sprachtechnikern verwendet, um ein kundenspezifisches „Sprachmodell“ zu erstellen. Unsere Sprachmodelle sind generativ, das heißt, sie sind in der Lage, noch nie dagewesene Sprache im einzigartigen Stil eines Kunden zu produzieren.

Sprachmodelle können jederzeit aktualisiert werden. Beispielsweise befinden wir uns derzeit auf dem Höhepunkt der COVID-19-Krise. Unser Sprachteam überprüft unsere Modelle, um sicherzustellen, dass keine unangemessene Sprache erstellt wird. Ein Satz wie „Diese Deals gehen viral!“ Mag vor ein paar Monaten harmlos gewesen sein, ist aber inmitten einer globalen Pandemie eindeutig unangemessen. Dies zeigt die Flexibilität unseres Systems.

Welche Art von Daten benötigt ein Unternehmen, das mit Phrasee starten möchte? 

Um ehrlich zu sein, sind nicht viele Daten erforderlich, um bei uns durchzustarten. Der erste Schritt besteht darin, ein geeignetes Projektgebiet zu identifizieren. Dies könnten beispielsweise die Betreffzeilen für wöchentliche Werbe-E-Mails sein. Idealerweise hat die Veranstaltung ein relativ großes Publikum und die Kommunikation erfolgt regelmäßig. Sobald das Projekt identifiziert wurde, benötigen wir Informationen über das beabsichtigte Thema und die Markenstimme, um das Sprachmodell aufzubauen. Phrasee benötigt fortlaufend Leistungsergebnisse. Da unsere Lösung maschinelles Lernen nutzt, ist es wichtig, dass wir wichtige Kennzahlen im Laufe der Zeit messen und verfolgen. Diese Informationen werden in unser System zurückgespeist, damit es das Engagement kontinuierlich optimieren kann.

Gibt es noch etwas, das Sie über Phrasee mitteilen möchten? 

Als Parry, Victoria und ich vor fünf Jahren Phrasee gründeten, waren wir uns sicher, dass es nur eine Frage der Zeit sein würde, bis viele andere Startups mit ähnlichen Produkten auftauchen würden. Unser Plan war es, der Konkurrenz einen Schritt voraus zu sein und einen Schritt voraus zu sein. Wir waren jedoch überrascht über den Mangel an Teilnehmern in diesem Bereich. Wo sind alle anderen? Ich denke, dafür gibt es einige Gründe, aber einer der Hauptgründe ist, dass Sprache ein so schwieriges Problem ist. Ich vermute, dass andere versucht haben, ähnliche Produkte zu entwickeln, aber schon früh in der Forschungs- und Entwicklungsphase gescheitert sind. Dies ist ein Beweis dafür, wie einzigartig unsere Technologie ist.

Vielen Dank für das informative Interview zum Thema Natural Language Processing, Natural Language Generation und Deep Learning. Um mehr zu erfahren, können Besucher vorbeischauen Phrasee.