Julien Salinas, Gründer & CTO von NLP Cloud – Interview-Serie

Julien Salinas ist der Gründer und CTO von NLP Cloud. Die NLP-Cloud-Plattform bietet Hochleistungs-NLP-Modelle für die Produktion auf Basis von spaCy und Hugging-Face-Transformern für verschiedene Anwendungsfälle, einschließlich NER, Sentiment-Analyse, Textklassifizierung, Zusammenfassung, Fragebeantwortung, Textgenerierung, Übersetzung, Spracherkennung, Grammatik- und Rechtschreibkorrektur, Intent-Erkennung und semantische Ähnlichkeit.

Was hat Sie ursprünglich für Informatik interessiert?

Ich habe mit der Programmierung in der … Wirtschaftsschule begonnen! Ich weiß, es klingt überraschend. Tatsächlich habe ich schnell erkannt, dass die Wirtschaft selbst langweilig war und dass ich schnell begrenzt sein würde, wenn ich nicht die technischen Fähigkeiten hätte, um meine Projekte umzusetzen.

Das erste Projekt zu dieser Zeit war eine kleine Website für meinen Musiklehrer, dann eine weitere für meine Familie, dann begann ich, Python zu lernen … und so weiter. Jetzt bin ich seit 15 Jahren Python/Go-Entwickler und DevOps.

Können Sie die Entstehungsgeschichte hinter NLP Cloud teilen?

Es begann vor 2 Jahren, als ich erkannte, dass es als Entwickler schwierig war, Machine-Learning-Modelle ordnungsgemäß in die Produktion zu überführen.

Ich war von den Fortschritten beeindruckt, die von Frameworks wie Hugging Face Transformers und spaCy gemacht wurden, und ich konnte sehr fortschrittliche NLP-Modelle in meinen Projekten nutzen. Aber die Verwendung dieser Modelle in der Produktion war ein anderes Thema, und überraschenderweise konnte ich keine interessanten No-Ops-Cloud-Anbieter für NLP auf dem Markt finden.

Also entschied ich mich, meine eigene Plattform für die Bereitstellung von NLP-Modellen zu starten. Sehr schnell erhielten wir großartiges Kunden-Feedback und wir fügten viele Funktionen basierend auf diesem Feedback hinzu (vorab trainierte Modelle, Feinabstimmung, Playground…).

Die NLP-Cloud-Plattform unterstützt die Open-Source-Alternative GPT-3, GPT-J. Was ist GPT-J speziell?

GPT-J wurde von einem Team von Forschern namens EleutherAI im Juni dieses Jahres veröffentlicht. Sie glauben, dass GPT-3 ein Open-Source-Modell sein sollte, wie seine Vorgänger (GPT und GPT-2). Sie behaupten, dass, auch wenn wir uns um den möglichen Missbrauch leistungsstarker KI-Modelle wie GPT sorgen sollten, dies kein Grund ist, diese Modelle nicht Open-Source zu machen. Im Gegenteil: Sie glauben, dass, wenn KI-Modelle Open-Source bleiben, dies der beste Weg für die Gemeinschaft ist, um zu verstehen, wie diese Modelle unter der Haube funktionieren, und dann sicherzustellen, dass diese Modelle nicht falsch verhalten (Misogynie, Rassismus, …).

GPT-J ist ein direkter Äquivalent zu GPT-3 Curie, da beide auf etwa 6 Milliarden Parametern trainiert wurden.

Beide können fast austauschbar verwendet werden.

Warum ist GPT-J eine überlegene Alternative zu GPT-3?

GPT-3 gehört zu Microsoft (MSFT ) und der einzige Weg, es zu verwenden, ist über die offizielle GPT-3-API.

Aber diese API ist sehr teuer und extrem restriktiv: Sie müssen den Zugriff auf die API anfordern und, selbst wenn Ihre Anwendung akzeptiert wird, kann Ihr Zugriff jederzeit gesperrt werden, wenn sie feststellen, dass Ihr Geschäftsmodell nicht ihren Richtlinien entspricht. Zum Beispiel können Sie keinen “offenen” Text (langen Text, der aus mehreren Absätzen besteht) generieren, da dies gegen ihre Richtlinien verstößt.

Es gibt keine solchen Einschränkungen bei GPT-J, da es Open-Source ist und jeder es installieren und verwenden kann.

Welche technischen Herausforderungen gab es bei der Integration von GPT-J in NLP Cloud?

GPT-J ist komplex zu installieren, da es einen hohen Ressourcenverbrauch (RAM, CPU, GPU…) hat. Es funktioniert ohne GPU, aber es ist so langsam, dass es sehr unpraktisch ist.

Am Ende benötigt die Hardware, um GPT-J zu betreiben, sehr hohe Kosten, also mussten wir an vielen Implementierungsdetails arbeiten, um die Kosten zu senken.

Außerdem mussten wir an Redundanz- und Failover-Strategien für GPT-J arbeiten, um es für die Produktion geeignet zu machen, was ziemlich herausfordernd war.

Können Sie einige der vorab trainierten KI-Modelle erläutern, die angeboten werden?

Wir tun unser Bestes, um das beste vorab trainierte KI-Modell pro Anwendungsfall auszuwählen.

Für die Textzusammenfassung ist das beste Modell – unserer Meinung nach – Facebooks Bart Large CNN, das sehr gute Ergebnisse liefert, aber ohne GPU ziemlich langsam ist.

Für die Textklassifizierung haben wir Facebooks Bart Large MNLI (für englische Klassifizierung) und Joe Davisons XLM Roberta Large XLNI (für nicht-englische Sprachen) implementiert. Beide sind schnell und sehr genau.

Für die Fragebeantwortung verwenden wir Deepsets Roberta Base Squad 2. Es ist schnell und genau, aber für fortgeschrittenere Fragebeantwortung möchten Sie vielleicht GPT-J verwenden.

Und viele andere!

Was sind einige der besten Anwendungsfälle für NLP Cloud?

Die Anwendungsfälle, die am häufigsten verwendet werden, sind Textzusammenfassung, Textklassifizierung und Textgenerierung mit GPT-J für die Erstellung von Produktbeschreibungen, Paraphrasen, Artikelgenerierung…

Aber die Anwendungsfälle, die wir bei unseren Kunden sehen, sind extrem vielfältig, und es ist beeindruckend, so viele großartige Ideen zu sehen!

Gibt es noch etwas, das Sie über NLP Cloud teilen möchten?

Es scheint uns, dass KI für Textverständnis und Textgenerierung endlich in realen Produkten oder internen Workflows verwendet wird, und zwar von immer mehr Unternehmen.

Es ist großartig zu sehen, dass NLP nicht nur ein reines Forschungsgebiet mehr ist, sondern dass es echte Geschäftsanwendungsfälle gibt, die NLP nutzen können.

Bei NLP Cloud werden wir unser Bestes tun, um es jedem leicht zu machen, NLP in der Produktion zu testen und zu verwenden.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten NLP Cloud besuchen.