Julien Salinas, Gründer & CTO von NLP Cloud – Interview-Serie

Julien Salinas ist der Gründer & CTO von NLP Cloud. Die NLP Cloud-Plattform bietet hochleistungsstarke, produktionsbereite NLP-Modelle auf Basis von spaCy und HuggingFace-Transformern für verschiedene Anwendungsfälle, einschließlich NER, Sentiment-Analyse, Textklassifizierung, Zusammenfassung, Fragebeantwortung, Textgenerierung, Übersetzung, Sprachenerkennung, Grammatik- und Rechtschreibkorrektur, Intent-Klassifizierung und semantische Ähnlichkeit.

Was hat Sie ursprünglich für Informatik interessiert?

Ich habe mit der Programmierung in der … Wirtschaftshochschule begonnen! Ich weiß, es klingt überraschend. Tatsächlich habe ich schnell realisiert, dass die Wirtschaft selbst langweilig war und dass ich schnell eingeschränkt sein würde, wenn ich nicht die technischen Fähigkeiten hätte, um meine Projekte umzusetzen.

Das erste Projekt zu dieser Zeit war eine kleine Website für meinen Musiklehrer, dann eine weitere für meine Familie, dann begann ich, Python zu lernen… und so weiter. Jetzt bin ich seit 15 Jahren Python/Go-Entwickler und DevOps.

Können Sie die Entstehungsgeschichte hinter NLP Cloud teilen?

Es begann vor 2 Jahren, als ich realisierte, dass es als Entwickler ziemlich schwierig war, Machine-Learning-Modelle ordnungsgemäß in die Produktion zu überführen.

Ich war von den Fortschritten beeindruckt, die von Frameworks wie Hugging Face Transformers und spaCy gemacht wurden, und ich konnte sehr fortschrittliche NLP-Modelle in meinen Projekten nutzen. Aber die Verwendung dieser Modelle in der Produktion war ein anderes Thema, und überraschenderweise konnte ich keine interessante No-Ops-Cloud auf dem Markt für NLP finden.

Also entschied ich mich, meine eigene Plattform für die Bereitstellung von NLP-Modellen zu starten. Sehr schnell hatten wir großartiges Kunden-Feedback und wir fügten viele Funktionen basierend auf diesem Feedback hinzu (vorab trainierte Modelle, Feinabstimmung, Playground…).

Die NLP Cloud-Plattform unterstützt die Open-Source-Alternative GPT-3, GPT-J. Was ist GPT-J speziell?

GPT-J wurde von einem Team von Forschern namens EleutherAI im Juni dieses Jahres veröffentlicht. Sie glauben, dass GPT-3 ein Open-Source-Modell sein sollte, wie seine Vorgänger (GPT und GPT-2). Sie behaupten, dass, auch wenn wir alle besorgt sein sollten über mögliche Missbrauch von leistungsstarken KI-Modellen wie GPT, es kein guter Grund ist, diese Modelle nicht Open-Source zu machen. Im Gegenteil: Sie glauben, dass, wenn KI-Modelle Open-Source bleiben, es die beste Möglichkeit für die Gemeinschaft ist, zu verstehen, wie diese Modelle unter der Haube arbeiten, und dann sicherzustellen, dass diese Modelle nicht falsch verhalten (Misogynie, Rassismus, …).

GPT-J ist ein direkter Äquivalent zu GPT-3 Curie, da beide auf mehr oder weniger 6 Milliarden Parametern trainiert wurden.

Beide können fast austauschbar verwendet werden.

Warum ist GPT-J eine überlegene Alternative zu GPT-3?

GPT-3 gehört Microsoft und der einzige Weg für Menschen, es zu verwenden, ist, über die offizielle GPT-3-API zu gehen.

Aber diese API ist sehr teuer und extrem restriktiv: Sie müssen Zugang zur API anfordern und, auch wenn Ihre Anwendung Zugang erhält, kann Ihr Zugang jederzeit gesperrt werden, wenn sie feststellen, dass Ihr Geschäftsmodell nicht ihren Richtlinien entspricht. Zum Beispiel können Sie keinen “offenen” Text (langen Text, der aus mehreren Absätzen besteht) generieren, da dies gegen ihre Richtlinie verstößt.

Es gibt keine solchen Einschränkungen mit GPT-J, da es Open-Source ist und jeder es installieren und verwenden kann.

Welche technischen Herausforderungen gab es bei der Integration von GPT-J in NLP Cloud?

GPT-J ist komplex zu installieren, weil es einen hohen Ressourcenverbrauch (RAM, CPU, GPU…) hat. Es funktioniert ohne GPU, aber es ist so langsam, dass es sehr unpraktisch ist.

Letztendlich sind die Hardware-Kosten, die zum Betrieb von GPT-J erforderlich sind, sehr hoch, also mussten wir an vielen Implementierungsdetails arbeiten, um die Kosten zu senken.

Außerdem mussten wir an Redundanz- und Failover-Strategien für GPT-J arbeiten, um sicherzustellen, dass es auf NLP Cloud hoch verfügbar ist und für die Produktion geeignet ist, was ziemlich herausfordernd sein kann.

Können Sie einige der vorab trainierten KI-Modelle erörtern, die angeboten werden?

Wir tun unser Bestes, um das beste vorab trainierte KI-Modell pro Anwendungsfall auszuwählen.

Für die Textzusammenfassung ist das beste Modell – unserer Meinung nach – Facebooks Bart Large CNN, das sehr gute Ergebnisse liefert, aber ohne GPU ziemlich langsam sein kann.

Für die Textklassifizierung haben wir Facebooks Bart Large MNLI (für englische Klassifizierung) und Joe Davisons XLM Roberta Large XLNI (für nicht-englische Sprachen) implementiert. Beide sind schnell und sehr genau.

Für die Fragebeantwortung verwenden wir Deepsets Roberta Base Squad 2. Es ist schnell und genau, aber für fortgeschrittenere Fragebeantwortung möchten Sie möglicherweise GPT-J verwenden.

Und viele andere!

Was sind einige der besten Anwendungsfälle für NLP Cloud?

Die Anwendungsfälle, die am häufigsten verwendet werden, sind Textzusammenfassung, Textklassifizierung und Textgenerierung mit GPT-J für die Erstellung von Produktbeschreibungen, Paraphrasierung, Artikelgenerierung…

Aber die Anwendungsfälle, die wir bei unseren Kunden sehen, sind extrem vielfältig, und es ist beeindruckend, so viele großartige Ideen zu sehen!

Gibt es noch etwas, das Sie über NLP Cloud teilen möchten?

Es scheint uns, dass KI für Textverständnis und Textgenerierung endlich in echten Produkten oder internen Workflows von mehr und mehr Unternehmen verwendet wird.

Es ist großartig zu sehen, dass NLP nicht nur ein reines Forschungsgebiet mehr ist, sondern dass es echte Geschäftsanwendungsfälle gibt, die NLP nutzen können.

Bei NLP Cloud werden wir unser Bestes tun, um es für jeden einfach zu machen, NLP in der Produktion zu testen und zu verwenden.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten NLP Cloud besuchen.