Julien Salinas, NLP Cloudの創設者＆CTO – インタビュー・シリーズ

Julien Salinasは、NLP Cloudの創設者＆CTOです。NLP Cloudプラットフォームは、spaCyとHuggingFace Transformersに基づく、高性能のプロダクションレディなNLPモデルを、NER、センチメント分析、テキスト分類、要約、質問回答、テキスト生成、翻訳、言語検出、文法とスペルチェック、意図分類、意味的類似性などの複数のユースケースで提供しています。

コンピューターサイエンスに興味を持ったきっかけは何ですか?

私は、実はビジネススクールでプログラミングを始めました！驚くことです。実際、ビジネス自体は面白くないとすぐに気づき、プロジェクトを実現するために技術スキルがなければすぐに限界があると感じました。

当時の最初のプロジェクトは、音楽教師のための小さなウェブサイトでした。次に家族のための別のプロジェクト、そしてPythonを学び始めました… そして今では、15年間Python/GoデベロッパーおよびDevOpsをしています。

NLP Cloudの創設ストーリーを共有できますか?

2年前に始まりました。開発者として、機械学習モデルをプロダクションに適切にデプロイするのが難しいことに気づいたからです。

Hugging Face TransformersやspaCyなどのフレームワークの進歩に驚かされ、非常に高度なNLPモデルをプロジェクトで利用できるようになりました。ただし、これらのモデルをプロダクションで使用するのは別の話で、驚くことに、NLP用のNo-Opsクラウドは市場にありません。

そこで、私はNLPモデルのデプロイ用に自分のプラットフォームを始めることにしました。すぐに素晴らしい顧客のフィードバックがあり、フィードバックに基づいて多くの機能を追加しました（事前トレーニング済みモデル、ファインチューニング、プレイグラウンド…）。

NLP CloudプラットフォームはGPT-3のオープンソース代替であるGPT-Jをサポートしています。GPT-Jとは具体的に何ですか?

GPT-Jは、EleutherAIという研究チームによって今年の6月にリリースされました。彼らは、GPT-3はその前身（GPTとGPT-2）と同様にオープンソースモデルであるべきだと考えています。彼らは、GPTのような強力なAIモデルを誤用する可能性について心配するべきですが、それがオープンソースでないことを理由にすべきではないと主張しています。実際、AIモデルがオープンソースのままであることが、コミュニティがこれらのモデルが内部でどのように動作するかを理解し、モデルが間違った動作をしないようにするための最良の方法であると考えています。

GPT-Jは、GPT-3 Curieと同等であり、両者とも約60億パラメータでトレーニングされています。

両者はほぼ交換可能です。

GPT-JはGPT-3よりも優れている代替手段です。なぜですか?

GPT-3はMicrosoftが所有しており、GPT-3 APIを通じてのみ利用できます。

ただし、このAPIは非常に高価で、非常に制限的なものです。APIにアクセスする必要がありますが、たとえアプリケーションが承認されたとしても、アクセスはいつでもMicrosoftのガイドラインに準拠していないと判断された場合に停止される可能性があります。たとえば、「オープンエンド」のテキスト（複数の段落で構成される長いテキスト）を生成することは、ポリシーの違反となるためできません。

GPT-Jにはそのような制限はありません。オープンソースであるため、誰でもインストールして使用できます。

GPT-JをNLP Cloudに統合する際の技術的な課題は何でしたか?

GPT-Jは、メモリ、CPU、GPUなどのリソース消費が非常に高いので、インストールが難しいです。GPUなしでは動作しますが、非常に遅いため、実用的ではありません。

最終的に、GPT-Jを実行するために必要なハードウェアは非常に高価なので、コストを削減するために、多くの実装の詳細に取り組む必要がありました。

また、GPT-JをNLP Cloudで高可用性を確保し、プロダクションに適したものにするために、GPT-J用の冗長性とフェイルオーバー戦略に取り組む必要がありましたが、それはかなり課題でした。

提供されている事前トレーニング済みAIモデルのいくつかについて説明できますか?

私たちは、各ユースケースで最適な事前トレーニング済みAIモデルを選択するために最善を尽くしています。

テキストの要約の場合、最も優れたものは、FacebookのBart Large CNNです。GPUなしではかなり遅いですが、非常に優れた結果をもたらします。

テキスト分類の場合、FacebookのBart Large MNLI（英語分類用）とJoe DavisonのXLM Roberta Large XLNI（非英語言語用）を実装しました。両者とも高速で非常に正確です。

質問回答の場合、DeepsetのRoberta Base Squad 2を使用しています。高速で正確ですが、より高度な質問回答の場合はGPT-Jを使用する必要があるかもしれません。

その他多数…

NLP Cloudの最も優れたユースケースは何ですか?

最も頻繁に使用されるユースケースは、テキストの要約、テキスト分類、GPT-Jを使用したテキスト生成（製品説明の生成、言い換え、記事の生成…）です。

しかし、顧客の中で見られるユースケースは非常に多様で、多くの素晴らしいアイデアが生まれているのを見ていると非常に印象的です！

NLP Cloudについてさらに共有したいことはありますか?

AIがテキストの理解と生成に実際に使用されていることが、多くの企業の実際の製品や内部ワークフローで使用されていることは、ようやく現実になってきています。

これは見てとてもうれしいことです。NLPは、純粋な研究分野ではなく、実際のビジネスユースケースを活用できるものになってきました。

NLP Cloudでは、誰でもNLPをテストして使用できるように、最善を尽くして続けていきます。

素晴らしいインタビュー、詳しく知りたい読者はNLP Cloudを訪問してください。