Жюльен Салинас, основатель и технический директор NLP Cloud – Интервью

Жюльен Салинас – основатель и технический директор NLP Cloud. Платформа NLP Cloud предоставляет высокопроизводительные модели обработки естественного языка (NLP) для различных случаев использования, включая распознавание именованных сущностей, анализ настроений, классификацию текста, суммаризацию, ответы на вопросы, генерацию текста, перевод, обнаружение языка, исправление грамматики и орфографии, классификацию намерений и семантическое сходство.

Что первоначально привлекло вас к информатике?

Я начал программировать в… бизнес-школе! Знаю, что это звучит неожиданно. На самом деле, я быстро понял, что бизнес сам по себе скучен и что я буду быстро ограничен, если не буду иметь технических навыков для реализации своих проектов.

Первым проектом в то время был небольшой сайт для моего музыкального учителя, затем еще один для моей семьи, затем я начал изучать Python… и так далее. Теперь я уже 15 лет являюсь разработчиком на Python/Go и DevOps.

Можете ли вы рассказать историю создания NLP Cloud?

Все началось 2 года назад, когда я понял, что как разработчик, мне было довольно трудно правильно развернуть модели машинного обучения в производстве.

Я был поражен прогрессом, достигнутым фреймворками seperti Hugging Face Transformers и spaCy, и смог использовать очень продвинутые модели NLP в своих проектах. Но использование этих моделей в производстве было совсем другим делом, и, к моему удивлению, я не смог найти интересных No-Ops облачных решений для NLP на рынке.

Итак, я решил создать свою собственную платформу для развертывания моделей NLP. Очень быстро мы получили отличные отзывы от клиентов и добавили много функций на основе этих отзывов (предобученные модели, тонкая настройка, площадка…).

Платформа NLP Cloud поддерживает открытую альтернативу GPT-3 – GPT-J. Что такое GPT-J?

GPT-J был выпущен командой исследователей под названием EleutherAI в июне этого года. Они считают, что GPT-3 должен быть открытым моделью, как его предшественники (GPT и GPT-2). Они утверждают, что, даже если мы должны все беспокоиться о потенциальном неправильном использовании мощных моделей ИИ, таких как GPT, это не является хорошей причиной не сделать эти модели открытыми. Напротив, они считают, что если модели ИИ остаются открытыми, это лучший способ для сообщества понять, как эти модели работают под капотом, и затем убедиться, что эти модели не ведут себя неправильно (мизогиния, расизм…).

GPT-J является прямым эквивалентом GPT-3 Curie, поскольку оба обучены на примерно 6 миллиардах параметров.

Оба можно почти использовать взаимозаменяемо.

Почему GPT-J является лучшей альтернативой GPT-3?

GPT-3 принадлежит Microsoft (MSFT ), и единственный способ для людей использовать его – это пройти через официальный API GPT-3.

Но это API очень дорогой и чрезвычайно ограничен: вам нужно запросить доступ к API, и даже если ваше приложение будет принято, ваш доступ может быть отключен в любой момент, если они считают, что ваша бизнес-модель не соответствует их руководящим принципам. Например, вы не можете генерировать “открытый” текст (длинный текст, состоящий из нескольких абзацев), поскольку это противоречит их политике.

Нет таких ограничений с GPT-J, поскольку это открытая модель, и любой может установить и использовать ее.

Какими были некоторые технические проблемы с интеграцией GPT-J на NLP Cloud?

GPT-J сложен в установке из-за высокого потребления ресурсов (ОЗУ, ЦП, ГП…). Он работает без ГП, но это так медленно, что это очень неудобно.

В конце концов, аппаратное обеспечение, необходимое для запуска GPT-J, очень дорогое, поэтому, чтобы снизить затраты, нам пришлось работать над многими деталями реализации.

Кроме того, чтобы обеспечить высокую доступность GPT-J на NLP Cloud и сделать его пригодным для производства, нам пришлось работать над стратегиями резервирования и отработки отказов для GPT-J, что может быть довольно сложным.

Можете ли вы обсудить некоторые из предобученных моделей ИИ, которые предлагаются?

Мы делаем все возможное, чтобы выбрать лучшую предобученную модель ИИ для каждого случая использования.

Для суммаризации текста лучшая модель, на наш взгляд, – это Facebook’s Bart Large CNN, которая дает очень хорошие результаты, но может быть довольно медленной без ГП.

Для классификации текста мы реализовали Facebook’s Bart Large MNLI (для английской классификации) и Joe Davison’s XLM Roberta Large XLNI (для классификации на неанглийских языках). Обе модели быстрые и очень точные.

Для ответов на вопросы мы используем Deepset’s Roberta Base Squad 2. Это быстрая и точная модель, но для более сложных ответов на вопросы вы можете захотеть использовать GPT-J.

И многие другие!

Какие есть лучшие случаи использования NLP Cloud?

Случаи использования, которые, кажется, используются чаще всего, – это суммаризация текста, классификация текста и генерация текста с помощью GPT-J для генерации описаний продуктов, парафраз, генерации статей…

Но случаи использования, которые мы видим среди наших клиентов, чрезвычайно разнообразны, и это впечатляет видеть так много отличных идей!

Есть ли что-то еще, что вы хотели бы поделиться о NLP Cloud?

Нам кажется, что ИИ для понимания текста и генерации текста наконец используется “на самом деле” в реальных продуктах или внутренних рабочих процессах все большим и большим количеством компаний.

Это здорово видеть, что NLP больше не является только чисто исследовательской областью, но также имеет реальные бизнес-кейсы, которые могут использовать NLP.

В NLP Cloud мы продолжим делать все возможное, чтобы сделать тестирование и использование NLP в производстве максимально простым для всех.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить NLP Cloud.