Жюльен Салинас, основатель и технический директор NLP Cloud — серия интервью

Жюльен Салинас — основатель и технический директор Облако НЛП. Платформа NLP Cloud обслуживает высокопроизводительные готовые к производству модели NLP на основе преобразователей spaCy и HuggingFace для различных вариантов использования, включая NER, анализ настроений, классификацию текста, обобщение, ответы на вопросы, генерацию текста, перевод, определение языка, коррекцию грамматики и правописания. классификация намерений и семантическое сходство.

Что изначально привлекло вас к информатике?

Я начал программировать в… бизнес-школе! Я знаю, это звучит удивительно. На самом деле, я быстро понял, что бизнес сам по себе скучен и что я буду быстро ограничен, если у меня не будет технических навыков для реализации моих проектов.

Первым проектом в то время был небольшой веб-сайт для моего учителя музыки, затем еще один для моей семьи, затем я начал изучать Python… и так далее и тому подобное. Теперь я разработчик Python/Go и DevOps уже 15 лет.

Не могли бы вы поделиться историей происхождения NLP Cloud?

Это началось 2 года назад, когда я понял, что как разработчику сложно правильно внедрить модели машинного обучения в производство.

Меня поразил прогресс, достигнутый такими фреймворками, как Hugging Face Transformers и spaCy, и я смог использовать очень продвинутые модели НЛП в своих проектах. Но использование этих моделей в производственной среде было другим зверем, и, что удивительно, я не смог найти на рынке ни одного интересного облака No-Ops для NLP.

Итак, я решил запустить свою собственную платформу для развертывания моделей НЛП. Очень быстро мы получили отличные отзывы клиентов и добавили множество функций на основе этих отзывов (предварительно обученные модели, тонкая настройка, игровая площадка…).

Платформа NLP Cloud поддерживает альтернативу GPT-J с открытым исходным кодом GPT-3. Что такое GPT-J конкретно?

GPT-J был выпущен группой исследователей под названием EleutherAI в июне этого года. Они считают, что GPT-3 должна быть моделью с открытым исходным кодом, как и ее предшественники (GPT и GPT-2). Они утверждают, что, даже если мы все должны быть обеспокоены возможным неправильным использованием мощных моделей ИИ, таких как GPT, это не веская причина не делать эти модели с открытым исходным кодом. Наоборот: они считают, что, если модели ИИ останутся открытыми, это лучший способ для сообщества понять, как эти модели работают под капотом, а затем убедиться, что эти модели не ведут себя неправильно (женоненавистничество, расизм…).

GPT-J является прямым эквивалентом GPT-3 Кюри, поскольку оба они обучены более или менее 6 миллиардам параметров.

Оба могут использоваться почти взаимозаменяемо.

Почему GPT-J является лучшей альтернативой GPT-3?

GPT-3 принадлежит Microsoft, и единственный способ использовать его — использовать официальный API GPT-3.

Но этот API очень дорогой и чрезвычайно ограниченный: вам нужно запросить доступ к API, и даже если ваше приложение будет принято, ваш доступ может быть закрыт в любое время, если они сочтут, что ваша бизнес-модель не соответствует их рекомендациям. Например, вы не можете генерировать «открытый» текст (длинный текст, состоящий из нескольких абзацев), поскольку это противоречит их политике.

С GPT-J таких ограничений нет, так как он с открытым исходным кодом, и любой может установить его и использовать.

Какие технические проблемы возникли при интеграции GPT-J в NLP Cloud?

GPT-J сложен в установке из-за высокого потребления ресурсов (RAM, CPU, GPU…). Он работает без графического процессора, но настолько медленно, что это очень непрактично.

В конце концов, оборудование, необходимое для запуска GPT-J, очень дорогое, поэтому, чтобы снизить затраты, нам пришлось работать над многими деталями реализации.

Кроме того, чтобы обеспечить высокую доступность GPT-J в облаке NLP и сделать его пригодным для производства, нам пришлось работать над стратегиями резервирования и аварийного переключения для GPT-J, что может быть довольно сложной задачей.

Не могли бы вы обсудить некоторые из предлагаемых предварительно обученных моделей ИИ?

Мы делаем все возможное, чтобы выбрать лучшую предварительно обученную модель ИИ для каждого варианта использования.

Для суммирования текста лучшим, на наш взгляд, является Bart Large CNN Facebook, который дает очень хорошие результаты, но может быть довольно медленным без графического процессора.

Для классификации текста мы внедрили MNLI Bart Large от Facebook (для классификации английского языка) и XLM Roberta Large XLNI от Joe Davison (для языков, отличных от английского). Оба быстрые и очень точные.

Для ответов на вопросы мы используем программу Roberta Base Squad 2 от Deepset. Она быстрая и точная, но для более сложных ответов на вопросы вы можете использовать GPT-J.

И многие другие!

Каковы некоторые из лучших вариантов использования NLP Cloud?

Варианты использования, которые, по-видимому, используются чаще всего, — это обобщение текста, классификация текста и генерация текста с помощью GPT-J для создания описания продукта, перефразирования, создания статей…

Но варианты использования, которые мы можем видеть среди наших клиентов, чрезвычайно разнообразны, и очень впечатляет то, что появляется так много замечательных идей!

Есть ли что-нибудь еще, чем вы хотели бы поделиться об облаке NLP?

Нам кажется, что ИИ для понимания и генерации текстов наконец-то используется «по-настоящему» в реальных продуктах или внутренних рабочих процессах все большим количеством компаний.

Приятно видеть, что НЛП больше не является чисто исследовательской областью, но что существуют реальные варианты использования НЛП в бизнесе.

В NLP Cloud мы будем продолжать делать все возможное, чтобы каждый мог легко тестировать и использовать NLP в производстве.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Облако НЛП.