Жульєн Салінас, засновник та технічний директор NLP Cloud – Серія інтерв’ю

Жульєн Салінас – засновник та технічний директор NLP Cloud. Платформа NLP Cloud пропонує високопродуктивні готові до виробництва моделі NLP на основі spaCy та HuggingFace transformers для різних випадків використання, включаючи розпізнавання іменованих сутностей, аналіз настрою, класифікацію тексту, підсумовування, відповіді на запитання, генерацію тексту, переклад, виявлення мови, корекцію граматики та орфографії, класифікацію намірів та семантичну схожість.

Що спочатку вас зацікавило в інформатиці?

Я почав програмувати в… бізнес-школі! Я знаю, що це звучить дивно. Насправді, я швидко зрозумів, що бізнес сам по собі був нудним, і що я швидко буду обмежений, якщо не матиму технічних навичок для реалізації моїх проєктів.

Перший проєкт на той час був маленьким сайтом для моєї музичної вчительки, потім інший для моєї сім’ї, потім я почав вивчати Python… і так далі. Тепер я вже 15 років розробник Python/Go та DevOps.

Чи можете ви поділитися історією створення NLP Cloud?

Все почалося 2 роки тому, коли я зрозумів, що як розробник, було досить складно правильно розгорнути моделі машинного навчання у виробництві.

Я був здивований прогресом, досягнутим фреймворками типу Hugging Face Transformers та spaCy, і я зміг використати дуже просунуті моделі NLP у своїх проєктах. Але використання цих моделей у виробництві було зовсім іншим, і, дивно, я не зміг знайти жодної цікавої No-Ops хмари для NLP на ринку.

Тому я вирішив створити свою власну платформу для розгортання моделей NLP. Дуже швидко ми отримали велику кількість відгуків від клієнтів і додали багато функцій на основі цих відгуків (предварньо натреновані моделі, тонке налаштування, ігровий майданчик…).

Платформа NLP Cloud підтримує відкритий альтернативний GPT-3 – GPT-J. Що таке GPT-J?

GPT-J був випущений командою дослідників під назвою EleutherAI у червні цього року. Вони вважають, що GPT-3 повинен бути відкритим моделлю, як і його попередники (GPT та GPT-2). Вони стверджують, що навіть якщо ми повинні бути стурбовані потенційним неправильним використанням потужних моделей AI типу GPT, це не є причиною не зробити ці моделі відкритими. Навпаки: вони вважають, що якщо моделі AI залишаються відкритими, це найкращий спосіб для спільноти зрозуміти, як ці моделі працюють під капотом, і потім впевнитися, що ці моделі не поведуться неправильно (мізогінія, расизм…).

GPT-J є прямим еквівалентом GPT-3 Curie, оскільки обидва були натреновані на більш або менш 6 мільярдів параметрів.

Обидва можна майже взаємозамінно використовувати.

Чому GPT-J є кращою альтернативою GPT-3?

GPT-3 належить компанії Microsoft (MSFT ), і єдиний спосіб використання його – це проходження через офіційний API GPT-3.

Але це API дуже дорого, і дуже обмежує: вам потрібно звернутися за доступом до API, і навіть якщо ваша програма отримає доступ, ваш доступ може бути зупинений в будь-який момент, якщо вони вважають, що ваша бізнес-модель не відповідає їхнім керівним принципам. Наприклад, ви не можете генерувати “відкритий” текст (довгий текст, що складається з декількох абзаців), оскільки це суперечить їхній політиці.

Не існує жодних обмежень з GPT-J, оскільки це відкрита модель, і будь-хто може встановити її та використовувати.

Які були деякі технічні проблеми з інтеграцією GPT-J на NLP Cloud?

GPT-J складно встановити через високу витрату ресурсів (оперативної пам’яті, процесора, графічного процесора…). Він працює без графічного процесора, але це так повільно, що це дуже непрактично.

У підсумку апаратне забезпечення, необхідне для запуску GPT-J, дуже дорого, тому нам потрібно було працювати над багатьма деталями реалізації, щоб знизити витрати.

Також нам потрібно було працювати над стратегіями резервування та відновлення для GPT-J, які можуть бути досить складними.

Чи можете ви обговорити деякі з попередньо натренованих моделей AI, які пропонуються?

Ми робимо все можливе, щоб вибрати найкращу попередньо натреновану модель AI для кожного випадку використання.

Для підсумовування тексту найкращою моделлю, на нашу думку, є Facebook’s Bart Large CNN, яка дає дуже хороші результати, але може бути досить повільною без графічного процесора.

Для класифікації тексту ми реалізували Facebook’s Bart Large MNLI (для англійської класифікації) та Joe Davison’s XLM Roberta Large XLNI (для класифікації неанглійських мов). Обидві моделі швидкі та дуже точні.

Для відповідей на запитання ми використовуємо Deepset’s Roberta Base Squad 2. Це швидка та точна модель, але для більш складних питань відповідей на запитання ви можете muốn використовувати GPT-J.

І багато інших!

Які є деякі з кращих випадків використання NLP Cloud?

Варіанти використання, які, здається, використовуються найчастіше, – це підсумовування тексту, класифікація тексту та генерація тексту за допомогою GPT-J для генерації описів продуктів, перефразування, генерації статей…

Але випадки використання, які ми бачимо серед наших клієнтів, дуже різноманітні, і це досить вражає бачити так багато великих ідей, які з’являються!

Чи є щось ще, що ви хотіли б поділитися про NLP Cloud?

Нам здається, що AI для розуміння тексту та генерації тексту нарешті використовується “насправді” в реальних продуктах або внутрішніх робочих процесах все більшою кількістю компаній.

Це велике, що NLP вже не є лише чисто дослідницькою галуззю, а є реальними бізнес-використаннями, які можуть використати NLP.

У NLP Cloud ми продовжимо робити все можливе, щоб зробити використання NLP у виробництві легким для будь-кого.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати NLP Cloud.