Віктор Тху, президент Datatron – Інтерв’ю серія

Віктор Тху – президент Datatron, платформи, яка допомагає підприємствам використовувати можливості машинного навчання, прискорюючи розгортання, виявляючи проблеми на ранній стадії та підвищуючи ефективність управління декількома моделями одночасно.

Ваш досвід роботи в сфері продукту, маркетингу та управління продуктом, як це призвело вас до роботи в сфері машинного навчання та штучного інтелекту?

Я люблю технології, і деякі мої близькі друзі навіть називають мене “технологічним шептуном”. Мені подобається брати складні технологічні теми і перекладати їх на мову, яку люди можуть зрозуміти, і навчатися новим технологіям, щоб зрозуміти “чому” за технологіями, які найважливіші для людей.

Моя перша зустріч з тим, що я називаю “сучасним штучним інтелектом”, відбулася, коли я дивився виступ відомого професора Стенфордського університету з штучного інтелекту, доктора Фей-Фей Лі. Виступ доктора Лі був так захоплюючим, що став поворотним моментом у моєму кар’єрі. Цей виступ переконав мене, що саме тут я хочу бути наступним. Я хотів бути частиною наступної хвилі технологій, де ми використовуємо штучний інтелект і машинне навчання для вирішення бізнес-проблем.

Відтоді я працював з декількома стартапами в сфері штучного інтелекту і машинного навчання, працюючи над тим, щоб використовувати цю технологію для вирішення реальних бізнес-проблем. Я працював дуже близько з вченими з докторським ступенем у сфері машинного навчання, які надали мені величезні знання в області штучного інтелекту і машинного навчання. І я все ще навчаюсь сьогодні, оскільки ця сфера розвивається дуже швидко.

Таким чином, саме моя любов до технологій і те, як їх можна використовувати для допомоги іншим, привела мене до роботи в сфері штучного інтелекту і машинного навчання.

Datatron фокусується на MLOps, для читачів, які не знайомі з цим терміном, можете ви описати, що це таке?

MLOps – це суттєве кодування і спрощення високого процесу отримання моделей штучного інтелекту і машинного навчання з прототипу до виробництва.

Одна з найбільших помилок полягає в тому, що після того, як вчені-데이터 створили свої моделі штучного інтелекту, вони можуть швидко розгорнути їх у виробництві. Однак насправді це може зайняти до року, перш ніж модель буде розгорнута.

Основна причина цієї затримки полягає в тому, що люди, які мають досвід у створенні моделей, не обов’язково мають досвід у сфері програмної інженерії. Добре порівняти це з архітекторами, які проектують хмарочоси – вони не ті ж самі люди, які будують їх.

MLOps – це суттєвий міст між розробниками моделей і програмною інженерією. Замість того, щоб витрачати понад 12 місяців на розгортання моделей, MLOps може скоротити цей тривалий процес до декількох днів.

У статті, яку ви написали для нас у вересні 2021 року, ви обговорювали, як “Основна проблема введення рішень у виробництво не полягає в якості моделей, а в відсутності інфраструктури для того, щоб компанії могли це зробити.” Чому це така проблема для більшості компаній?

Є декілька чинників, які сприяють цьому.

• Переоцінка “вільного” відкритого програмного забезпечення. Я хочу підкреслити, що ми любимо відкрите програмне забезпечення і вважаємо, що воно допомогло галузі рухатися вперед великими кроками. Однак багато людей не розуміють складності відкритого програмного забезпечення у сфері штучного інтелекту і машинного навчання. Сьогодні існує гостра нестача талантів у сфері штучного інтелекту і машинного навчання. Коли ви поєднуєте це з пошуком програмних інженерів (інженерів машинного навчання або MLOps), які знають, як працювати з унікальними властивостями коду штучного інтелекту і машинного навчання, то очікувати, що ви зможете створити платформу MLOps у компанії, вивчивши понад 300 відкритих проектів MLOps, є оманливим.
• Відсутність інфраструктури для підтримки інженерних команд. Компаніям потрібна краща середовище для того, щоб інженери могли успішно працювати. Потрібно мати належну смугу пропускання і бюджет для надання командам правильних інструментів. Штучний інтелект – це досить нова технологія. Підприємства, які займаються штучним інтелектом, не завжди знають, що їм потрібно зробити, щоб швидко розгорнути моделі, тому MLOps є таким важливим інструментом.

Як використання MLOps вирішує проблему відсутності інфраструктури?

MLOps вирішує проблему відсутності інфраструктури чотирма способами:

1. Відсутність власних змін коду: вчені-데이터 хочуть гнучкості для створення моделей, які відповідають бізнес-використанням у їхньому середовищі, тому будь-які процеси MLOps, які вимагають змін коду, ускладнюють цілісність їхніх моделей.
2. Автоматизація/скриптинг: багато команд скриптують моделі у вигляді жорсткого коду, що займає багато часу. MLOps автоматизує весь цей процес, зберігаючи багато часу і енергії.
3. Упрощення оновлень: моделі штучного інтелекту змінюються регулярно, щоб адаптуватися до свого середовища. Іноді вчені-데이터 повинні повернутися, щоб оновити моделі. Без MLOps немає способу уникнути цього повторюваного оновлення.
4. Управління основною інфраструктурою: щоб розгорнути моделі, потрібно обчислити мережу і зберігання, що вимагає унікальних властивостей моделей штучного інтелекту і машинного навчання. Інструменти MLOps мають можливість використовувати правильні ресурси для масштабування їх відповідно.

Є також корпоративні вимоги, які часто не враховуються при створенні власних інструментів MLOps, таких як: рольовий контроль доступу (RBAC), інтеграція та інтероперабельність, підтримка різних інструментів машинного навчання, вирішення проблем безпеки та несподіване відходження ключових членів команди.

Які ваші особисті погляди на важливість управління штучним інтелектом?

Було безліч історій про те, як моделі штучного інтелекту не працюють правильно, від неправильного маркування певних груп людей до спричинення величезних фінансових втрат для публічних компаній.

Управління штучним інтелектом є вкрай важливим для бізнесу, коли у них працюють моделі штучного інтелекту у виробництві. Однак це не відрізняється від інших ІТ- або бізнес-управлінь. Сьогодні, коли ваша ІТ-інфраструктура працює у хмарі або навіть у власному центрі даних, у вас є серія інструментів для забезпечення того, що програми працюють правильно.

Як тільки у вас працюють моделі штучного інтелекту, вам потрібно мати механізми та інструменти для надання бізнесу та вченим-데이터 можливості бачити, що роблять моделі.

Особливо на цій ранній стадії розвитку штучного інтелекту і машинного навчання немає варіанту “встановити і забути”. Спочатку вам потрібно моніторити, як поводиться ваша модель, і вносити відповідні зміни. Маєте механізми моніторингу, які можуть попередити вас, коли ваші моделі працюють поза бажаними межами, є ключовим.

Управління ризиками моделей (MRM) також повинно враховувати різних осіб, які беруть участь у розробці та розгортанні моделей. Які засоби контролю доступу ви встановили для забезпечення цілісності моделей? Чи знаєте ви, як запобігти випадковому використанню ваших моделей для випадків, для яких вони не призначені? Це питання, на які команди повинні відповісти.

Як Datatron допомагає у управлінні ризиками моделей?

MLOps дозволяє швидко оновлювати та змінювати моделі. Наприклад, якщо модель неправильно відхиляє людей на кредитній заяві, MLOps дозволяє вам повернути модель назад і знову представити нову, керуючи цим ризиком простим способом.

Він захищає моделі від зміщення та зберігає ключові метрики під час виробництва через просту панель, яка представляє ці метрики за допомогою глибоких даних з високого рівня, який може бути легко зрозумілим бізнес-рішеннями.

Платформа Datatron забезпечує рівень вище за звичайну функцію моніторингу – надає додатковий контекст і логіку, яка демонструє чітку видимість моделей, більш актуальних для випадків використання клієнтів.

У блог-пості на Datatron ви описали, як Datatron приймає мантрою Надійний Штучний Інтелект. Чи можете ви описати, що це таке?

Коли ми прийшли до цього, ми подумали про те, як ми так комфортно літаємо на комерційних авіалайнерах сьогодні, тому що вони дуже надійні.

Незважаючи на всі ці розмови про етичний штучний інтелект, відповідальний штучний інтелект тощо, ключова потреба полягає в тому, щоб бізнес міг використовувати штучний інтелект і машинне навчання надійно – так само, як якщо б їхні співробітники сіли на комерційний авіалайнер.

Використання термінів, таких як етичний, відповідальний штучний інтелект, насправді виникло через проблему того, що поточні моделі штучного інтелекту не роблять того, що повинні, і тому вважаються ненадійними. Бізнес не хоче використовувати штучний інтелект, тому що не має впевненості, що їхні моделі не є упередженими. Це означає, що їхні моделі ненадійні, і Datatron намагається змінити це.

Чи є щось ще, що ви хотіли б поділитися про Datatron?

Ми одна з небагатьох компаній MLOps, які мають досвід роботи у високостресових ситуаціях, що не типово для стартапу або відкритого інструменту. Клієнт, Domino’s Pizza , працює з Datatron, щоб легко і швидко розгорнути моделі штучного інтелекту у виробництві, які потім були піддані найбільшому випробуванню під час Суперкубка.

MLOps дійсно є способом допомогти моделям штучного інтелекту і машинного навчання увійти у виробництво, зберігаючи ресурси та скорочуючи витрати. Ми є сталим джерелом успішних моделей штучного інтелекту і машинного навчання та служимо каталізатором доходу. Компанії можуть нарешті отримати свою віддачу від проектів штучного інтелекту і машинного навчання. Незалежно від ваших марж, ви можете отримувати результати, використовуючи MLOps.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, рекомендуємо відвідати Datatron.