Виктор Тху, президент Datatron – Интервью

Виктор Тху является президентом Datatron, платформы, которая помогает предприятиям использовать мощность машинного обучения, ускоряя развертывание, обнаруживая проблемы на ранней стадии и увеличивая эффективность управления несколькими моделями в масштабе.

Ваш опыт работы в области маркетинга продуктов, выхода на рынок и управления продуктами. Как этот опыт привел вас к работе в области машинного обучения и ИИ?

Я люблю технологии, и некоторые из моих близких друзей даже называют меня “технологическим шептуном”. Мне нравится брать сложные технологические темы и переводить их на язык, который люди могут понять, и учиться новым технологиям, чтобы понять “почему” за технологиями, которые имеют наибольшее значение для людей.

Моя первая встреча с тем, что я называю “современным ИИ”, произошла, когда я смотрел ключевую презентацию знаменитого профессора ИИ Стэнфорда, доктора Фэй-Фэй Ли. Презентация доктора Ли была настолько увлекательной, что она стала поворотным моментом в моей карьере. Эта презентация убедила меня, что это то, где я хочу быть дальше. Я хотел быть частью следующей волны технологий, где мы используем ИИ и МО для решения бизнес-задач.

С тех пор я работал в нескольких стартапах ИИ/МО, работая над использованием технологий для решения реальных бизнес-проблем. Я работал очень близко с учеными-исследователями уровня PhD, которые предоставили мне огромные знания в области ИИ/МО. И я все еще учусь сегодня, поскольку эта область развивается очень быстро.

Таким образом, это действительно была моя страсть к технологиям и тому, как использовать их для помощи другим, что привело меня к работе в области ИИ/МО.

Datatron фокусируется на MLOps, для читателей, которые не знакомы с этим термином, могли бы вы описать, что это такое?

MLOps по сути является кодификацией и упрощением высокоартизанального процесса получения моделей ИИ и МО из прототипа в производство.

Одним из самых больших заблуждений является то, что как только ученые-исследователи построили свои модели ИИ, они могут быстро вывести их в производство. Однако реальность такова, что может потребоваться до года, прежде чем модель может быть развернута.

Основная причина этой задержки заключается в том, что люди, имеющие опыт в разработке моделей, не обязательно обладают опытом программной инженерии. Хорошая аналогия – архитекторы, которые проектируют небоскребы, – они не являются также разработчиками, которые строят их.

MLOps по сути является мостом между разработчиками моделей и программной инженерией. Вместо того, чтобы тратить более 12 месяцев на вывод моделей в производство, MLOps может сократить этот длительный процесс до нескольких дней.

В статье, которую вы написали для нас в сентябре 2021 года, вы обсуждали, как “Основным препятствием для вывода решений в производство не является качество моделей, а rather отсутствие инфраструктуры, которая позволит компаниям сделать это.” Почему это такое препятствие для большинства компаний?

Есть несколько факторов, которые способствуют этому.

• Переоценка “бесплатного” открытого программного обеспечения. Я хочу подчеркнуть, что мы любим открытое программное обеспечение и твердо верим, что оно помогло отрасли сделать огромный шаг вперед. Однако многие не понимают сложности открытого программного обеспечения в отношении ИИ и МО. Сегодня существует острая нехватка талантов ИИ/МО. Когда вы сочетаете это с поиском программных инженеров (инженеров ИИ/МО), которые знают, как обращаться с уникальными свойствами кода ИИ/МО, ожидать, что вы сможете нанять и построить платформу MLOps масштаба предприятия, разобрав 300+ открытых проектов MLOps, – это рецепт катастрофы.
• Отсутствие инфраструктуры для поддержки команд инженеров. Компаниям нужна лучшая среда для подготовки инженеров к успеху. Необходимо обеспечить правильную пропускную способность и бюджет для предоставления командам правильных инструментов. ИИ – относительно новая технология. Предприятия, которые занимаются ИИ, не всегда знают, что им нужно сделать, чтобы быстро выводить модели в производство, поэтому MLOps является таким важным инструментом.

Как использование MLOps решает проблему отсутствия инфраструктуры?

MLOps решает проблему отсутствия инфраструктуры четырьмя способами:

1. Нет изменений в проприетарном коде: Ученые-исследователи хотят гибкости для построения моделей, которые соответствуют бизнес-кейсам в их среде, поэтому любой процесс MLOps, который требует изменений в коде, усложняет целостность их моделей.
2. Автоматизация/скриптинг: Многие команды скриптируют модели в жестком коде, что занимает много времени. MLOps автоматизирует весь этот процесс, экономя много времени и энергии.
3. Упрощение обновлений: Модели ИИ изменяются регулярно, чтобы адаптироваться к своей среде. Иногда ученые-исследователи должны вернуться и обновить модели часто. Без MLOps нет способа избежать этого повторяющегося обновления.
4. Управление базовой инфраструктурой: Чтобы вывести модели в производство, необходимо вычислить сеть и хранилище, что требует уникальных свойств моделей ИИ/МО. Инструменты MLOps имеют возможность подключаться к правильным ресурсам для масштабирования их соответственно.

Также существуют требования предприятия, которые часто не учитываются при построении собственного инструмента MLOps, такие как: контроль доступа на основе ролей (RBAC), интеграция и взаимодействие, поддержка различных инструментов МО, устранение уязвимостей безопасности и неожиданный уход ключевых членов команды.

Каково ваше личное мнение об важности управления ИИ?

Было бесчисленное количество ужасных историй о том, как модели ИИ не работают должным образом, от неправильной маркировки определенных групп людей до причинения огромных финансовых потерь для публичных компаний.

Управление ИИ крайне важно для бизнеса, когда у них есть модели ИИ, работающие в производстве. С другой стороны, это не отличается от других ИТ- или бизнес-управлений. Сегодня, когда ваша ИТ-инфраструктура запускает приложения в облаке или даже в своих собственных центрах данных, у них есть серия инструментов, чтобы обеспечить правильную работу приложений.

Как только у вас есть модели ИИ, работающие в производстве, вам необходимо иметь механизмы и инструменты, чтобы дать бизнесу и ученым-исследователям видимость того, что делают модели.

Особенно на этой ранней стадии ИИ/МО нет варианта “установить и забыть”. В начале вам необходимо контролировать, как ведет себя ваша модель, и вносить соответствующие корректировки. Иметь правильные возможности мониторинга, чтобы они могли предупредить вас, когда ваши модели ведут себя вне желаемых границ, является ключевым.

Управление рисками моделей (MRM) также должно учитывать различных лиц, участвующих в разработке и развертывании моделей. Какой контроль доступа у вас есть, чтобы обеспечить целостность моделей? Или как вы обеспечиваете, чтобы лица из разных групп не использовали случайно ваши модели для кейсов, для которых ваши модели не предназначены? Все вопросы, которые команды должны задавать себе.

Как Datatron помогает с управлением рисками моделей?

MLOps позволяет быстро обновлять и изменять модели. Например, если модель неправильно отклоняет людей на заявке на кредит, MLOps позволяет вам вернуть модель и ввести новую, управляя этим риском простым способом.

Это защищает модели от смещения и поддерживает ключевые метрики, находясь в производстве, через простую панель, которая представляет эти метрики, используя глубокие подробные данные из высокоуровневого обзора, который может быть легко понят бизнес-решателями.

Платформа Datatron для управления ИИ обеспечивает уровень выше, чем generic мониторинг, – предоставляя дополнительный контекст и логику, которая отображает четкую видимость модели, более актуальную для кейсов клиентов.

В блог-посте на Datatron вы описали, как Datatron принимает девиз Надежного ИИ. Можете ли вы описать, что это такое?

Когда мы придумали это, мы подумали о том, как мы так комфортно летаем на коммерческих авиалайнерах сегодня, потому что они очень надежны.

Несмотря на все разговоры об этичном ИИ, ответственных ИИ и т. д., ключевая потребность заключается в том, чтобы бизнес мог использовать ИИ/МО надежно – как если бы их сотрудники сели на коммерческий авиалайнер.

Использование терминов, таких как этичный, ответственный ИИ, действительно возникло из-за проблемы того, что текущие модели ИИ не делают того, что они должны, и поэтому считаются ненадежными. Бизнес не хочет использовать ИИ, потому что они не имеют уверенности, что их модели не смещены. Это означает, что их модели ненадежны, и Datatron намерен изменить это.

Есть ли что-то еще, что вы хотели бы поделиться о Datatron?

Мы являемся одним из немногих игроков MLOps, которые имеют опыт работы на уровне Суперкубка – работая успешно в высокострессовой ситуации, что не типично для стартапа или открытого инструмента. Клиент, Domino’s Pizza , работает с Datatron, чтобы легко и быстро операционализировать модели ИИ в производстве, которые затем были подвергнуты окончательному тесту во время Суперкубка.

MLOps действительно является способом помочь моделям ИИ/МО выйти в производство, сохраняя ресурсы и снижая затраты. Мы являемся устойчивым источником успешных моделей ИИ/МО и служим катализатором для дохода. Компании могут наконец получить свою отдачу от инвестиций в ИИ и МО. Независимо от ваших марж, вы можете производить результаты, используя MLOps.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Datatron.