Йотам Орен, генеральный директор и сооснователь Mona Labs – Серия интервью

Йотам Орен – генеральный директор и сооснователь Mona Labs, платформы, которая позволяет предприятиям превратить инициативы по искусственному интеллекту из лабораторных экспериментов в масштабируемые бизнес-операции,真正 понимая, как модели машинного обучения ведут себя в реальных бизнес-процессах и приложениях.

Mona автоматически анализирует поведение моделей машинного обучения на защищенных сегментах данных и в контексте бизнес-функций, чтобы обнаружить потенциальную предвзятость ИИ. Mona предлагает возможность генерировать полные отчеты о справедливости, соответствующие отраслевым стандартам и правилам, и обеспечивает уверенность в том, что приложение ИИ соответствует требованиям и не содержит предвзятости.

Что изначально привлекло вас к информатике?

Информатика – популярная карьерная траектория в моей семье, поэтому она всегда была в моем уме как жизнеспособный вариант. Конечно, израильская культура очень про-технологичная. Мы празднуем инновационных технологов, и я всегда имел представление, что информатика предложит мне взлет для роста и достижений.

Несмотря на это, она стала личной страстью только тогда, когда я достиг университетского возраста. Я не был одним из тех детей, кто начал программировать в средней школе. В моей юности я был слишком занят игрой в баскетбол, чтобы обращать внимание на компьютеры. После школы я провел почти 5 лет в армии, в оперативных/боевых ролях. Итак, в некотором смысле, я действительно только начал узнавать об информатике, когда мне нужно было выбрать академическую специальность в университете. То, что сразу же привлекло мое внимание, было то, что информатика объединяет решение проблем и изучение языка (или языков). Две вещи, которые меня особенно интересовали. С тех пор я был увлечен.

С 2006 по 2008 год вы работали над картографированием и навигацией для небольшого стартапа, какие были некоторые из ваших ключевых выводов из этого периода?

Моя роль в Telmap заключалась в построении поисковой системы на основе картографических и локационных данных.

Это были ранние дни “больших данных” в предприятиях. Мы даже не называли это так, но мы приобретали огромные наборы данных и пытались извлечь наиболее значимые и актуальные сведения, чтобы показать нашим конечным пользователям.

Одним из поразительных осознаний, которое я имел, было то, что компании (включая нас) использовали так мало своих данных (не говоря уже о публично доступных внешних данных). Там был так много потенциала для новых сведений, лучших процессов и опыта.

Другим выводом было то, что возможность получить больше наших данных зависела, конечно, от наличия лучших архитектур, инфраструктуры и т. д.

Можете ли вы поделиться историей создания Mona Labs?

Мы трое, сооснователи, были вокруг продуктов данных на протяжении всей нашей карьеры.

Немо, технический директор, – мой друг и одноклассник, и один из первых сотрудников Google (GOOGL ) Tel Aviv. Он начал продукт там под названием Google Trends, который имел много продвинутых аналитических и машинных обучений на основе данных поисковых систем. Итай, другой сооснователь и директор по продукту, был в команде Немо в Google (и я встретил его через Немо). Двое из них всегда были разочарованы тем, что системы, управляемые ИИ, оставались без наблюдения после первоначальной разработки и тестирования. Несмотря на трудности в правильном тестировании этих систем до производства, команды все равно не знали, как хорошо работали их прогностические модели со временем. Кроме того, казалось, что единственный раз, когда они получали обратную связь об системах ИИ, был тогда, когда все шло плохо, и команда разработчиков вызывалась для “пожарной тревоги”, чтобы исправить катастрофические проблемы.

В то же время я был консультантом в McKinsey & Co, и одним из самых больших барьеров, которые я видел для программ ИИ и больших данных в крупных предприятиях, была отсутствие доверия у бизнес-стейкхолдеров к этим программам.

Общая нить здесь стала ясна Немо, Итай и мне в разговорах. Индустрии нужна инфраструктура для мониторинга систем ИИ/МЛ в производстве. Мы придумали видение предоставления этой видимости, чтобы увеличить доверие бизнес-стейкхолдеров и позволить командам ИИ всегда иметь контроль над тем, как работают их системы, и чтобы они могли более эффективно итерировать.

И вот тогда Mona была основана.

Можете ли вы поделиться некоторыми подробностями о текущих проблемах с отсутствием прозрачности ИИ?

Во многих отраслях организации уже потратили десятки миллионов долларов на свои программы ИИ и увидели некоторый первоначальный успех в лаборатории и в небольших масштабных развертываниях. Но масштабирование, достижение широкого внедрения и получение бизнеса, чтобы он действительно полагался на ИИ, было огромной проблемой для几乎 всех.

Почему это происходит? Ну, все начинается с того, что отличные исследования не автоматически переводятся в отличные продукты (один клиент сказал нам: “Модели МЛ – это как машины, как только они покидают лабораторию, они теряют 20% своей ценности”). Отличные продукты имеют поддерживающие системы. Есть инструменты и процессы, чтобы обеспечить, что качество поддерживается со временем, и что проблемы обнаруживаются рано и решаются эффективно. Отличные продукты также имеют непрерывную обратную связь, они имеют цикл улучшения и дорожную карту. Следовательно, отличные продукты требуют глубокой и постоянной прозрачности производительности.

Когда нет прозрачности, вы получаете:

• Проблемы, которые остаются скрытыми некоторое время, а затем всплывают на поверхность, вызывая “пожарные тревоги”
• Длительные и ручные расследования и смягчения
• Программу ИИ, которой бизнес-пользователи и спонсоры не доверяют и которая в конечном итоге не может масштабироваться

Можете ли вы поделиться некоторыми проблемами, связанными с созданием прогностических моделей прозрачными и заслуживающими доверия?

Прозрачность – важный фактор в достижении доверия, конечно. Прозрачность может иметь многие формы. Есть прозрачность отдельных прогнозов, которая может включать отображение уровня уверенности пользователю или предоставление объяснения/обоснования прогноза. Прозрачность отдельных прогнозов в основном направлена на то, чтобы помочь пользователю чувствовать себя комфортно с прогнозом. И есть общая прозрачность, которая может включать информацию о прогностической точности, неожиданных результатах и потенциальных проблемах. Общая прозрачность необходима команде ИИ.

Самая сложная часть общей прозрачности – это обнаружение проблем на ранней стадии, оповещение соответствующего члена команды, чтобы он мог принять корректирующие меры до того, как катастрофы произойдут.

Почему это сложно обнаружить проблемы на ранней стадии:

• Проблемы часто начинаются с малого и тлеют, прежде чем в конечном итоге всплыть на поверхность.
• Проблемы часто начинаются из-за неуправляемых или внешних факторов, таких как источники данных.
• Есть много способов “разделить мир” и исчерпывающе искать проблемы в небольших карманах, что может привести к большому шуму (усталости от оповещений), по крайней мере, когда это делается в наивном подходе.

Другой сложный аспект обеспечения прозрачности – это огромное количество случаев использования ИИ. Это делает подход “один размер для всех” почти невозможным. Каждый случай использования ИИ может включать разные структуры данных, разные бизнес-циклы, разные метрики успеха и часто разные технические подходы и даже стеки.

Итак, это монументальная задача, но прозрачность так фундаментальна для успеха программ ИИ, что вы должны это сделать.

Можете ли вы поделиться некоторыми подробностями о решениях для моделей NLU/NLP и чат-ботов?

Искусственный интеллект для разговора – одна из основных вертикалей Mona. Мы гордимся тем, что поддерживаем инновационные компании с широким спектром случаев использования искусственного интеллекта для разговора, включая языковые модели, чат-боты и многое другое.

Общий фактор для всех этих случаев – это то, что модели работают вблизи (и иногда видимо) от клиентов, поэтому риски несоответствующей производительности или плохого поведения выше. Становится так важно для команд искусственного интеллекта для разговора понять поведение системы на детальном уровне, что является областью сильных сторон решения мониторинга Mona.

Что делает решение Mona уникальным, так это то, что оно систематически просеивает группы разговоров и находит карманы, в которых модели (или боты) ведут себя неправильно. Это позволяет командам искусственного интеллекта для разговора обнаружить проблемы на ранней стадии и до того, как клиенты заметят их. Эта возможность является критическим фактором принятия решений для команд искусственного интеллекта для разговора при выборе решений мониторинга.

Вкратце, Mona предоставляет комплексное решение для мониторинга искусственного интеллекта для разговора. Оно начинается с обеспечения единого источника информации для поведения системы во времени и продолжается непрерывным отслеживанием ключевых показателей производительности и проактивными сведениями о карманах неправильного поведения – позволяя командам принимать превентивные, эффективные корректирующие меры.

Можете ли вы предложить некоторые подробности о движке прозрения Mona?

Да. Давайте начнем с мотивации. Целью движка прозрения является то, чтобы предоставить аномалии пользователям с только правильным количеством контекстной информации и без создания шума или ведения к усталости от оповещений.

Движок прозрения – это уникальный аналитический рабочий процесс. В этом рабочем процессе движок ищет аномалии во всех сегментах данных, что позволяет обнаружить проблемы на ранней стадии, когда они еще “маленькие”, и до того, как они повлияют на весь набор данных и бизнес-метрики. Затем он использует проприетарный алгоритм для обнаружения коренных причин аномалий и обеспечивает, чтобы каждая аномалия была оповещена только один раз, чтобы избежать шума. Типы аномалий, поддерживаемые движком, включают временные ряды, дрейф, выбросы, ухудшение модели и многое другое.

Движок прозрения высоко настраивается с помощью интуитивно понятной настройки без кода/с минимальным кодом Mona. Настройка движка делает Mona наиболее гибким решением на рынке, охватывающим широкий спектр случаев использования (например, пакетную и потоковую обработку, с/без бизнес-обратной связи/грунтовой правды, через версии моделей или между обучением и выводом и многое другое).

Наконец, этот движок прозрения поддерживается панелью визуализации, в которой можно просмотреть прозрения, и набором инструментов расследования, чтобы обеспечить анализ коренных причин и дальнейшее изучение контекстной информации. Движок прозрения также полностью интегрирован с движком оповещений, который позволяет передавать прозрения в рабочую среду пользователей, включая электронную почту, платформы сотрудничества и многое другое.

31 января Mona представила свое новое решение для справедливости ИИ, можете ли вы поделиться с нами подробностями о этой функции и почему она важна?

Справедливость ИИ – это обеспечение того, что алгоритмы и системы, управляемые ИИ, принимают беспристрастные и справедливые решения. Решение и предотвращение предвзятости в системах ИИ крайне важно, поскольку они могут привести к значительным реальным последствиям. С растущей популярностью ИИ его влияние на повседневную жизнь людей будет видно во все больше мест, включая автоматизацию вождения, обнаружение заболеваний более точно, улучшение нашего понимания мира и даже создание искусства. Если мы не можем доверять, что это справедливо и беспристрастно, как мы можем позволить ему продолжать распространяться?

Одной из основных причин предвзятости в системах ИИ является простая способность данных для обучения моделей отражать реальный мир полностью. Это может возникнуть из исторической дискриминации, недопредставленности определенных групп или даже намеренного манипулирования данными. Например, система распознавания лиц, обученная в основном на светлокожих людях, с большей вероятностью будет иметь более высокую ошибку в распознавании людей с темной кожей. Аналогично, языковая модель, обученная на текстовых данных из узкого спектра источников, может развить предвзятость, если данные смещены в сторону определенных мировоззрений, на темы, такие как религия, культура и многое другое.

Решение Mona для справедливости ИИ дает командам ИИ и бизнесу уверенность в том, что их ИИ свободен от предвзятости. В регулируемых секторах решение Mona может подготовить команды к готовности к соблюдению требований.

Решение справедливости Mona особенное, потому что оно находится на платформе Mona – мосту между данными и моделями ИИ и их реальными последствиями в мире. Mona анализирует все части бизнес-процесса, который модель ИИ обслуживает в производстве, чтобы связать между собой данные для обучения, поведение модели и реальные последствия в мире, чтобы предоставить наиболее полную оценку справедливости.

Во-вторых, оно имеет уникальный аналитический движок, который позволяет гибко сегментировать данные, чтобы контролировать соответствующие параметры. Это позволяет точно оценить корреляции в правильном контексте, избегая парадокса Симпсона и предоставляя глубокий реальный “балл предвзятости” для любой метрики производительности и на любой защищенной особенности.

Итак, в целом я бы сказал, что Mona является фундаментальным элементом для команд, которые должны строить и масштабировать ответственный ИИ.

Каково ваше видение будущего ИИ?

Это большой вопрос.

Я думаю, что легко предсказать, что ИИ будет продолжать расти в использовании и влиянии на различные отрасли и аспекты жизни людей. Однако трудно серьезно относиться к видению, которое подробно и пытается охватить все случаи использования и последствия ИИ в будущем. Потому что никто действительно не знает достаточно, чтобы нарисовать эту картину достоверно.

То, что мы знаем точно, – это то, что ИИ будет находиться в руках больше людей и будет служить более целям. Потребность в управлении и прозрачности, следовательно, увеличится значительно.

Настоящая видимость ИИ и того, как он работает, будет играть две основные роли. Во-первых, она поможет установить доверие у людей и снять барьеры сопротивления для более быстрого внедрения. Во-вторых, она поможет тем, кто эксплуатирует ИИ, обеспечить, что он не выходит из-под контроля.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Mona Labs.