Йотам Орен, генеральный директор и сооснователь Mona Labs – Серия интервью

Йотам Орен – генеральный директор и сооснователь Mona Labs, платформы, которая позволяет предприятиям превратить инициативы по искусственному интеллекту из лабораторных экспериментов в масштабируемые бизнес-операции,真正 понимая, как модели машинного обучения ведут себя в реальных бизнес-процессах и приложениях.

Mona автоматически анализирует поведение ваших моделей машинного обучения на защищенных сегментах данных и в контексте бизнес-функций, чтобы обнаружить потенциальную предвзятость ИИ. Mona предлагает возможность генерировать полные отчеты о справедливости, соответствующие отраслевым стандартам и нормативным актам, и предлагает уверенность в том, что приложение ИИ соответствует требованиям и не содержит предвзятости.

Что изначально привлекло вас к информатике?

Информатика – популярная карьерная траектория в моей семье, поэтому она всегда была в моем уме как жизнеспособный вариант. Конечно, израильская культура очень про-технологичная. Мы празднуем инновационных технологов, и я всегда имел представление, что информатика предложит мне взлетную полосу для роста и достижений.

Несмотря на это, она стала личной страстью только тогда, когда я достиг университетского возраста. Я не был одним из тех детей, которые начали программировать в средней школе. В моей юности я был слишком занят игрой в баскетбол, чтобы обращать внимание на компьютеры. После школы я провел почти 5 лет в армии, в оперативных/боевых ролях руководства. Итак, в某ком смысле, я действительно только начал узнавать об информатике, когда мне нужно было выбрать академическую специальность в университете. То, что сразу же привлекло мое внимание, было то, что информатика объединяет решение проблем и изучение языка (или языков). Две вещи, которые меня особенно интересовали. С тех пор я был увлечен.

С 2006 по 2008 год вы работали над картографированием и навигацией для небольшого стартапа, какие были некоторые из ваших ключевых выводов из этого периода?

Моя роль в Telmap заключалась в построении поисковой системы на основе карт и местоположения.

Это были очень ранние дни “больших данных” в предприятии. Мы даже не называли это так, но мы приобретали огромные наборы данных и пытались извлечь наиболее значимые и актуальные идеи, чтобы показать нашим конечным пользователям.

Одним из поразительных осознаний, которое я имел, было то, что компании (включая нас) использовали так мало своих данных (не говоря уже о публично доступных внешних данных). Там был так много потенциала для новых прозрений, лучших процессов и опыта.

Другим выводом было то, что возможность получить больше наших данных зависела, конечно, от наличия лучших архитектур, лучшей инфраструктуры и так далее.

Можете ли вы поделиться историей происхождения Mona Labs?

Трое из нас, сооснователей, были вокруг продуктов данных на протяжении всей своей карьеры.

Немо, технический директор, – мой друг и одноклассник колледжа, и один из первых сотрудников Google Tel Aviv. Он начал продукт там под названием Google Trends, который имел много продвинутых аналитик и машинного обучения на основе данных поисковых систем. Итай, другой сооснователь и директор по продукту, был в команде Немо в Google (и он и я встретились через Немо). Двое из них всегда были разочарованы тем, что системы, управляемые ИИ, оставались без надзора после первоначальной разработки и тестирования. Несмотря на трудности в правильном тестировании этих систем до производства, команды все равно не знали, насколько хорошо их прогностические модели работали со временем. Кроме того, казалось, что единственное время, когда они получали обратную связь об системах ИИ, было тогда, когда все шло плохо, и команда разработчиков вызывалась для “пожарной тревоги”, чтобы исправить катастрофические проблемы.

В то же время я был консультантом в McKinsey & Co, и одним из самых больших барьеров, которые я видел для программ ИИ и больших данных в крупных предприятиях, была отсутствие доверия у бизнес-стейкхолдеров к этим программам.

Общая нить здесь стала ясна Немо, Итаю и мне в разговорах. Индустрия нуждалась в инфраструктуре для мониторинга систем ИИ/МЛ в производстве. Мы придумали видение предоставления этой видимости, чтобы увеличить доверие бизнес-стейкхолдеров и чтобы позволить командам ИИ всегда иметь контроль над тем, как их системы работают, и чтобы они могли более эффективно итерировать.

И это когда была основана Mona.

Можете ли вы поделиться некоторыми деталями о текущих проблемах с отсутствием прозрачности ИИ?

Во многих отраслях организации уже потратили десятки миллионов долларов на свои программы ИИ и увидели некоторый первоначальный успех в лаборатории и в небольших масштабных развертываниях. Но масштабирование, достижение широкого внедрения и получение бизнеса, чтобы он действительно полагался на ИИ, было огромной проблемой для几乎 всех.

Почему это происходит? Ну, все начинается с того факта, что отличные исследования не автоматически переводятся в отличные продукты (один клиент сказал нам: “Модели МЛ – это как машины, как только они покидают лабораторию, они теряют 20% своей ценности”). Отличные продукты имеют поддерживающие системы. Есть инструменты и процессы, чтобы обеспечить, что качество поддерживается со временем, и что проблемы обнаруживаются на ранней стадии и решаются эффективно. Отличные продукты также имеют непрерывный цикл обратной связи, они имеют цикл улучшения и дорожную карту. Следовательно, отличные продукты требуют глубокой и постоянной прозрачности производительности.

Когда нет прозрачности, вы получаете:

• Проблемы, которые остаются скрытыми некоторое время, а затем взрываются на поверхность, вызывая “пожарные тревоги”
• Длительные и ручные расследования и смягчения
• Программу ИИ, которая не доверяет бизнес-пользователям и спонсорам и в конечном итоге не может масштабироваться

Можете ли вы поделиться некоторыми проблемами, связанными с созданием прогностических моделей прозрачными и заслуживающими доверия?

Прозрачность – важный фактор в достижении доверия, конечно. Прозрачность может прийти в различных формах. Есть прозрачность единого прогноза, который может включать отображение уровня уверенности пользователю или предоставление объяснения/обоснования прогноза. Прозрачность единого прогноза в основном направлена на то, чтобы помочь пользователю чувствовать себя комфортно с прогнозом. И тогда есть общая прозрачность, которая может включать информацию о прогностической точности, неожиданных результатах и потенциальных проблемах. Общая прозрачность необходима команде ИИ.

Самая сложная часть общей прозрачности – это обнаружение проблем на ранней стадии, оповещение соответствующего члена команды, чтобы он мог принять корректирующие меры, прежде чем катастрофы произойдут.

Почему это сложно обнаружить проблемы на ранней стадии:

• Проблемы часто начинаются небольшими и тлеют, прежде чем в конечном итоге взорваться на поверхность.
• Проблемы часто начинаются из-за неуправляемых или внешних факторов, таких как источники данных.
• Есть много способов “разделить мир” и тщательно искать проблемы в небольших карманах, что может привести к большому шуму (усталости от оповещений), по крайней мере, когда это делается в наивном подходе.

Другой сложный аспект обеспечения прозрачности – это огромное распространение случаев использования ИИ. Это делает подход “один размер подходит всем” почти невозможным. Каждый случай использования ИИ может включать разные структуры данных, разные бизнес-циклы, разные метрики успеха и часто разные технические подходы и даже стеки.

Итак, это монументальная задача, но прозрачность так фундаментальна для успеха программ ИИ, поэтому вы должны это сделать.

Можете ли вы поделиться некоторыми деталями о решениях для моделей NLU / NLP и чат-ботов?

Конверсационный ИИ – один из основных вертикалов Mona. Мы гордимся поддержкой инновационных компаний с широким спектром случаев использования конверсационного ИИ, включая языковые модели, чат-боты и многое другое.

Общий фактор во всех этих случаях – что модели работают близко (и иногда видимо) к клиентам, поэтому риски несоответствующей производительности или плохого поведения выше. Становится так важно для команд конверсационного ИИ понять поведение системы на детальном уровне, что является областью сильных сторон мониторингового решения Mona.

Что делает решение Mona уникальным, так это то, что оно систематически просеивает группы разговоров и находит карманы, в которых модели (или боты) ведут себя неправильно. Это позволяет командам конверсационного ИИ выявить проблемы на ранней стадии и до того, как клиенты их заметят. Эта возможность является критическим фактором принятия решений для команд конверсационного ИИ при выборе мониторинговых решений.

Чтобы суммировать, Mona предоставляет комплексное решение для мониторинга конверсационного ИИ. Оно начинается с обеспечения единого источника информации для поведения системы во времени и продолжается непрерывным отслеживанием ключевых показателей производительности и проактивными прозрениями о карманах неправильного поведения – позволяя командам принять превентивные, эффективные корректирующие меры.

Можете ли вы предложить некоторые детали о двигателе прозрений Mona?

Да. Давайте начнем с мотивации. Целью двигателя прозрений является то, чтобыsurface аномалий для пользователей, с только правильным количеством контекстной информации и без создания шума или ведущего к усталости от оповещений.

Двигатель прозрений – это уникальный аналитический рабочий процесс. В этом рабочем процессе двигатель ищет аномалии во всех сегментах данных, что позволяет обнаружить проблемы на ранней стадии, когда они еще “маленькие”, и до того, как они повлияют на весь набор данных и последующие бизнес-метрики. Затем он использует проприетарный алгоритм для обнаружения коренных причин аномалий и гарантирует, что каждая аномалия оповещается только один раз, чтобы избежать шума. Поддерживаемые типы аномалий включают: аномалии временных рядов, дрейф, выбросы, деградацию модели и многое другое.

Двигатель прозрений высоко настраивается через интуитивно понятную настройку без кода/с низким кодом Mona. Настройка двигателя делает Mona наиболее гибким решением на рынке, охватывающим широкий спектр случаев использования (например, пакетную и потоковую обработку, с/без бизнес-обратной связи/грунтовой истины, через версии моделей или между обучением и выводом и многое другое).

Наконец, этот двигатель прозрений поддерживается панелью управления визуализацией, в которой прозрения можно просмотреть, и набором инструментов расследования, чтобы обеспечить анализ коренных причин и дальнейшее изучение контекстной информации. Двигатель прозрений также полностью интегрирован с двигателем оповещений, который позволяет передавать прозрения в рабочую среду пользователей, включая электронную почту, платформы сотрудничества и многое другое.

31 января Mona представила свое новое решение для справедливости ИИ, можете ли вы поделиться с нами деталями о том, что это за функция и почему она важна?

Справедливость ИИ – это обеспечение того, что алгоритмы и системы, управляемые ИИ, принимают беспристрастные и справедливые решения. Решение и предотвращение предвзятости в системах ИИ крайне важно, поскольку они могут привести к значительным реальным последствиям. С растущей популярностью ИИ его влияние на повседневную жизнь будет заметно во все больше мест, включая автоматизацию нашей езды, более точное обнаружение заболеваний, улучшение нашего понимания мира и даже создание искусства. Если мы не можем доверять, что это справедливо и беспристрастно, как мы можем позволить ему продолжать распространяться?

Одной из основных причин предвзятости в ИИ является просто способность данных обучения модели представлять реальный мир полностью. Это может возникнуть из исторической дискриминации, недопредставленности определенных групп или даже намеренного манипулирования данными. Например, система распознавания лиц, обученная в основном на светлокожих людях, с большей вероятностью будет иметь более высокую ошибку в распознавании людей с темной кожей. Аналогично, языковая модель, обученная на текстовых данных из узкого набора источников, может развить предвзятость, если данные смещены к определенным мировоззрениям, на темы, такие как религия, культура и так далее.

Решение для справедливости ИИ Mona дает командам ИИ и бизнеса уверенность в том, что их ИИ свободен от предвзятости. В регулируемых секторах решение Mona может подготовить команды к готовности к соблюдению требований.

Решение для справедливости Mona особенное, потому что оно находится на платформе Mona – мост между данными ИИ и моделями и их реальными последствиями. Mona смотрит на все части бизнес-процесса, который модель ИИ обслуживает в производстве, чтобы коррелировать между данными обучения, поведением модели и реальными реальными результатами, чтобы предоставить наиболее полную оценку справедливости.

Во-вторых, оно имеет уникальный аналитический двигатель, который позволяет гибко сегментировать данные, чтобы контролировать соответствующие параметры. Это позволяет точно оценить корреляции в правильном контексте, избегая парадокса Симпсона и предоставляя глубокий реальный “балл предвзятости” для любой метрики производительности и на любой защищенной функции.

Итак, в целом я бы сказал, что Mona является фундаментальным элементом для команд, которые необходимо строить и масштабировать ответственный ИИ.

Каково ваше видение будущего ИИ?

Это большой вопрос.

Я думаю, что легко предсказать, что ИИ будет продолжать расти в использовании и влиянии на различные отраслевые сектора и аспекты жизни людей. Однако трудно серьезно относиться к видению, которое подробно и пытается охватить все случаи использования и последствия ИИ в будущем. Потому что никто действительно не знает достаточно, чтобы нарисовать эту картину достоверно.

Тем не менее, то, что мы знаем точно, – это то, что ИИ будет находиться в руках все большего числа людей и будет служить все большему количеству целей. Следовательно, необходимость управления и прозрачности будет значительно увеличена.

Настоящая прозрачность в ИИ и том, как он работает, будет играть две основные роли. Во-первых, она поможет установить доверие у людей и снять барьеры сопротивления для более быстрого внедрения. Во-вторых, она поможет тем, кто эксплуатирует ИИ, обеспечить, что он не выходит из-под контроля.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Mona Labs.