Доктор Майк Флэкман, Вице-президент по Продукту в HEAVY.AI – Интервью

Доктор Майк Флэкман в настоящее время является Вице-президентом по Продукту в HEAVY.AI, ранее занимая должность Менеджера Продукта и возглавляя практику Spatial Data Science в Профессиональных Услугах. Он провел последние 20 лет, работая в области пространственного экологического планирования. До HEAVY.AI он основал Geodesign Technologies, Inc и стал сооснователем GeoAdaptive LLC, двух стартапов, применяющих технологии пространственного анализа к планированию. До того, как стать стартапером, он был профессором планирования в MIT и Менеджером отрасли в ESRI.

HEAVY.AI – это аппаратно-ускоренная платформа для аналитики данных в реальном времени и высокого воздействия. Она использует как GPU, так и CPU для быстрого запроса огромных наборов данных, с поддержкой SQL и геопространственных данных. Платформа включает в себя инструменты визуальной аналитики для интерактивных панелей, перекрестной фильтрации и масштабируемой визуализации данных, что позволяет эффективно анализировать большие данные в различных отраслях.

Расскажите нам о вашем профессиональном опыте и о том, что привело вас к присоединению к HEAVY.AI?

До того, как присоединиться к HEAVY.AI, я провел годы в академии, в конечном итоге преподавая пространственный анализ в MIT. Я также управлял небольшой консалтинговой фирмой, обслуживая различные государственные клиентов. Я участвовал в проектах GIS в 17 странах. Моя работа привела меня от консультирования организаций, таких как Межамериканский банк развития, до управления технологиями GIS для архитектуры, инженерии и строительства в ESRI, крупнейшем разработчике GIS.

Я хорошо помню свою первую встречу с тем, что сейчас является HEAVY.AI, когда, будучи консультантом, я был ответственным за планирование сценариев для программы сохранения среды обитания пляжей Флориды. Мои коллеги и я испытывали трудности с моделированием среды обитания морских черепах с использованием данных Landsat с разрешением 30м, и друг указал мне на некоторые совершенно новые и очень актуальные данные – 5см LiDAR. Это было именно то, что нам нужно с научной точки зрения, но что-то вроде 3600 раз больше, чем мы планировали использовать. Не нужно говорить, что никто не собирался увеличивать мой бюджет даже на небольшую часть этой суммы. Итак, в тот день я положил инструменты, которые я использовал и преподавал в течение нескольких десятилетий, и пошел искать что-то новое. HEAVY.AI без усилий прорезал и отображал эти данные так гладко и без усилий, что я сразу же был очарован.

Продвинувшись вперед на несколько лет, я все еще считаю, что то, что делает HEAVY.AI, довольно уникально, и его ранний выбор в пользу GPU-аналитики был именно там, где отрасль все еще нуждается. HEAVY.AI твердо фокусируется на демократизации доступа к большим данным. Это имеет компонент объема данных и скорости обработки, по сути, давая каждому свой суперкомпьютер. Но все более важным аспектом с появлением крупных языковых моделей является то, что пространственное моделирование становится доступным для многих людей. В наши дни, вместо того, чтобы тратить годы на изучение сложного интерфейса с тысячами инструментов, вы можете просто начать разговор с HEAVY.AI на человеческом языке вашего выбора. Программа не только генерирует команды, необходимые для этого, но и представляет соответствующие визуализации.

За кулисами обеспечение легкости использования, конечно, очень сложно. В настоящее время, как Вице-президент по Управлению Продуктом в HEAVY.AI, я тесно участвую в определении того, какие функции и возможности мы отдаём приоритет нашим продуктам. Мой обширный опыт в области GIS позволяет мне действительно понимать потребности наших клиентов и направлять нашу дорожную карту разработки соответственно.

Как ваш предыдущий опыт в области пространственного экологического планирования и стартапов повлиял на вашу работу в HEAVY.AI?

Экологическое планирование – это особенно сложная область, поскольку вам необходимо учитывать как разные наборы человеческих потребностей, так и природный мир. Общее решение, которое я выучил рано, заключалось в том, чтобы объединить метод, известный как участие в планировании, с технологиями дистанционного зондирования и GIS. До того, как принять решение, мы создавали несколько сценариев и моделировали их положительные и отрицательные последствия в компьютере с помощью визуализаций. Использование участия в планировании позволяло нам объединить различные формы экспертизы и решать очень сложные проблемы.

Хотя мы обычно не занимаемся экологическим планированием в HEAVY.AI, этот шаблон все еще работает очень хорошо в деловой среде. Итак, мы помогаем клиентам создавать цифровые двойники ключевых частей их бизнеса, и мы позволяем им создавать и оценивать бизнес-сценарии быстро.

Я полагаю, что мой опыт преподавания дал мне глубокое сочувствие к пользователям программного обеспечения, особенно к сложным программным системам. Там, где один студент спотыкается в одном месте, это случайно, но там, где десятки или сотни людей совершают подобные ошибки, вы знаете, что у вас есть проблема с дизайном. Может быть, моя любимая часть дизайна программного обеспечения – это применение этих знаний при проектировании новых поколений систем.

Можете ли вы объяснить, как HeavyIQ использует обработку естественного языка для облегчения исследования и визуализации данных?

В наши дни кажется, что каждый и его брат рекламируют новую модель генеративного ИИ, большинство из которых являются забываемыми клонами друг друга. Мы прошли по совершенно другому пути. Мы считаем, что точность, воспроизводимость и конфиденциальность являются важными характеристиками для любых инструментов бизнес-аналитики, включая те, которые генерируются крупными языковыми моделями (LLM). Итак, мы построили эти гарантии в нашем предложении на фундаментальном уровне. Например, мы строго ограничиваем входные данные моделей только корпоративными базами данных и предоставляем документы внутри периметра безопасности предприятия. Мы также ограничиваем выходные данные последними HeavySQL и Chart. Это означает, что независимо от того, какой вопрос вы зададите, мы попытаемся ответить на него с помощью ваших данных, и мы покажем вам точно, как мы получили этот ответ.

С этими гарантиями на месте, нам меньше важно для наших клиентов, как именно мы обрабатываем запросы. Но за кулисами еще одно важное различие по сравнению с потребительским генеративным ИИ заключается в том, что мы обширно настраиваем модели против конкретных типов вопросов, которые бизнес-пользователи задают бизнес-данным, включая пространственные данные. Итак, например, наша модель отлично подходит для выполнения пространственных и временных соединений, которые не входят в классические бенчмарки SQL, но которые наши пользователи используют ежедневно.

Мы упаковываем эти основные возможности в интерфейс Notebook, который мы называем HeavyIQ. IQ заключается в том, чтобы сделать исследование и визуализацию данных так интуитивно понятными, как только возможно, используя обработку естественного языка (NLP). Вы задаете вопрос на английском языке – например, “Какие были погодные условия в Калифорнии на прошлой неделе?” – и HeavyIQ переводит его в запросы SQL, которые наш GPU-ускоренный база данных обрабатывает быстро. Результаты представлены не только как данные, но и как визуализации – карты, графики, все, что наиболее актуально. Это о том, чтобы обеспечить быстрое, интерактивное запросирование, особенно при работе с крупными или быстро меняющимися наборами данных. Что важно, это часто не первый вопрос, который вы задаете, а, может быть, третий, который действительно приводит к основному прозрению, и HeavyIQ предназначен для облегчения этого более глубокого исследования.

Каковы основные преимущества использования HeavyIQ по сравнению с традиционными инструментами бизнес-интеллекта для телекоммуникаций, коммунальных услуг и государственных агентств?

HeavyIQ отличается в средах, где вы имеете дело с крупномасштабными, высокоскоростными данными – именно теми данными, с которыми работают телекоммуникационные компании, коммунальные услуги и государственные агентства. Традиционные инструменты бизнес-интеллекта часто испытывают трудности с объемом и скоростью этих данных. Например, в телекоммуникациях у вас могут быть миллиарды записей звонков, но это крошечная доля сброшенных звонков, на которую вам нужно сосредоточиться. HeavyIQ позволяет вам просеять через эти данные в 10-100 раз быстрее благодаря нашей GPU-инфраструктуре. Эта скорость, в сочетании с возможностью интерактивного запросирования и визуализации данных, делает его бесценным для аналитики рисков в коммунальных услугах или планирования сценариев в реальном времени для государственных агентств.

Другое преимущество, уже упомянутое выше, заключается в том, что пространственные и временные запросы SQL чрезвычайно мощны аналитически – но могут быть медленными или трудными для написания вручную. Когда система работает на том, что мы называем “скоростью любопытства”, пользователи могут задавать как больше вопросов, так и более тонкие вопросы. Итак, например, инженер телекоммуникационной компании может заметить временный скачок неисправностей оборудования из системы мониторинга, иметь интуицию, что что-то идет не так на конкретном объекте, и проверить это с помощью пространственного запроса, возвращающего карту.

Какие меры предпринимаются для предотвращения утечки метаданных при использовании HeavyIQ?

Как описано выше, мы построили HeavyIQ с учетом конфиденциальности и безопасности на уровне его основы. Это включает не только данные, но и несколько видов метаданных. Мы используем метаданные на уровне столбцов и таблиц обширно при определении, какие таблицы и столбцы содержат информацию, необходимую для ответа на запрос. Мы также используем внутренние документы компании, где это предоставлено, для помощи в так называемом генерировании, дополненном извлечением (RAG). Наконец, сами языковые модели генерируют дополнительные метаданные. Все эти, но особенно последние, могут быть высоко чувствительными для бизнеса.

В отличие от третьих моделей, где ваши данные обычно отправляются на внешние серверы, HeavyIQ работает локально на той же GPU-инфраструктуре, что и остальная часть нашей платформы. Это гарантирует, что ваши данные и метаданные остаются под вашим контролем, без риска утечки. Для организаций, которые требуют самого высокого уровня безопасности, HeavyIQ может даже быть развернут в полностью изолированной среде, гарантируя, что конфиденциальная информация никогда не покидает конкретное оборудование.

Как HEAVY.AI достигает высокой производительности и масштабируемости с крупными наборами данных, используя GPU-инфраструктуру?

Секретный соус заключается в основном в избежании перемещения данных, распространенного в других системах. В своей основе это начинается с базы данных, специально разработанной для запуска на NVIDIA GPU. Мы работаем над этим более 10 лет и действительно считаем, что у нас есть лучшее решение, когда речь идет о GPU-ускоренной аналитике.

Даже лучшие CPU-ориентированные системы истощаются задолго до среднего GPU. Стратегия, когда это происходит на CPU, требует распределения данных по нескольким ядрам и затем по нескольким системам (так называемое “горизонтальное масштабирование”). Это работает хорошо в некоторых контекстах, где все менее критично по времени, но обычно начинает застревать на сетевой производительности.

Помимо избежания этого перемещения данных при запросах, мы также избегаем его при многих других общих задачах. Первая из них заключается в том, что мы можем отображать графику без перемещения данных. Затем, если вы хотите моделирование с помощью ML, мы снова делаем это без перемещения данных. И если вы допрашиваете данные с помощью крупной языковой модели, мы еще раз делаем это без перемещения данных. Даже если вы являетесь специалистом по данным и хотите допросить данные из Python, мы снова предоставляем методы для этого на GPU без перемещения данных.

Это означает, что на практике мы можем выполнять не только запросы, но и отображение в 10-100 раз быстрее, чем традиционные CPU-ориентированные базы данных и серверы карт. Когда вы имеете дело с крупными, высокоскоростными наборами данных, с которыми работают наши клиенты – такие как модели погоды, записи звонков телекоммуникаций или спутниковые изображения – такой прирост производительности абсолютно необходим.

Как HEAVY.AI поддерживает усилия по реагированию на чрезвычайные ситуации через HeavyEco?

Мы построили HeavyEco, когда увидели, что некоторые из наших крупнейших клиентов из коммунальных услуг испытывают значительные трудности с простым потреблением сегодняшних выходных моделей погоды, а также с визуализацией их для совместных сравнений. Это занимало у одного клиента до четырех часов, чтобы просто загрузить данные, и когда вы сталкиваетесь с быстроразвивающимися экстремальными погодными условиями, такими как пожары… это просто не достаточно хорошо.

HeavyEco предназначен для предоставления информации в реальном времени в высокоценных ситуациях, таких как во время лесного пожара или наводнения. В таких сценариях вам необходимо принимать решения быстро и на основе лучших возможных данных. Итак, HeavyEco служит в первую очередь в качестве профессионально управляемого конвейера данных для авторитетных моделей, таких как те, которые предоставляются NOAA и USGS. На основе этих моделей HeavyEco позволяет вам запускать сценарии, строить модели воздействия на здания и визуализировать данные в реальном времени. Это дает первым респондентам критически важную информацию, когда это наиболее важно. Это о том, чтобы превратить сложные, крупномасштабные наборы данных в действенную разведку, которая может направлять принятие немедленных решений.

В конечном итоге, наша цель – дать нашим пользователям возможность исследовать свои данные на скорости мысли. Будь то запуск сложных пространственных моделей, сравнение прогнозов погоды или попытка выявить закономерности в геопространственных временных рядах, мы хотим, чтобы они могли делать это без проблем, без каких-либо технических барьеров.

В чем отличие проприетарной LLM HEAVY.AI от других третьих LLM в плане точности и производительности?

Наша проприетарная LLM специально настроена для типов аналитики, на которых мы фокусируемся – таких как текст в SQL и текст в визуализации. Мы изначально пробовали традиционные третьи модели, но обнаружили, что они не соответствуют высоким требованиям точности наших пользователей, которые часто принимают критические решения. Итак, мы настроили ряд открытых моделей и протестировали их на отраслевых бенчмарках.

Наша LLM намного более точна для продвинутых концепций SQL, которые наши пользователи нуждаются, особенно в геопространственных и временных данных. Кроме того, поскольку она работает на нашей GPU-инфраструктуре, она также более безопасна.

В дополнение к возможностям встроенной модели мы также предоставляем полный интерактивный интерфейс для администраторов и пользователей, чтобы добавить метаданные, актуальные для домена или бизнеса. Например, если базовая модель не работает так, как ожидается, вы можете импортировать или настроить метаданные на уровне столбцов или добавить руководящие указания и сразу же получить обратную связь.

Как HEAVY.AI представляет себе роль геопространственной и временной аналитики данных в формировании будущего различных отраслей?

Мы считаем, что геопространственная и временная аналитика данных будут иметь решающее значение для будущего многих отраслей. Что мы действительно фокусируемся на, это помощь нашим клиентам в принятии лучших решений, быстрее. Будь то телекоммуникации, коммунальные услуги, государственные агентства или другие – наличие возможности анализировать и визуализировать данные в реальном времени может быть прорывом.

Наша миссия – сделать этот тип мощной аналитики доступным для всех, а не только для крупных игроков с огромными ресурсами. Мы хотим обеспечить, чтобы наши клиенты могли воспользоваться данными, которые у них есть, чтобы оставаться впереди и решать проблемы, когда они возникают. По мере того, как данные продолжают расти и становиться более сложными, мы видим нашу роль в обеспечении того, чтобы наши инструменты развивались прямо рядом с ними, чтобы наши клиенты всегда были готовы к тому, что произойдет дальше.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить HEAVY.AI.