Dr Mike Flaxman, VP of Product at HEAVY.AI – Wywiad z serii

Dr Mike Flaxman jest obecnie VP of Product w firmie HEAVY.AI, wcześniej pełnił funkcję Product Managera i kierował praktyką Spatial Data Science w Professional Services. Przez ostatnie 20 lat pracował w dziedzinie planowania przestrzennego i środowiskowego. Przed dołączeniem do HEAVY.AI założył firmę Geodesign Technologies, Inc. i był współzałożycielem GeoAdaptive LLC, dwóch startupów stosujących technologie analizy przestrzennej w planowaniu. Przed założeniem własnej firmy był profesorem planowania na MIT i menedżerem branżowym w ESRI.

HEAVY.AI to platforma przyspieszana sprzętowo do analizy danych w czasie rzeczywistym o dużym wpływie. Wykorzystuje zarówno procesor GPU, jak i CPU do szybkiego przetwarzania ogromnych zbiorów danych, z obsługą języka SQL i danych przestrzennych. Platforma obejmuje narzędzia analityczne do interaktywnych pulpitów, filtrowania krzyżowego i skalowalnej wizualizacji danych, umożliwiając wydajną analizę dużych zbiorów danych w różnych branżach.

Czy możesz opowiedzieć o swoim profesjonalnym tle i tym, co skłoniło Cię do dołączenia do HEAVY.AI?

Przed dołączeniem do HEAVY.AI spędziłem lata w środowisku akademickim, ostatecznie ucząc analizy przestrzennej na MIT. Prowadziłem także małą firmę konsultingową, z różnymi klientami z sektora publicznego. Byłem zaangażowany w projekty związane z systemami informacji geograficznej w 17 krajach. Moja praca zawiodła mnie od doradzania organizacjom takim jak Inter American Development Bank do zarządzania technologią GIS dla architektury, inżynierii i budownictwa w ESRI, największym na świecie deweloperze systemów informacji geograficznej

Pamiętam wyraźnie moje pierwsze spotkanie z tym, co jest teraz HEAVY.AI, kiedy jako konsultant byłem odpowiedzialny za planowanie scenariuszy dla programu ochrony siedlisk plaż w stanie Floryda. Moi koledzy i ja mieliśmy trudności z modelem siedliska żółwi morskich przy użyciu danych Landsat 30m i przyjaciel wskazał mi na nowe, bardzo istotne dane – LiDAR 5cm. Było to dokładnie to, czego potrzebowaliśmy pod względem naukowym, ale coś, co było około 3600 razy większe niż to, co planowaliśmy użyć. Nie trzeba dodawać, że nikt nie zwiększyłby mojego budżetu nawet o ułamek tej kwoty. Więc tego dnia położyłem narzędzia, których używałem i uczyłem przez kilka dekad, i poszukałem czegoś nowego. HEAVY.AI przeciął i wyświetlił te dane tak gładko i bez wysiłku, że od razu zostałem nimi zaangażowany.

Przewińmy kilka lat do przodu, a nadal uważam, że to, co robi HEAVY.AI, jest dość unikalne, a ich wczesna stawka na analitykę GPU była dokładnie tam, gdzie branża nadal potrzebuje iść. HEAVY.AI jest zdecydowanie ukierunkowana na demokratyzację dostępu do dużych zbiorów danych. To ma oczywiście komponent objętości danych i szybkości przetwarzania, co podstawowo daje każdemu własny superkomputer. Ale coraz ważniejszym aspektem wraz z pojawieniem się dużych modeli językowych jest uczynienie modelowania przestrzennego dostępnym dla wielu więcej ludzi. Te dni, zamiast spędzać lata ucząc się złożonego interfejsu z tysiącami narzędzi, możesz po prostu rozpocząć rozmowę z HEAVY.AI w ludzkim języku Twojego wyboru. Program nie tylko generuje polecenia wymagane, ale także prezentuje istotne wizualizacje.

Za kulisami zapewnienie łatwości użycia jest oczywiście bardzo trudne. Obecnie, jako VP of Product Management w HEAVY.AI, jestem głęboko zaangażowany w określanie, które funkcje i możliwości priorytetyzujemy dla naszych produktów. Moje rozległe doświadczenie w dziedzinie systemów informacji geograficznej pozwala mi naprawdę zrozumieć potrzeby naszych klientów i kierować naszą mapą rozwoju odpowiednio.

Jak Twoje poprzednie doświadczenie w planowaniu środowiskowym i startupach wpłynęło na Twoją pracę w HEAVY.AI?

Planowanie środowiskowe jest szczególnie wymagającą dziedziną, ponieważ trzeba uwzględnić zarówno różne zestawy potrzeb ludzkich, jak i świat naturalny. Ogólne rozwiązanie, które nauczyłem się wcześnie, polegało na połączeniu metody znanej jako planowanie uczestniczące z technologiami teledetekcji i systemów informacji geograficznej. Przed ustaleniem planu działania tworzyliśmy wiele scenariuszy i symulowaliśmy ich pozytywne i negatywne wpływy w komputerze przy użyciu wizualizacji. Użycie procesów uczestniczących pozwoliło nam połączyć różne formy ekspertyzy i rozwiązać bardzo złożone problemy.

Nie robimy zwykle planowania środowiskowego w HEAVY.AI, ale ten wzorzec nadal działa bardzo dobrze w środowiskach biznesowych. Pomagamy klientom budować cyfrowe bliźniaki kluczowych części ich biznesu i pozwalamy im tworzyć i oceniać scenariusze biznesowe szybko.

Myślę, że moje doświadczenie dydaktyczne dało mi głęboką empatię dla użytkowników oprogramowania, szczególnie złożonych systemów oprogramowania. Gdzie jeden student potyka się w jednym miejscu, jest to losowe, ale tam, gdzie dziesiątki lub setki ludzi popełniają podobne błędy, wiesz, że masz problem z projektem. Może moja ulubiona część projektowania oprogramowania polega na tym, aby wziąć te nauki i zastosować je w projektowaniu nowych generacji systemów.

Czy możesz wyjaśnić, jak HeavyIQ wykorzystuje przetwarzanie języka naturalnego do ułatwienia eksploracji i wizualizacji danych?

W ostatnich czasach wydaje się, że każdy i jego brat chwalą nowy model genAI, większość z nich to niezapominane klony siebie. My podjęliśmy bardzo inną ścieżkę. Wierzymy, że dokładność, odtwarzalność i prywatność są niezbędnymi cechami dla każdego narzędzia analitycznego biznesu, w tym tych generowanych przez duże modele językowe (LLM). Zbudowaliśmy te cechy w naszej ofercie na poziomie podstawowym. Na przykład, ograniczamy ściśle dane wejściowe modelu do baz danych przedsiębiorstwa i dokumentów wewnątrz przedsiębiorstwa. Ograniczamy również dane wyjściowe do najnowszych HeavySQL i wykresów. To oznacza, że niezależnie od pytania, spróbujemy odpowiedzieć na nie Twoimi danymi i pokażemy Ci dokładnie, jak je wywnioskowaliśmy.

Z tymi gwarancjami na miejscu, to, jak przetwarzamy zapytania, ma mniejsze znaczenie dla naszych klientów. Ale za kulisami inna ważna różnica w porównaniu z konsumenckim genAI polega na tym, że drobiazgowo dostosowujemy modele do konkretnych typów pytań, jakie użytkownicy biznesu zadają danym biznesowym, w tym danym przestrzennym. Na przykład nasz model jest doskonały w wykonywaniu połączeń przestrzennych i szeregów czasowych, co nie jest w klasycznych benchmarkach SQL, ale naszymi użytkownikami są używane codziennie.

Pakujemy te podstawowe możliwości w interfejs Notatnika, który nazywamy HeavyIQ. IQ polega na tym, aby uczynić eksplorację danych i wizualizację tak intuicyjną, jak to tylko możliwe, przy użyciu przetwarzania języka naturalnego (NLP). Zadajesz pytanie po angielsku – na przykład “Jakie były wzorce pogodowe w Kalifornii w zeszłym tygodniu?” – i HeavyIQ tłumaczy je na zapytania SQL, które nasza baza danych przyspieszona przez GPU przetwarza szybko. Wyniki są prezentowane nie tylko jako dane, ale jako wizualizacje – mapy, wykresy, cokolwiek jest najbardziej istotne. Chodzi o umożliwienie szybkiego, interaktywnego wyszukiwania, szczególnie przy dużych lub szybko zmieniających się zbiorach danych. To, co jest kluczowe, to często nie pierwsze pytanie, które zadajesz, ale może trzecie, które naprawdę dostaje się do sedna sprawy, a HeavyIQ jest zaprojektowany, aby ułatwić to głębsze eksplorowanie.

Jakie są podstawowe korzyści z używania HeavyIQ zamiast tradycyjnych narzędzi BI dla firm telekomunikacyjnych, dostawców usług i agencji rządowych?

HeavyIQ wyróżnia się w środowiskach, w których mamy do czynienia z dużymi, szybko poruszającymi się danymi – dokładnie tymi danymi, z którymi mają do czynienia firmy telekomunikacyjne, dostawcy usług i agencje rządowe. Tradycyjne narzędzia analityczne biznesu często mają trudności z objętością i szybkością tych danych. Na przykład w telekomunikacji możesz mieć miliardy rekordów połączeń, ale to maleńka frakcja przerwanych połączeń, na którą musisz się skoncentrować. HeavyIQ pozwala Ci przeszukiwać te dane 10 do 100 razy szybciej dzięki naszej infrastrukturze GPU. Ta szybkość, w połączeniu z możliwością interaktywnego wyszukiwania i wizualizacji danych, sprawia, że jest niezastąpiony do analizy ryzyka w sektorze energetycznym lub planowania scenariuszy w czasie rzeczywistym dla agencji rządowych.

Inna zaleta, o której już wspomniałem powyżej, polega na tym, że zapytania SQL przestrzenne i czasowe są niezwykle potężne analitycznie – ale mogą być wolne lub trudne do napisania ręcznie. Kiedy system działa z tym, co nazywamy “szybkością ciekawości”, użytkownicy mogą zadawać więcej pytań i bardziej nuansowych pytań. Na przykład inżynier telekomunikacyjny może zauważyć szczyt czasowy awarii sprzętu z systemu monitorowania i sprawdzić to z zapytaniem przestrzennym, które zwraca mapę.

Jakie środki są podjęte w celu zapobiegania wyciekowi metadanych podczas korzystania z HeavyIQ?

Jak opisano powyżej, zbudowaliśmy HeavyIQ z uwzględnieniem prywatności i bezpieczeństwa na poziomie podstawowym. Obejmuje to nie tylko dane, ale także kilka rodzajów metadanych. Używamy metadanych na poziomie kolumny i tabeli w określaniu, które tabele i kolumny zawierają informacje niezbędne do odpowiedzi na zapytanie. Używamy również wewnętrznych dokumentów firmy, jeśli są dostarczone, w celu pomocy w tym, co nazywa się wzmocnioną generacją odzyskiwania (RAG). Na koniec sam model językowy generuje dalsze metadane. Wszystkie te, a szczególnie ostatnie, mogą być bardzo wrażliwe dla biznesu.

W przeciwieństwie do modeli zewnętrznych, gdzie Twoje dane są zwykle wysyłane na zewnętrzne serwery, HeavyIQ działa lokalnie na tej samej infrastrukturze GPU, co reszta naszej platformy. To gwarantuje, że Twoje dane i metadane pozostają pod Twoją kontrolą, bez ryzyka wycieku. Dla organizacji, które wymagają najwyższych poziomów bezpieczeństwa, HeavyIQ może być nawet wdrożony w środowisku całkowicie odizolowanym, co gwarantuje, że wrażliwe informacje nigdy nie opuszczą określonego sprzętu.

Jak HEAVY.AI osiąga wysoką wydajność i skalowalność z ogromnymi zbiorami danych przy użyciu infrastruktury GPU?

Sekret polega na unikaniu ruchu danych, który jest powszechny w innych systemach. U podstawy rozpoczyna się to od bazy danych zaprojektowanej od podstaw do działania na procesorach NVIDIA GPU. Pracowaliśmy nad tym przez ponad 10 lat i naprawdę wierzymy, że mamy najlepsze rozwiązanie w zakresie analityki przyspieszanej przez GPU.

Nawet najlepsze systemy oparte na CPU wypalają się znacznie przed przeciętnym GPU. Strategia, gdy to się dzieje w CPU, wymaga rozproszenia danych na wiele rdzeni, a następnie na wiele systemów (tzw. “skalowanie poziome”). To działa dobrze w niektórych kontekstach, w których rzeczy są mniej czasochłonne, ale zwykle zaczyna się zacinanie na wydajności sieci.

Ponadto, oprócz uniknięcia wszystkich tych ruchów danych w zapytaniach, unikamy ich również w wielu innych wspólnych zadaniach. Po pierwsze, możemy renderować grafikę bez przenoszenia danych. Następnie, jeśli chcesz modelować inferencję ML, robimy to bez przenoszenia danych. I jeśli przesłuchujesz dane z dużym modelem językowym, robimy to ponownie bez przenoszenia danych. Nawet jeśli jesteś naukowcem danych i chcesz przesłuchać dane z Pythona, dostarczamy metody, aby to zrobić na GPU bez przenoszenia danych.

Co to oznacza w praktyce, to, że możemy wykonywać nie tylko zapytania, ale także renderowanie 10 do 100 razy szybciej niż tradycyjne bazy danych oparte na CPU i serwery map. Kiedy masz do czynienia z ogromnymi, szybko poruszającymi się zbiorami danych, z którymi pracują nasi klienci – takimi jak modele pogodowe, rekordy połączeń telekomunikacyjnych lub obrazy satelitarne – ten rodzaj przyspieszenia jest absolutnie niezbędny.

Jak HEAVY.AI utrzymuje swoją przewagę konkurencyjną w szybko ewoluującym krajobrazie analityki dużych zbiorów danych i sztucznej inteligencji?

To jest świetne pytanie, i to coś, o czym myślimy ciągle. Krajobraz analityki dużych zbiorów danych i sztucznej inteligencji ewoluuje w niesamowicie szybkim tempie, z nowymi przełomami i innowacjami, które zdarzają się cały czas. Zdecydowanie nie szkodzi nam to, że mamy 10-letnią przewagę w technologii bazy danych GPU.

Myślę, że klucz dla nas polega na pozostaniu głęboko skupionym na naszej podstawowej misji – demokratyzacji dostępu do dużych, przestrzennych zbiorów danych. To oznacza ciągłe poszerzanie granic tego, co jest możliwe z analityką przyspieszaną przez GPU, oraz zapewnienie, że nasze produkty dostarczają niezrównaną wydajność i możliwości w tej dziedzinie. Duża część tego to nasz ciągły wkład w rozwój dostosowanych, wyrafinowanych modeli językowych, które naprawdę rozumieją niuanse SQL przestrzennego i analizy geoprzestrzennej.

Zbudowaliśmy obszerną bibliotekę danych szkoleniowych, idąc znacznie poza ogólne benchmarki, aby upewnić się, że nasze narzędzia analityczne konwersacyjne mogą angażować się z użytkownikami w naturalny, intuicyjny sposób. Ale wiemy również, że technologia sama w sobie nie wystarczy. Musimy pozostać głęboko związani z naszymi klientami i ich ewoluującymi potrzebami. W końcu nasza przewaga konkurencyjna sprowadza się do naszego bezwzględnego skupienia na dostarczaniu transformacyjnej wartości naszym użytkownikom. Nie tylko trzymamy się z branżą – pchamy granice tego, co jest możliwe z dużymi zbiorami danych i sztuczną inteligencją. I będziemy to robić, niezależnie od tego, jak szybko krajobraz ewoluuje.

Jak HEAVY.AI wspiera wysiłki w zakresie reagowania w sytuacjach awaryjnych za pomocą HeavyEco?

Zbudowaliśmy HeavyEco, kiedy zobaczyliśmy, że niektórzy z naszych największych klientów z sektora energetycznego mają znaczne trudności z po prostu spożyciem danych modelu pogodowego, a także wizualizacją ich do porównań. To zajmowało jednemu z klientów aż cztery godziny, aby tylko załadować dane, a kiedy masz do czynienia z szybko poruszającymi się ekstremalnymi warunkami pogodowymi, takimi jak pożary… to po prostu nie jest wystarczająco dobre.

HeavyEco jest zaprojektowany, aby zapewnić informacje w czasie rzeczywistym w sytuacjach o wysokich konsekwencjach, takich jak podczas pożaru lub powodzi. W takich sytuacjach musisz podejmować decyzje szybko i na podstawie najlepszych możliwych danych. Dlatego HeavyEco służy przede wszystkim jako profesjonalnie zarządzana rura danych dla autorytatywnych modeli, takich jak te od NOAA i USGS. Na ich podstawie HeavyEco pozwala uruchamiać scenariusze, budować modele wpływu na poziomie budynku i wizualizować dane w czasie rzeczywistym. To daje pierwszemu odpowiedziowi informacje krytyczne, których potrzebują, kiedy to się liczy. Chodzi o przekształcenie złożonych, dużych zbiorów danych w działania wykonalne, które mogą prowadzić natychmiastowe decyzje.

Ostatecznie naszym celem jest dać naszym użytkownikom możliwość eksplorowania swoich danych z prędkością myśli. Niezależnie od tego, czy uruchamiasz złożone modele przestrzenne, porównujesz prognozy pogody, czy starasz się zidentyfikować wzorce w geoprzestrzennych szeregach czasowych, chcemy, abyś mógł to robić bezproblemowo, bez żadnych technicznych barier na Twojej drodze.

Czym wyróżnia się własny LLM HEAVY.AI od innych LLM zewnętrznych pod względem dokładności i wydajności?

Nasze własne LLM jest specjalnie dostosowane do typów analiz, na które się koncentrujemy – takich jak text-to-SQL i text-to-wizualizacja. Początkowo próbowaliśmy tradycyjnych modeli zewnętrznych, ale stwierdziliśmy, że nie spełniają one wysokich wymagań dokładności naszych użytkowników, którzy często podejmują krytyczne decyzje. Więc drobiazgowo dostosowaliśmy zakres modeli open-source i przetestowaliśmy je wobec branżowych benchmarków.

Nasze LLM jest znacznie bardziej dokładne dla zaawansowanych pojęć SQL, których nasi użytkownicy potrzebują, szczególnie w danych geoprzestrzennych i czasowych. Dodatkowo, ponieważ działa na naszej infrastrukturze GPU, jest również bardziej bezpieczne.

Ponadto, oprócz wbudowanych możliwości modelu, dostarczamy pełny interaktywny interfejs użytkownika dla administratorów i użytkowników, aby dodać metadane istotne dla dziedziny lub biznesu. Na przykład, jeśli podstawowy model nie działa tak, jak oczekiwano, możesz zaimportować lub dostosować metadane na poziomie kolumny, dodać informacje przewodniczące lub natychmiast uzyskać informacje zwrotne.

Jak HEAVY.AI wyobraża sobie rolę analizy danych geoprzestrzennych i czasowych w kształtowaniu przyszłości różnych branż?

Wierzymy, że analiza danych geoprzestrzennych i czasowych będzie krytyczna dla przyszłości wielu branż. To, na czym się koncentrujemy, to pomoc naszym klientom w podejmowaniu lepszych decyzji, szybciej. Niezależnie od tego, czy jesteś w sektorze telekomunikacyjnym, energetycznym, rządowym, czy innym, posiadanie możliwości analizy i wizualizacji danych w czasie rzeczywistym może być przełomowe.

Nasza misja polega na tym, aby uczynić ten rodzaj potężnej analityki dostępnym dla wszystkich, a nie tylko dla dużych graczy z ogromnymi zasobami. Chcemy upewnić się, że nasi klienci mogą skorzystać z danych, których posiadają, aby pozostać na czele i rozwiązać problemy, gdy się pojawiają. Kiedy dane będą rosły i stawały się coraz bardziej złożone, widzimy naszą rolę jako zapewnienie, że nasze narzędzia ewoluują obok nich, tak aby nasi klienci byli zawsze przygotowani na to, co nastąpi. Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić HEAVY.AI.