Dr. Mike Flaxman, VP of Product at HEAVY.AI – Intervju-serie

Dr. Mike Flaxman är för närvarande VP of Product på HEAVY.AI, efter att tidigare ha tjänstgjort som produktchef och lett Spatial Data Science-praxisen inom Professional Services. Han har tillbringat de senaste 20 åren med att arbeta inom spatial miljöplanering. Före HEAVY.AI grundade han Geodesign Technologies, Inc och var med och grundade GeoAdaptive LLC, två startup-företag som tillämpade spatiala analys-tekniker på planering. Innan startup-livet var han professor i planering på MIT och industrianalytiker på ESRI.

HEAVY.AI är en hårdvaruaccelererad plattform för realtids-, högpresterande dataanalys. Den utnyttjar både GPU- och CPU-behandling för att fråga stora datamängder snabbt, med stöd för SQL och geospatiala data. Plattformen inkluderar verktyg för visuell analys för interaktiva instrumentpaneler, korsfilter och skalbara datavisualiseringar, vilket möjliggör effektiv big data-analys över olika branscher.

Kan du berätta om din professionella bakgrund och vad som ledde dig till HEAVY.AI?

Innan jag gick med i HEAVY.AI tillbringade jag år i akademin, där jag undervisade i spatiala analyser på MIT. Jag drev också ett litet konsultföretag med en mängd olika offentliga kunder. Jag har varit involverad i GIS-projekt i 17 länder. Mitt arbete har tagit mig från att råda organisationer som Inter American Development Bank till att hantera GIS-teknik för arkitektur, ingenjörsvetenskap och konstruktion på ESRI, världens största GIS-utvecklare.

Jag minns mycket tydligt min första möte med vad som nu är HEAVY.AI, som var när jag som konsult var ansvarig för scenarioplanering för Florida Beaches Habitat Conservation Program. Mina kollegor och jag kämpade för att modellera havssköldpads-habitat med 30m Landsat-data och en vän pekade mig på vissa helt nya och mycket relevanta data – 5cm LiDAR. Det var exakt vad vi behövde vetenskapligt, men något som var 3600 gånger större än vad vi hade planerat att använda. Det var uppenbart att ingen skulle öka min budget med ens en bråkdel av det beloppet. Så den dagen lade jag ner de verktyg jag hade använt och undervisat i under flera decennier och gick och letade efter något nytt. HEAVY.AI gick igenom och renderade den datan så smidigt och utan ansträngning att jag blev omedelbart fast.

I takt med att några år gick, tycker jag fortfarande att det som HEAVY.AI gör är ganska unikt och deras tidiga satsning på GPU-analys var exakt där branschen fortfarande behöver gå. HEAVY.AI fokuserar fast på att demokratisera tillgången till stora datamängder. Detta har datavolym- och bearbetningshastighetskomponenten, vilket i princip ger alla sin egen superdator. Men en alltmer viktig aspekt med den senaste utvecklingen av stora språkmodeller är att göra spatial modellering tillgänglig för många fler människor. Dessa dagar, istället för att tillbringa år med att lära sig ett komplext gränssnitt med tusentals verktyg, kan du bara börja en konversation med HEAVY.AI på det mänskliga språk du väljer. Programmet genererar inte bara de kommandon som krävs, utan presenterar också relevanta visualiseringar.

Bakom kulisserna är det svårt att leverera användarvänlighet. För närvarande, som VP of Product Management på HEAVY.AI, är jag djupt involverad i att bestämma vilka funktioner och förmågor vi prioriterar för våra produkter. Min omfattande bakgrund inom GIS gör att jag verkligen förstår våra kunders behov och kan vägleda vår utvecklingsväg därefter.

Hur har din tidigare erfarenhet av spatial miljöplanering och startup-influence påverkat ditt arbete på HEAVY.AI?

Miljöplanering är ett särskilt utmanande område eftersom du måste ta hänsyn till både olika mänskliga behov och den naturliga världen. Den allmänna lösningen jag lärde mig tidigt var att kombinera en metod som kallas deltagande planering med tekniker för fjärranalys och GIS. Innan vi bestämde en plan för handling, skapade vi flera scenarier och simulerade deras positiva och negativa effekter i datorn med hjälp av visualiseringar. Att använda deltagande processer gjorde att vi kunde kombinera olika former av expertis och lösa mycket komplexa problem.

Även om vi vanligtvis inte gör miljöplanering på HEAVY.AI, fungerar den här mönstermässiga metoden fortfarande mycket bra i affärssammanhang. Så vi hjälper kunderna att konstruera digitala tvillingar av viktiga delar av deras verksamhet, och vi låter dem skapa och utvärdera affärsscenarier snabbt.

Jag antar att min undervisningserfarenhet har gett mig stor empati för programvaru-användare, särskilt av komplexa programvarusystem. Där en student snubblar på en viss punkt är slumpmässigt, men där dussintals eller hundratals människor gör liknande fel, vet du att du har ett designproblem. Kanske är min favoritdel av programvarudesign att ta dessa lärdomar och tillämpa dem på designen av nya generationer system.

Kan du förklara hur HeavyIQ använder naturlig språkbehandling för att underlätta datautforskning och visualisering?

Dessa dagar verkar alla och deras bror tala om en ny genAI-modell, de flesta av dem är glömda kloner av varandra. Vi har tagit en mycket annan väg. Vi tror att noggrannhet, reproducerbarhet och sekretess är essentiella egenskaper för alla affärsanalysverktyg, inklusive de som genereras med stora språkmodeller (LLM). Så vi har byggt in dessa i vår erbjudande på en grundläggande nivå. Till exempel begränsar vi modellinmatningarna strikt till företagsdatabaser och tillhandahåller dokument inom ett företags säkerhetsperimeter. Vi begränsar också utmatningarna till den senaste HeavySQL och Charts. Det betyder att oavsett vilken fråga du ställer, kommer vi att försöka svara med din data, och vi kommer att visa dig exakt hur vi härledde det svaret.

Med dessa garantier på plats, spelar det mindre roll för våra kunder exakt hur vi bearbetar frågorna. Men bakom kulisserna är en annan viktig skillnad jämfört med konsumentgenAI att vi finjusterar modellerna omfattande mot de specifika typer av frågor som affärsanvändare ställer till affärsdata, inklusive spatiala data. Så till exempel är vår modell utmärkt på att utföra spatiala och tids-serie-sammanfogningar, som inte finns i klassiska SQL-benchmark, men som våra användare använder dagligen.

Vi paketerar dessa kärnförmågor i en Notebook-gränssnitt som vi kallar HeavyIQ. IQ handlar om att göra datautforskning och visualisering så intuitiv som möjligt genom att använda naturlig språkbehandling (NLP). Du ställer en fråga på engelska – som “Vilka var vädermönstren i Kalifornien förra veckan?” – och HeavyIQ översätter den till SQL-frågor som vår GPU-accelererade databas bearbetar snabbt. Resultaten presenteras inte bara som data, utan som visualiseringar – kartor, diagram, vad som helst som är mest relevant. Det handlar om att möjliggöra snabb, interaktiv frågeställning, särskilt när det gäller stora eller snabbt föränderliga datamängder. Vad som är viktigt här är att det ofta inte är den första frågan du ställer, utan kanske den tredje, som verkligen kommer till kärninsikten, och HeavyIQ är utformat för att underlätta den djupare utforskningen.

Vilka är de primära fördelarna med att använda HeavyIQ jämfört med traditionella BI-verktyg för telekom, energi och myndigheter?

HeavyIQ utmärker sig i miljöer där du hanterar stora, höghastighetsdata – exakt den typen av data som telekom, energi och myndigheter hanterar. Traditionella BI-verktyg har ofta svårt att hantera datavolymen och hastigheten på den här datan. Till exempel inom telekommunikation kan du ha miljarder samtal, men det är den lilla bråkdelen av avbrutna samtal som du behöver fokusera på. HeavyIQ låter dig gå igenom den datan 10 till 100 gånger snabbare tack vare vår GPU-infrastruktur. Den här hastigheten, kombinerad med möjligheten att interaktivt fråga och visualisera data, gör det ovärderligt för riskanalys inom energi eller realtids-scenarioplanering för myndigheter.

En annan fördel, som redan nämnts ovan, är att spatiala och temporala SQL-frågor är extremt kraftfulla analytiskt – men kan vara långsamma eller svåra att skriva för hand. När ett system fungerar på vad vi kallar “curiositetens hastighet” kan användare ställa både fler frågor och mer nyanserade frågor. Till exempel kan en telekom-ingenjör märka en tidsmässig topp i utrustningsfel från ett övervakningssystem, ha en intuition om att något är fel på en viss anläggning och kontrollera detta med en spatial fråga som returnerar en karta.

Vilka åtgärder är på plats för att förhindra metadata-läckage när du använder HeavyIQ?

Som beskrivits ovan har vi byggt HeavyIQ med sekretess och säkerhet i grunden. Detta inkluderar inte bara data, utan också flera typer av metadata. Vi använder kolumn- och tabellnivåmetadata omfattande för att bestämma vilka tabeller och kolumner som innehåller den information som behövs för att besvara en fråga. Vi använder också interna företagsdokument där tillhandahållet för att assistera i vad som kallas återvinning-förstärkt generering (RAG). Slutligen genererar språkmodellerna själva ytterligare metadata. Alla dessa, men särskilt de två sistnämnda, kan vara av hög affärskänslighet.

Till skillnad från tredjepartsmodeller där din data vanligtvis skickas till externa servrar, körs HeavyIQ lokalt på samma GPU-infrastruktur som resten av vår plattform. Detta säkerställer att din data och metadata förblir under din kontroll, utan risk för läckage. För organisationer som kräver den högsta säkerhetsnivån kan HeavyIQ sogar distribueras i en helt luftgapad miljö, vilket säkerställer att känslig information aldrig lämnar specifik utrustning.

Hur uppnår HEAVY.AI hög prestanda och skalbarhet med massiva datamängder med hjälp av GPU-infrastruktur?

Hemligheten är i grunden att undvika datarörelse som förekommer i andra system. På sin grund är det en specialbyggd databas som är utformad från grunden för att köras på NVIDIA-GPU:er. Vi har arbetat med detta i över 10 år nu, och vi tror verkligen att vi har den bästa lösningen i klassen när det gäller GPU-accelererad analys.

Även de bästa CPU-baserade systemen tar slut långt innan en medel-GPU. Strategin när detta händer på CPU kräver att distribuera data över flera kärnor och sedan flera system (så kallad “horisontell skalning”). Detta fungerar bra i vissa sammanhang där saker är mindre tidskritiska, men generellt börjar det bli flaskhalsat på nätverksprestanda.

Förutom att undvika all denna datarörelse på frågor, undviker vi den också på många andra vanliga uppgifter. Det första är att vi kan rendera grafik utan att flytta på data. Sedan, om du vill ha ML-inferensmodellering, gör vi det också utan datarörelse. Och om du förhör datan med en stor språkmodell, gör vi det ännu en gång utan datarörelse. Även om du är en data-vetare och vill förhöra datan från Python, tillhandahåller vi metoder för att göra detta på GPU utan datarörelse.

Det betyder i praktiken att vi kan utföra inte bara frågor, utan också rendering 10 till 100 gånger snabbare än traditionella CPU-baserade databaser och kart-servrar. När du hanterar de massiva, höghastighetsdatamängder som våra kunder arbetar med – som vädermodeller, telekomsamtal eller satellitbilder – är den här prestandaökningen absolut avgörande.

Hur upprätthåller HEAVY.AI sin konkurrensfördel i den snabbt föränderliga landskapsbilden av big data-analys och AI?

Det är en bra fråga, och det är något vi tänker på konstant. Landskapsbilden av big data-analys och AI utvecklas i en otroligt snabb takt, med nya genombrott och innovationer som sker hela tiden. Det skadar definitivt inte att vi har ett 10-års försprång på GPU-databasteknologi.

Jag tycker att nyckeln för oss är att stanna fokuserade på vår kärnuppdrag – att demokratisera tillgången till stora, geospatiala data. Det betyder att vi kontinuerligt måste pressa gränserna för vad som är möjligt med GPU-accelererad analys, och säkerställa att våra produkter levererar en oöverträffad prestanda och förmåga inom detta område. En stor del av det är vår pågående investering i att utveckla anpassade, finjusterade språkmodeller som verkligen förstår nyanserna av spatial SQL och geospatial analys.

Vi har byggt upp en omfattande bibliotek av träningsdata, som går långt utöver generiska benchmark, för att säkerställa att våra konversationsanalysverktyg kan engagera sig med användare på ett naturligt, intuitivt sätt. Men vi vet också att teknologi ensam inte räcker. Vi måste stanna djupt anslutna till våra kunder och deras föränderliga behov. I slutändan kommer vår konkurrensfördel att bero på vår outtröttliga fokus på att leverera transformerande värde till våra användare. Vi håller inte bara jämna steg med marknaden – vi pressar gränserna för vad som är möjligt med big data och AI. Och vi kommer att fortsätta göra det, oavsett hur snabbt landskapsbilden utvecklas.

Hur stöder HEAVY.AI insatser för nödvändiga insatser genom HeavyEco?

Vi byggde HeavyEco när vi såg att några av våra största kunder inom energi hade betydande utmaningar med att bara ta in dagens vädermodell-utdata, samt visualisera dem för jämförelse. Det tog en kund upp till fyra timmar att bara ladda data, och när du är uppe mot snabbt föränderliga extrema väderförhållanden som bränder… det är bara inte tillräckligt.

HeavyEco är utformat för att ge realtidsinsikter i högkonsekvenssituationer, som under en skogsbrand eller översvämning. I sådana scenarier måste du fatta beslut snabbt och baserat på den bästa möjliga datan. Så HeavyEco fungerar först och främst som en proffs-hanterad datapipeline för auktoritativa modeller som de från NOAA och USGS. Utöver dessa låter HeavyEco dig köra scenarier, bygga modeller för påverkan på byggnader och visualisera data i realtid. Detta ger första insatsgrupper den kritiska informationen de behöver när det är som viktigast. Det handlar om att omvandla komplexa, storskaliga datamängder till handlingsdirigerad intelligens som kan vägleda omedelbara beslut.

Till slut är vårt mål att ge våra användare möjligheten att utforska sin data i tanke-hastighet. Oavsett om de kör komplexa spatiala modeller, jämför väderprognoser eller försöker identifiera mönster i geospatiala tids-serier, vill vi att de ska kunna göra det smidigt, utan några tekniska hinder som kommer i vägen.

Vad skiljer HEAVY.AIs egna LLM från andra tredjeparts-LLM när det gäller noggrannhet och prestanda?

Vår egna LLM är specifikt anpassad för de typer av analyser vi fokuserar på – som text-till-SQL och text-till-visualisering. Vi försökte initialt med traditionella tredjepartsmodeller, men fann att de inte uppfyllde de höga noggrannhetskraven hos våra användare, som ofta fattar kritiska beslut. Så vi finjusterade en rad öppen källkodsmodeller och testade dem mot branschbenchmark.

Vår LLM är mycket mer exakt för de avancerade SQL-koncept som våra användare behöver, särskilt inom geospatial och temporala data. Dessutom, eftersom den körs på vår GPU-infrastruktur, är den också mer säker.

Utöver de inbyggda modellförmågorna tillhandahåller vi också ett fullständigt interaktivt användargränssnitt för administratörer och användare att lägga till domän- eller affärsrelevant metadata. Till exempel, om basmodellen inte fungerar som förväntat, kan du importera eller justera kolumnnivåmetadata, eller lägga till vägledande information och omedelbart få feedback.

Hur ser HEAVY.AI på rollen för geospatial och temporala data-analys i att forma framtiden för olika branscher?

Vi tror att geospatial och temporala data-analys kommer att vara avgörande för framtiden för många branscher. Vad vi fokuserar på är att hjälpa våra kunder att fatta bättre beslut, snabbare. Oavsett om du är inom telekom, energi eller myndigheter, eller andra – att ha möjligheten att analysera och visualisera data i realtid kan vara en spelväxlare.

Vårt mål är att göra den här typen av kraftfulla analyser tillgängliga för alla, inte bara de stora aktörerna med enorma resurser. Vi vill säkerställa att våra kunder kan dra nytta av den data de har, för att stanna före och lösa problem så fort de uppstår. När datan fortsätter att växa och bli mer komplex, ser vi vår roll som att säkerställa att våra verktyg utvecklas tillsammans med den, så att våra kunder alltid är förberedda på vad som kommer härnäst.

<Tack för den utmärkta intervjun, läsare som vill lära sig mer bör besöka HEAVY.AI.