Dr. Mike Flaxman, VP of Product bij HEAVY.AI – Interviewreeks

Dr. Mike Flaxman is momenteel de VP of Product bij HEAVY.AI, nadat hij eerder als Product Manager heeft gewerkt en de Spatial Data Science-praktijk in Professional Services heeft geleid. Hij heeft de afgelopen 20 jaar gewerkt in de ruimtelijke milieuplanning. Voordat hij bij HEAVY.AI kwam, was hij de oprichter van Geodesign Technologies, Inc en medeoprichter van GeoAdaptive LLC, twee startups die ruimtelijke analysetechnologieën toepasten op de planning. Voordat hij in de startup-wereld terechtkwam, was hij professor in de planning aan het MIT en Industry Manager bij ESRI.

HEAVY.AI is een hardware-versnelde platform voor real-time, high-impact data-analyse. Het maakt gebruik van zowel GPU- als CPU-verwerking om grote datasets snel te doorzoeken, met ondersteuning voor SQL en georuimtelijke data. Het platform omvat visuele analysetools voor interactieve dashboards, cross-filtering en schaalbare gegevensvisualisaties, waardoor efficiënte big data-analyse mogelijk is in verschillende industrieën.

Kunt u ons vertellen over uw professionele achtergrond en wat u ertoe heeft gebracht om bij HEAVY.AI te komen?

Voordat ik bij HEAVY.AI kwam, heb ik jarenlang in de academische wereld gewerkt, waar ik uiteindelijk ruimtelijke analyse aan het MIT heb onderwezen. Ik heb ook een klein adviesbureau gehad, met een verscheidenheid aan klanten uit de publieke sector. Ik ben betrokken geweest bij GIS-projecten in 17 landen. Mijn werk heeft me van het adviseren van organisaties als de Inter-Amerikaanse Ontwikkelingsbank tot het beheren van GIS-technologie voor architectuur, ingenieurswesen en constructie bij ESRI, de grootste GIS-ontwikkelaar ter wereld, gebracht.

Ik herinner me nog levendig mijn eerste ontmoeting met wat nu HEAVY.AI is, toen ik als consultant verantwoordelijk was voor scenario-planning voor het Florida Beaches Habitat Conservation Program. Mijn collega’s en ik hadden moeite om zeehondengebieden te modelleren met 30m Landsat-gegevens en een vriend wees me op enkele brandnieuwe en zeer relevante gegevens – 5cm LiDAR. Dit was exact wat we wetenschappelijk nodig hadden, maar iets dat ongeveer 3600 keer groter was dan wat we hadden gepland. Niemand was bereid om mijn budget met ook maar een fractie van dat bedrag te verhogen. Dus die dag legde ik de tools neer die ik decennialang had gebruikt en onderwezen en ging ik op zoek naar iets nieuws. HEAVY.AI sneed door die gegevens heen en renderde ze zo soepel en moeiteloos dat ik meteen verslaafd was.

Na een paar jaar denk ik nog steeds dat wat HEAVY.AI doet vrij uniek is en dat de vroege inzet op GPU-analyse precies is waar de industrie nog steeds naartoe moet. HEAVY.AI is vastbesloten om toegang tot big data te democratiseren. Dit heeft niet alleen te maken met de componenten van gegevensvolume en verwerkingsnelheid, maar geeft iedereen eigenlijk zijn eigen supercomputer. Maar een steeds belangrijker aspect met de komst van grote taalmodellen is het maken van ruimtelijke modellering toegankelijk voor veel meer mensen. Tegenwoordig hoeft u in plaats van jarenlang een complexe interface met duizenden tools te leren, alleen maar een gesprek met HEAVY.AI te beginnen in de menselijke taal van uw keuze. Het programma genereert niet alleen de benodigde opdrachten, maar presenteert ook relevante visualisaties.

Achter de schermen is het bereiken van gebruiksgemak natuurlijk heel moeilijk. Als VP of Product Management bij HEAVY.AI ben ik momenteel zeer betrokken bij het bepalen van welke functies en mogelijkheden we prioriteit geven voor onze producten. Mijn uitgebreide achtergrond in GIS stelt me in staat om de behoeften van onze klanten echt te begrijpen en onze ontwikkelingsroadmap dienovereenkomstig te begeleiden.

Hoe heeft uw eerdere ervaring in ruimtelijke milieuplanning en startups uw werk bij HEAVY.AI beïnvloed?

Milieuplanning is een bijzonder uitdagend domein, omdat u moet omgaan met zowel verschillende sets menselijke behoeften als de natuurlijke wereld. De algemene oplossing die ik vroeg leerde, was om een methode genaamd participatieve planning te combineren met de technologieën van remote sensing en GIS. Voordat we een plan van actie overeenkwamen, maakten we meerdere scenario’s en simuleerden we hun positieve en negatieve gevolgen in de computer met behulp van visualisaties. Het gebruik van participatieve processen stelde ons in staat om verschillende soorten expertise te combineren en zeer complexe problemen op te lossen.

Hoewel we geen milieuplanning doen bij HEAVY.AI, werkt dit patroon nog steeds heel goed in bedrijfsomgevingen. We helpen klanten dus digitale tweelingen van belangrijke delen van hun bedrijf te maken en hen in staat te stellen om bedrijfsscenario’s snel te creëren en te evalueren.

Ik denk dat mijn onderwijservaring me diepe empathie heeft gegeven voor softwaregebruikers, vooral van complexe softwaresystemen. Waar één student ergens over struikelt, is toevallig, maar waar tientallen of honderden mensen soortgelijke fouten maken, weet u dat u een ontwerpprobleem heeft. Misschien is mijn favoriete deel van softwareontwerp het toepassen van deze inzichten bij het ontwerpen van nieuwe generaties systemen.

Kunt u uitleggen hoe HeavyIQ natuurlijke taalverwerking gebruikt om gegevensverkenning en -visualisatie te faciliteren?

Deze dagen lijkt iedereen een nieuwe genAI-model te hebben, maar de meeste zijn vergetelijke klonen van elkaar. We hebben een heel andere weg genomen. We geloven dat nauwkeurigheid, reproduceerbaarheid en privacy essentiële kenmerken zijn voor elk bedrijfsanalyse-instrument, inclusief die gegenereerd met grote taalmodellen (LLM’s). Dus hebben we die in onze aanbieding op een fundamenteel niveau ingebouwd. Bijvoorbeeld, we beperken modelinputs strikt tot ondernemingsdatabases en tot documenten binnen een ondernemingsbeveiligingsperimeter. We beperken ook outputs tot de nieuwste HeavySQL en Charts. Dat betekent dat, wat voor vraag u ook stelt, we zullen proberen om die te beantwoorden met uw gegevens en we zullen u exact laten zien hoe we die antwoorden hebben afgeleid.

Met die garanties op hun plaats, maakt het minder uit voor onze klanten hoe we de queries precies verwerken. Maar achter de schermen is een ander belangrijk verschil ten opzichte van consumenten-genAI dat we modellen uitgebreid fijn afstemmen tegen de specifieke soorten vragen die bedrijfsgebruikers stellen aan bedrijfsgegevens, inclusief ruimtelijke gegevens. Dus, bijvoorbeeld, is ons model uitstekend in het uitvoeren van ruimtelijke en tijdsreekskoppelingen, die niet in klassieke SQL-benchmarks zitten, maar die onze gebruikers dagelijks gebruiken.

We verpakken deze kernmogelijkheden in een Notebook-interface die we HeavyIQ noemen. IQ gaat over het maken van gegevensverkenning en -visualisatie zo intuïtief mogelijk door middel van natuurlijke taalverwerking (NLP). U stelt een vraag in het Engels – zoals “Wat waren de weerspatronen in Californië vorige week?” – en HeavyIQ vertaalt die in SQL-queries die onze GPU-versnelde database snel verwerkt. De resultaten worden niet alleen als gegevens, maar ook als visualisaties weergegeven – kaarten, grafieken, wat het meest relevant is. Het gaat erom om snelle, interactieve query’s mogelijk te maken, vooral bij het omgaan met grote of snel veranderende datasets. Wat hier belangrijk is, is dat het vaak niet de eerste vraag is die u stelt, maar misschien de derde, die echt tot de kerninzicht komt, en HeavyIQ is ontworpen om die diepere verkenning te faciliteren.

Wat zijn de primaire voordelen van het gebruik van HeavyIQ boven traditionele BI-hulpmiddelen voor telecom, nutsbedrijven en overheidsinstellingen?

HeavyIQ blinkt uit in omgevingen waar u te maken heeft met grote, hoge snelheid gegevens – precies het soort gegevens dat telecom, nutsbedrijven en overheidsinstellingen hanteren. Traditionele business intelligence-hulpmiddelen hebben vaak moeite met het volume en de snelheid van deze gegevens. Bijvoorbeeld, in de telecommunicatie kunt u miljarden oproeprecords hebben, maar het zijn de kleine fractie van afgebroken oproepen waar u zich op moet concentreren. HeavyIQ laat u door die gegevens 10 tot 100 keer sneller zoeken dankzij onze GPU-infrastructuur. Deze snelheid, in combinatie met de mogelijkheid om interactief te doorzoeken en visualiseren, maakt het onmisbaar voor risico-analyse in nutsbedrijven of real-time scenario-planning voor overheidsinstellingen.

Het andere voordeel dat hierboven al is genoemd, is dat ruimtelijke en temporele SQL-queries extreem krachtig zijn voor analyse – maar kunnen langzaam of moeilijk zijn om handmatig te schrijven. Wanneer een systeem op wat we “de snelheid van de nieuwsgierigheid” noemen, werkt, kunnen gebruikers zowel meer vragen als meer genuanceerde vragen stellen. Dus, bijvoorbeeld, een telecom-ingenieur kan een tijdelijke piek in apparatuurfouten van een bewakingsysteem opmerken, het vermoeden hebben dat er iets mis is met een bepaalde faciliteit en dat controleren met een ruimtelijke query die een kaart teruggeeft.

Wat zijn de maatregelen om metadata-lekkage te voorkomen bij het gebruik van HeavyIQ?

Zoals hierboven beschreven, hebben we HeavyIQ gebouwd met privacy en beveiliging in het hart. Dit omvat niet alleen gegevens, maar ook verschillende soorten metadata. We gebruiken kolom- en tabelniveau-metadata uitgebreid om te bepalen welke tabellen en kolommen de informatie bevatten die nodig is om een query te beantwoorden. We gebruiken ook interne bedrijfsdocumenten waar beschikbaar om te helpen bij wat bekend staat als retrieval-augmented generation (RAG). Ten slotte genereren de taalmodellen zelf verdere metadata. Al deze, maar vooral de laatste twee, kunnen van grote bedrijfsgevoeligheid zijn.

In tegenstelling tot derdepartijmodellen waar uw gegevens meestal naar externe servers worden gestuurd, wordt HeavyIQ lokaal uitgevoerd op dezelfde GPU-infrastructuur als de rest van ons platform. Dit zorgt ervoor dat uw gegevens en metadata onder uw controle blijven, zonder enkel risico op lekkage. Voor organisaties die de hoogste niveaus van beveiliging vereisen, kan HeavyIQ zelfs in een volledig afgesloten omgeving worden geïmplementeerd, waardoor gevoelige informatie nooit specifieke apparatuur verlaat.

Hoe bereikt HEAVY.AI hoge prestaties en schaalbaarheid met massive datasets met behulp van GPU-infrastructuur?

Het geheim zit eigenlijk in het vermijden van de gegevensbeweging die in andere systemen voorkomt. In de kern begint dit met een speciaal ontworpen database die vanaf de grond af is ontwikkeld om op NVIDIA GPU’s te draaien. We werken hier al meer dan 10 jaar aan en we geloven echt dat we de beste oplossing in onze klasse hebben als het gaat om GPU-versnelde analytics.

Zelfs de beste CPU-gebaseerde systemen raken al snel uitgeput, lang voordat een middelmatige GPU dat doet. De strategie zodra dit gebeurt op CPU, vereist het verdelen van gegevens over meerdere cores en vervolgens over meerdere systemen (zogenaamde ‘horizontale schaling’). Dit werkt goed in sommige contexten waar dingen minder tijdgevoelig zijn, maar werkt over het algemeen door gebotteld te worden op netwerkprestaties.

Naast het vermijden van al deze gegevensbeweging bij queries, vermijden we die ook bij veel andere veelvoorkomende taken. De eerste is dat we graphics kunnen renderen zonder de gegevens te verplaatsen. Vervolgens, als u ML-inferentie-modellering wilt, doen we dat opnieuw zonder gegevensverplaatsing. En als u de gegevens ondervraagt met een groot taalmodel, doen we dat nog steeds zonder gegevensverplaatsing. Zelfs als u een datawetenschapper bent en de gegevens vanuit Python wilt ondervragen, bieden we methoden om dit op GPU te doen zonder gegevensverplaatsing.

Wat dit in de praktijk betekent, is dat we niet alleen queries, maar ook rendering 10 tot 100 keer sneller kunnen uitvoeren dan traditionele CPU-gebaseerde databases en kaartservers. Wanneer u te maken heeft met de massive, hoge snelheid datasets waar onze klanten mee werken – dingen als weersmodellen, telecom-oproeprecords of satellietbeelden – is die soort prestatieverbetering absoluut essentieel.

Hoe houdt HEAVY.AI zijn concurrentievoordeel in de snel evoluerende landschap van big data-analyse en AI?

Dat is een geweldige vraag, en het is iets waar we constant over nadenken. Het landschap van big data-analyse en AI evolueert met een ongelooflijk snel tempo, met nieuwe doorbraken en innovaties die de hele tijd gebeuren. Het helpt zeker dat we een voorsprong van 10 jaar hebben op GPU-database-technologie.

Ik denk dat de sleutel voor ons is om ons te blijven concentreren op onze kernmissie – het democratiseren van toegang tot big, georuimtelijke gegevens. Dat betekent dat we de grenzen van wat mogelijk is met GPU-versnelde analytics moeten blijven verleggen en ervoor moeten zorgen dat onze producten ongeëvenaarde prestaties en mogelijkheden in dit domein leveren. Een groot deel hiervan is onze voortdurende investering in het ontwikkelen van aangepaste, fijn afgestemde taalmodellen die de nuances van ruimtelijke SQL en georuimtelijke analyse echt begrijpen.

We hebben een uitgebreide bibliotheek van trainingsgegevens opgebouwd, die verder gaat dan generieke benchmarks, om ervoor te zorgen dat onze conversational analytics-tools op een natuurlijke, intuïtieve manier met gebruikers kunnen communiceren. Maar we weten ook dat technologie alleen niet genoeg is. We moeten in contact blijven met onze klanten en hun evoluerende behoeften. Aan het eind van de dag komt onze concurrentievoordeel neer op onze onvermoeibare focus op het leveren van transformatieve waarde aan onze gebruikers. We houden niet alleen gelijke tred met de markt – we verleggen de grenzen van wat mogelijk is met big data en AI. En we zullen dat blijven doen, ongeacht hoe snel het landschap evolueert.

Hoe ondersteunt HEAVY.AI noodhulpinspanningen via HeavyEco?

We bouwden HeavyEco toen we zagen dat sommige van onze grootste nutsbedrijven aanzienlijke problemen hadden met het laden van de huidige weersmodellen, evenals met het visualiseren ervan voor gezamenlijke vergelijkingen. Het kostte één klant tot vier uur om alleen maar gegevens te laden, en wanneer u te maken heeft met snel bewegende extreme weersomstandigheden zoals branden… dat is gewoon niet goed genoeg.

HeavyEco is ontworpen om real-time inzichten te bieden in situaties met hoge gevolgen, zoals tijdens een bosbrand of overstroming. In dergelijke scenario’s moet u snel beslissingen nemen op basis van de beste beschikbare gegevens. HeavyEco dient dus allereerst als een professioneel beheerd datapipeline voor autoritaire modellen zoals die van NOAA en USGS. Bovenop die modellen laat HeavyEco u scenario’s uitvoeren, gebouwimpacten modelleren en gegevens in real-time visualiseren. Dit geeft eerstehulpverleners de kritieke informatie die ze nodig hebben wanneer het ertoe doet. Het gaat erom om complexe, grote datasets om te zetten in actiegerichte inzichten die onmiddellijke besluitvorming kunnen leiden.

Uiteindelijk is ons doel om onze gebruikers de mogelijkheid te geven om hun gegevens te verkennen op de snelheid van hun denken. Of ze nu complexe ruimtelijke modellen uitvoeren, weersvoorspellingen vergelijken of patronen proberen te identificeren in georuimtelijke tijdsreeksen, we willen dat ze dat soepel kunnen doen, zonder enige technische barrières die hen in de weg staan.

Wat onderscheidt de propriëtaire LLM van HEAVY.AI van andere derdepartij-LLM’s in termen van nauwkeurigheid en prestaties?

Ons propriëtaire LLM is specifiek afgestemd op de soorten analytics waarop we ons richten – zoals text-to-SQL en text-to-visualisatie. We hebben eerst traditionele derdepartijmodellen geprobeerd, maar vonden dat ze niet voldeden aan de hoge nauwkeurigheidsvereisten van onze gebruikers, die vaak kritische beslissingen nemen. Dus hebben we een reeks open-source modellen fijn afgestemd en getest tegen industriebenchmarks.

Ons LLM is veel nauwkeuriger voor de geavanceerde SQL-concepten die onze gebruikers nodig hebben, met name in georuimtelijke en temporele gegevens. Bovendien, omdat het op onze GPU-infrastructuur draait, is het ook veiliger.

Naast de ingebouwde modelmogelijkheden bieden we ook een volledig interactieve gebruikersinterface voor beheerders en gebruikers om domein- of bedrijfsrelevante metadata toe te voegen. Bijvoorbeeld, als het basismodel niet naar behoren presteert, kunt u kolomniveau-metadata importeren of bijschaven, of richtlijn-informatie toevoegen en onmiddellijk feedback krijgen.

Hoe ziet HEAVY.AI de rol van georuimtelijke en temporele data-analyse in de toekomst van verschillende industrieën?

We geloven dat georuimtelijke en temporele data-analyse cruciaal zullen zijn voor de toekomst van veel industrieën. Wat we ons echt concentreren op, is het helpen van onze klanten om betere beslissingen te nemen, sneller. Of u nu in de telecom, nutsbedrijven of de overheid zit, of andere – het hebben van de mogelijkheid om gegevens in real-time te analyseren en te visualiseren kan een game-changer zijn.

Onze missie is om deze soort krachtige analytics toegankelijk te maken voor iedereen, niet alleen de grote spelers met enorme middelen. We willen ervoor zorgen dat onze klanten kunnen profiteren van de gegevens die ze hebben, om voorop te blijven en problemen op te lossen zodra ze zich voordoen. Naarmate de gegevens blijven groeien en complexer worden, zien we onze rol als het zorgen dat onze tools evolueren naast hen, zodat onze klanten altijd voorbereid zijn op wat er komen gaat.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten HEAVY.AI bezoeken.