Dr. Mike Flaxman, VP de Produs la HEAVY.AI – Seria de Interviuri

Dr. Mike Flaxman este în prezent VP de Produs la HEAVY.AI, având anterior funcția de Manager de Produs și conducând practica de știință spațială în Servicii Profesionale. El a petrecut ultimii 20 de ani lucrând în planificarea spațială a mediului. Înainte de a ajunge la HEAVY.AI, el a fondat Geodesign Technologies, Inc și a cofondat GeoAdaptive LLC, două startup-uri care aplică tehnologii de analiză spațială în planificare. Înainte de a intra în lumea startup-urilor, el a fost profesor de planificare la MIT și Manager de Industrie la ESRI.

HEAVY.AI este o platformă cu accelerare pe hardware pentru analize de date în timp real, cu impact ridicat. Ea utilizează atât procesarea GPU, cât și CPU pentru a interoga seturi de date masive rapid, cu suport pentru SQL și date geospațiale. Platforma include instrumente de analize vizuale pentru tablouri de bord interactive, filtrare transversală și visualizări de date scalabile, permițând o analiză eficientă a datelor mari în diverse industrii.

Puteți să ne spuneți despre background-ul dvs. profesional și ce v-a determinat să vă alăturați HEAVY.AI?

Înainte de a mă alătura HEAVY.AI, am petrecut ani în mediul academic, predând în final analize spațiale la MIT. Am condus, de asemenea, o mică firmă de consultanță, cu o varietate de clienți din sectorul public. Am fost implicat în proiecte de GIS în 17 țări. Munca mea m-a dus de la a consilia organizații precum Banca Interamericană de Dezvoltare la gestionarea tehnologiei GIS pentru arhitectură, inginerie și construcții la ESRI, cel mai mare dezvoltator de GIS din lume.

Îmi amintesc vivid despre prima mea întâlnire cu ceea ce este acum HEAVY.AI, care a avut loc atunci când, ca consultant, eram responsabil pentru planificarea scenariilor pentru Programul de Conservare a Habitatului Plajelor din Florida. Colegii mei și eu ne luptam să modelăm habitatul țestoselor folosind date Landsat de 30m și un prieten m-a îndrumat spre niște date noi și foarte relevante – LiDAR de 5cm. A fost exact ceea ce aveam nevoie din punct de vedere științific, dar ceva de 3600 de ori mai mare decât ceea ce plănuisem să folosesc. Nu era nimeni care să îmi crească bugetul, nici măcar cu o fracțiune din acea sumă. Așa că, în acea zi, am pus jos uneltele pe care le folosisem și le predasem timp de câteva decenii și am început să caut ceva nou. HEAVY.AI a tăiat și a redat aceste date atât de lin și fără efort, încât am fost instantaneu capturat.

Înainte de a continua, mai întâi, vreau să spun că ceea ce face HEAVY.AI este destul de unic și pariul său inițial pe analiza GPU a fost exact acolo unde industria are nevoie să meargă. HEAVY.AI se axează ferm pe democratizarea accesului la date mari. Acest lucru are, desigur, componenta de volum de date și viteză de procesare, esențialmente oferindu-le tuturor o supercalculatoare. Dar un aspect din ce în ce mai important, odată cu apariția modelelor de limbaj mari, este acela de a face modelarea spațială accesibilă multor mai multe persoane. În zilele noastre, în loc de a petrece ani învățând o interfață complexă cu mii de instrumente, puteți pur și simplu începe o conversație cu HEAVY.AI în limba umană a alegerii dvs. Programul nu numai că generează comenzile necesare, dar prezintă și visualizări relevante.

În spatele scenei, oferirea unei experiențe de utilizare ușoară este, desigur, foarte dificilă. În prezent, ca VP de Management al Produsului la HEAVY.AI, sunt puternic implicat în determinarea funcțiilor și capacităților pe care le prioritizăm pentru produsele noastre. Experiența mea extinsă în GIS îmi permite să înțeleg cu adevărat nevoile clienților noștri și să îndrum către drumul nostru de dezvoltare.

Cum a influențat experiența dvs. anterioară în planificarea spațială a mediului și startup-uri munca dvs. la HEAVY.AI?

Planificarea mediului este un domeniu particular de provocator, deoarece trebuie să țineți cont de diferite seturi de nevoi umane și de lumea naturală. Soluția generală pe care am învățat-o devreme a fost să asociez o metodă cunoscută sub numele de planificare participativă, cu tehnologiile de teledetecție și GIS. Înainte de a stabili un plan de acțiune, am făcut multiple scenarii și am simulat impactul lor pozitiv și negativ pe calculator, folosind visualizări. Utilizarea proceselor participative ne-a permis să combinăm diferite forme de expertiză și să rezolvăm probleme foarte complexe.

Deși nu facem în mod obișnuit planificare a mediului la HEAVY.AI, acest model funcționează foarte bine și în mediul de afaceri. Așadar, ajutăm clienții noștri să construiască gemene digitale ale părților cheie ale afacerii lor și să le permită să creeze și să evalueze scenarii de afaceri rapid.

Cred că experiența mea de predare mi-a oferit o empatie profundă pentru utilizatorii de software, în special pentru cei ai sistemelor complexe. Unde un student se împotmolește într-un anumit loc este aleator, dar unde zeci sau sute de oameni fac erori similare, știți că aveți o problemă de design. Poate că partea mea preferată a proiectării software este să iau aceste învățăminte și să le aplic în proiectarea noilor generații de sisteme.

Puteți să explicați cum HeavyIQ utilizează procesarea limbajului natural pentru a facilita explorarea și vizualizarea datelor?

În zilele noastre, pare că toată lumea și fratele său promovează un nou model de inteligență artificială, majoritatea fiind clone uitate ale altora. Noi am urmat un drum foarte diferit. Credem că acuratețea, reprodusibilitatea și confidențialitatea sunt caracteristici esențiale pentru orice instrument de analiză a afacerilor, inclusiv cele generate cu modele de limbaj mari. Așadar, am integrat acestea în oferta noastră la un nivel fundamental. De exemplu, limităm strict intrările modelului la baze de date enterprise și oferim documente din interiorul perimetrului de securitate al companiei. De asemenea, limităm ieșirile la HeavySQL și diagramele cele mai recente. Acest lucru înseamnă că, indiferent de întrebarea pe care o puneți, vom încerca să răspundem cu datele dvs. și vă vom arăta exact cum am derivat acel răspuns.

În spatele scenei, o altă diferență importantă față de modelele de inteligență artificială pentru consumatori este că ajustăm extensiv modelele împotriva tipurilor specifice de întrebări pe care le pun utilizatorii de afaceri asupra datelor de afaceri, inclusiv date spațiale. Așadar, modelul nostru este excelent la efectuarea unor joncțiuni spațiale și de serie temporală, care nu sunt în benchmark-urile clasice SQL, dar pe care utilizatorii noștri le folosesc zilnic.

Ambalam aceste capacități de bază într-o interfață de notebook pe care o numim HeavyIQ. IQ este despre a face explorarea datelor și vizualizarea lor la fel de intuitive posibil, folosind procesarea limbajului natural. Puteți pune o întrebare în engleză – cum ar fi “Care au fost condițiile meteo în California săptămâna trecută?” – și HeavyIQ traduce acea întrebare în interogări SQL pe care baza noastră de date accelerată cu GPU le procesează rapid. Rezultatele sunt prezentate nu numai ca date, ci și sub formă de visualizări – hărți, diagrame, orice este cel mai relevant. Acesta este despre facilitarea interogării rapide și interactive, în special atunci când aveți de-a face cu seturi de date mari sau rapide.

Care sunt beneficiile principale ale utilizării HeavyIQ față de instrumentele tradiționale de BI pentru furnizorii de servicii de telecomunicații, utilități și agenții guvernamentale?

HeavyIQ excelează în medii în care aveți de-a face cu date la scară largă, cu viteză ridicată – exact tipul de date pe care furnizorii de servicii de telecomunicații, utilități și agenții guvernamentale le manipulează. Instrumentele tradiționale de inteligență a afacerilor se luptă adesea cu volumul și viteza acestor date. De exemplu, în telecomunicații, ați putea avea miliarde de înregistrări de apeluri, dar este doar o fracțiune mică a apelurilor căzute pe care trebuie să vă concentrați. HeavyIQ vă permite să treceți prin aceste date de 10 până la 100 de ori mai repede, mulțumită infrastructurii noastre GPU. Această viteză, combinată cu capacitatea de a interoga și vizualiza date în mod interactiv, o face inestimabilă pentru analiza riscurilor în utilități sau pentru planificarea scenariilor în timp real pentru agenții guvernamentale.

Care sunt măsurile luate pentru a preveni scurgerea de metadate atunci când se utilizează HeavyIQ?

Am construit HeavyIQ cu confidențialitatea și securitatea la nivelul său fundamental. Acest lucru include nu numai datele, ci și mai multe tipuri de metadate. Utilizăm metadate la nivel de coloană și tabel pentru a determina care tabele și coloane conțin informațiile necesare pentru a răspunde la o întrebare. De asemenea, utilizăm documente interne ale companiei, acolo unde sunt furnizate, pentru a asista la ceea ce se numește generare augmentată de recuperare (RAG). În cele din urmă, modelele de limbaj însele generează metadate suplimentare. Toate acestea, dar mai ales ultimele două, pot fi de o sensibilitate comercială ridicată.

În contrast cu modelele terțe, unde datele dvs. sunt de obicei trimise către servere externe, HeavyIQ rulează local pe aceeași infrastructură GPU ca și restul platformei noastre. Acest lucru asigură că datele și metadatele dvs. rămân sub controlul dvs., fără niciun risc de scurgere. Pentru organizațiile care necesită niveluri ridicate de securitate, HeavyIQ poate fi chiar implementat într-un mediu complet izolat, asigurând că informațiile sensibile nu părăsesc echipamentul specific.

Cum realizează HEAVY.AI o performanță ridicată și scalabilitate cu seturi de date masive utilizând infrastructura GPU?

Secretul este, în esență, evitarea mișcării datelor prevalente în alte sisteme. La nivelul său fundamental, aceasta începe cu o bază de date special concepută pentru a rula pe GPU-uri NVIDIA. Am lucrat la acest lucru timp de peste 10 ani și credem cu adevărat că avem soluția de top atunci când vine vorba de analize accelerate cu GPU.

Chiar și cele mai bune sisteme bazate pe CPU se epuizează mult înainte de a ajunge la un GPU mediu. Strategia care se aplică atunci când se întâmplă acest lucru pe CPU necesită distribuirea datelor pe multiple nuclee și apoi pe multiple sisteme (așa-numita “scalare orizontală”). Acest lucru funcționează bine în anumite contexte în care lucrurile sunt mai puțin critice din punct de vedere al timpului, dar de obicei începe să se blocheze pe performanța rețelei.

Pe lângă evitarea mișcării datelor la interogări, evităm și mișcarea datelor la multe alte sarcini comune. Prima dintre acestea este că putem reda grafice fără a mișca datele. Apoi, dacă doriți modelarea inferenței ML, o facem din nou fără a mișca datele. Și dacă interogați datele cu un model de limbaj mare, o facem încă o dată fără a mișca datele. Chiar și dacă sunteți un om de știință a datelor și doriți să interogați datele din Python, oferim metode pentru a face acest lucru pe GPU fără a mișca datele.

Ceea ce înseamnă, în practică, că putem efectua nu numai interogări, ci și redarea grafică de 10 până la 100 de ori mai rapid decât bazele de date și serverele de hărți tradiționale bazate pe CPU. Atunci când aveți de-a face cu seturi de date masive și cu viteză ridicată cu care lucrează clienții noștri – cum ar fi modelele meteo, înregistrările de apeluri de telecomunicații sau imaginile din satelit – acest tip de îmbunătățire a performanței este absolut esențial.

Cum menține HEAVY.AI avantajul său competitiv în peisajul în evoluție rapidă al analizei datelor mari și a inteligenței artificiale?

Acesta este un întrebare excelent, și este ceva la care ne gândim constant. Peisajul analizei datelor mari și al inteligenței artificiale evoluează cu o viteză incredibilă, cu noi descoperiri și inovații care apar tot timpul. Cu siguranță nu ne-ar strica că avem un avans de 10 ani în tehnologia bazei de date GPU.

Cred că cheia pentru noi este să rămânem concentrați pe misiunea noastră de bază – democratizarea accesului la date mari geospațiale. Acest lucru înseamnă să continuăm să împingem limitele a ceea ce este posibil cu analize accelerate cu GPU și să ne asigurăm că produsele noastre oferă performanță și capacități de neegalat în acest domeniu. O parte importantă a acestui proces este investiția noastră continuă în dezvoltarea de modele de limbaj personalizate și ajustate, care să înțeleagă cu adevărat nuanțele SQL-ului spațial și analizei geospațiale.

Am construit o bibliotecă extinsă de date de antrenament, care depășește cu mult benchmark-urile generice, pentru a ne asigura că instrumentele noastre de analize conversaționale pot interacționa cu utilizatorii într-un mod natural și intuitiv. Dar știm și că tehnologia singură nu este suficientă. Trebuie să rămânem profund conectați la clienții noștri și la nevoile lor în schimbare. La sfârșitul zilei, avantajul nostru competitiv se reduce la focalizarea noastră neîncetată pe livrarea de valoare transformativă pentru utilizatorii noștri. Nu doar ținem pasul cu piața – împingem limitele a ceea ce este posibil cu date mari și inteligență artificială. Și vom continua să o facem, indiferent de viteza cu care evoluează peisajul.

Cum sprijină HEAVY.AI eforturile de răspuns la situații de urgență prin HeavyEco?

Am construit HeavyEco atunci când am văzut că unii dintre cei mai mari clienți noștri din domeniul utilităților aveau dificultăți semnificative în a încărca ieșirile actuale ale modelelor meteo, precum și în a le vizualiza pentru comparații comune. Le lua până la patru ore doar pentru a încărca datele, și atunci când sunteți în fața unor condiții meteo extreme și rapide, cum ar fi incendii… aceasta nu este deloc suficient.

HeavyEco este conceput pentru a oferi informații în timp real în situații cu consecințe ridicate, cum ar fi în timpul unui incendiu de pădure sau a unei inundații. În astfel de scenarii, trebuie să luați decizii rapid și pe baza celor mai bune date disponibile. Așadar, HeavyEco servește, în primul rând, ca o conductă de date profesionist gestionată pentru modele autorizate, cum ar fi cele de la NOAA și USGS. Pe baza acestor informații, HeavyEco vă permite să rulați scenarii, să modelați impactul la nivel de clădire și să vizualizați datele în timp real. Acest lucru oferă personalului de intervenție în situații de urgență informațiile critice de care au nevoie atunci când contează cel mai mult. Este vorba despre transformarea seturilor de date complexe și la scară largă în inteligență acționabilă care poate ghida luarea deciziilor imediate.

În cele din urmă, scopul nostru este să oferim utilizatorilor noștri capacitatea de a explora datele la viteza gândirii. Indiferent dacă rulează modele spațiale complexe, compară prognoze meteo sau încearcă să identifice modele în serii temporale geospațiale, vrem să poată face acest lucru fără niciun fel de bariere tehnice care să le stea în cale.

Ce distinge modelul de limbaj mare (LLM) proprietar al HEAVY.AI de alte LLM-uri terțe în ceea ce privește acuratețea și performanța?

Modelul nostru de limbaj mare este special ajustat pentru tipurile de analize pe care ne concentrăm – cum ar fi text-to-SQL și text-to-vizualizare. Am încercat inițial modele terțe, dar am constatat că nu îndeplinesc cerințele de acuratețe ridicate ale utilizatorilor noștri, care adesea iau decizii critice. Așadar, am ajustat o serie de modele open-source și le-am testat împotriva benchmark-urilor din industrie.

Modelul nostru de limbaj mare este mult mai precis pentru conceptele SQL avansate de care au nevoie utilizatorii noștri, în special în date geospațiale și temporale. În plus, deoarece rulează pe infrastructura noastră GPU, este și mai sigur.

Cum vede HEAVY.AI rolul analizei datelor geospațiale și temporale în modelarea viitorului diverselor industrii?

Credem că analiza datelor geospațiale și temporale va fi critică pentru viitorul multor industrii. Ceea ce ne concentrăm, în esență, este să ajutăm clienții noștri să ia decizii mai bune, mai rapid. Indiferent dacă sunteți în telecomunicații, utilități, guvern sau în alt domeniu, aveți capacitatea de a analiza și vizualiza date în timp real poate fi un factor de schimbare.

Misiunea noastră este să facem acest tip de analize puternice accesibile tuturor, nu doar jucătorilor mari cu resurse masive. Vrem să ne asigurăm că clienții noștri pot profita de datele pe care le au, pentru a rămâne înainte și a rezolva problemele pe măsură ce apar. Pe măsură ce datele continuă să crească și să devină mai complexe, vedem rolul nostru ca fiind acela de a ne asigura că instrumentele noastre evoluează alături de ele, astfel încât clienții noștri să fie întotdeauna pregătiți pentru ceea ce urmează.

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre HEAVY.AI.