Interviuri
Dr. Mike Flaxman, VP de Produs la HEAVY.AI – Seria de Interviuri
Dr. Mike Flaxman este în prezent VP de Produs la HEAVY.AI, având anterior funcția de Manager de Produs și conducând practica de Știință a Datelor Spațiale în Servicii Profesionale. El a petrecut ultimii 20 de ani lucrând în domeniul planificării spațiale și de mediu. Înainte de a se alătura HEAVY.AI, el a fondat Geodesign Technologies, Inc și a cofondat GeoAdaptive LLC, două startup-uri care aplică tehnologii de analiză spațială în planificare. Înainte de a intra în lumea startup-urilor, el a fost profesor de planificare la MIT și Manager de Industrie la ESRI.
HEAVY.AI este o platformă cu accelerare hardware pentru analize de date în timp real, cu impact ridicat. Aceasta utilizează atât procesarea GPU, cât și CPU pentru a interoga seturi de date masive rapid, cu suport pentru SQL și date geospațiale. Platforma include instrumente de analize vizuale pentru tablouri de bord interactive, filtrare transversală și visualizări de date scalabile, permițând o analiză eficientă a datelor mari în diverse industrii.
Puteți să ne spuneți despre background-ul dvs. profesional și ce v-a determinat să vă alăturați HEAVY.AI?
Înainte de a mă alătura HEAVY.AI, am petrecut ani în mediul academic, predând în final analize spațiale la MIT. Am condus, de asemenea, o mică firmă de consultanță, cu o varietate de clienți din sectorul public. Am fost implicat în proiecte GIS în 17 țări. Munca mea m-a dus de la a consilia organizații precum Banca Interamericană de Dezvoltare la gestionarea tehnologiei GIS pentru arhitectură, inginerie și construcții la ESRI, cel mai mare dezvoltator de GIS din lume.
Îmi amintesc vivid întâlnirea mea inițială cu ceea ce este acum HEAVY.AI, care a avut loc atunci când, în calitate de consultant, eram responsabil pentru planificarea scenariilor pentru Programul de Conservare a Habitatelor de pe Plajele din Florida. Colegii mei și eu ne luptam să modelăm habitatul țestoselor folosind date Landsat de 30m și un prieten m-a îndrumat spre niște date noi și foarte relevante – LiDAR de 5cm. A fost exact ceea ce aveam nevoie din punct de vedere științific, dar ceva de 3600 de ori mai mare decât ceea ce plănuisem să folosesc. Nu era nimeni care să-și majoreze bugetul cu nicio fracțiune din acea sumă. Așa că, în acea zi, am pus jos uneltele pe care le folosisem și le predasem timp de câteva decenii și am început să caut ceva nou. HEAVY.AI a tăiat și a procesat aceste date atât de lin și fără efort, încât am fost imediat capturat.
Să sarim câțiva ani înainte, și încă cred că ceea ce face HEAVY.AI este destul de unic, iar pariu lor inițial pe analiza GPU a fost exact acolo unde industria are nevoie să meargă. HEAVY.AI se axează ferm pe democratizarea accesului la date mari. Acesta are, desigur, componenta volumului de date și a vitezei de procesare, dându-le, în esență, tuturor o supercalculatoare proprie. Dar un aspect din ce în ce mai important, odată cu apariția modelelor de limbaj mari, este în a face modelarea spațială accesibilă multor mai multe persoane. În zilele noastre, în loc de a petrece ani învățând o interfață complexă cu mii de unelte, pur și simplu puteți începe o conversație cu HEAVY.AI în limba umană a alegerii dvs. Programul nu numai că generează comenzile necesare, dar prezintă și visualizări relevante.
În spatele scenei, oferirea unei experiențe de utilizare ușoară este, desigur, foarte dificilă. În prezent, ca VP de Management al Produsului la HEAVY.AI, sunt puternic implicat în determinarea caracteristicilor și capacităților pe care le prioritizăm pentru produsele noastre. Background-ul meu extins în GIS îmi permite să înțeleg cu adevărat nevoile clienților noștri și să ghidăm planul nostru de dezvoltare în consecință.
Cum a influențat experiența dvs. anterioară în planificarea spațială de mediu și startup-uri munca dvs. la HEAVY.AI?
Planificarea de mediu este un domeniu particular de provocator, deoarece trebuie să țineți cont atât de diferitele nevoi umane, cât și de lumea naturală. Soluția generală pe care am învățat-o devreme a fost să asociez o metodă cunoscută sub numele de planificare participativă cu tehnologiile de teledetecție și GIS. Înainte de a stabili un plan de acțiune, am făcut multiple scenarii și am simulat impactul lor pozitiv și negativ pe calculator, folosind visualizări. Utilizarea proceselor participative ne-a permis să combinăm diverse forme de expertiză și să rezolvăm probleme foarte complexe.
Deși nu facem, de obicei, planificare de mediu la HEAVY.AI, acest model funcționează foarte bine și în mediul de afaceri. Așadar, ajutăm clienții noștri să construiască gemene digitale ale părților cheie ale afacerii lor și să creeze și să evalueze scenarii de afaceri rapid.
Presupun că experiența mea de predare mi-a dat o empatie profundă pentru utilizatorii de software, în special pentru cei ai sistemelor complexe de software. În locurile în care un student se împotmolește, este aleatoriu, dar în locurile în care zeci sau sute de oameni fac erori similare, știți că aveți o problemă de design. Poate că partea mea preferată a proiectării software este luarea acestor învățăminte și aplicarea lor în proiectarea noilor generații de sisteme.
Puteți să explicați cum HeavyIQ utilizează procesarea limbajului natural pentru a facilita explorarea și visualizarea datelor?
În zilele noastre, pare că toată lumea și fratele său promovează un nou model de inteligență artificială, majoritatea fiind clone ușor de uitat unele de altele. Am urmat o cale foarte diferită. Credem că acuratețea, reprodusibilitatea și confidențialitatea sunt caracteristici esențiale pentru orice instrument de analiză a datelor de afaceri, inclusiv cele generate cu modele de limbaj mari (LLM). Așadar, am integrat acestea în oferta noastră la nivel fundamental. De exemplu, limităm strict intrările modelului la baze de date enterprise și oferim documente din interiorul perimetrului de securitate al unei întreprinderi. De asemenea, limităm ieșirile la HeavySQL și diagramele cele mai recente. Acest lucru înseamnă că, indiferent de întrebarea pe care o puneți, vom încerca să răspundem cu datele dvs. și vă vom arăta exact cum am derivat acel răspuns.
Cu aceste garanții în loc, contează mai puțin pentru clienții noștri exact cum procesăm interogările. Dar, în spatele scenei, o altă diferență importantă față de modelele de inteligență artificială pentru consumatori este că ajustăm modelele extensiv împotriva tipurilor specifice de întrebări pe care utilizatorii de afaceri le pun datelor de afaceri, inclusiv datelor spațiale. Așadar, modelul nostru este excelent în efectuarea unirilor spațiale și a seriilor de timp, care nu se află în benchmark-urile clasice SQL, dar pe care utilizatorii noștri le folosesc zilnic.
Ambalam aceste capacități de bază într-o interfață de notebook pe care o numim HeavyIQ. IQ se referă la faptul de a face explorarea și visualizarea datelor la fel de intuitive posibil, utilizând procesarea limbajului natural (NLP). Puteți pune o întrebare în engleză – de exemplu, “Care au fost condițiile meteo în California săptămâna trecută?” – și HeavyIQ traduce aceasta în interogări SQL pe care baza noastră de date accelerată cu GPU le procesează rapid. Rezultatele sunt prezentate nu numai sub formă de date, ci și sub formă de visualizări – hărți, diagrame, orice este cel mai relevant. Este vorba despre facilitarea interogării rapide și interactive, în special atunci când aveți de-a face cu seturi de date mari sau rapide.
Care sunt beneficiile principale ale utilizării HeavyIQ față de instrumentele tradiționale de BI pentru operatorii de telecomunicații, utilități și agenții guvernamentale?
HeavyIQ excelează în medii în care aveți de-a face cu date mari, cu viteză ridicată – exact tipul de date pe care operatorii de telecomunicații, utilitățile și agențiile guvernamentale le gestionează. Instrumentele tradiționale de inteligență de afaceri adesea se luptă cu volumul și viteza acestor date. De exemplu, în telecomunicații, puteți avea miliarde de înregistrări de apeluri, dar este doar o fracțiune mică din apelurile căzute pe care trebuie să vă concentrați. HeavyIQ vă permite să treceți prin aceste date de 10 până la 100 de ori mai repede, mulțumită infrastructurii noastre GPU. Această viteză, combinată cu capacitatea de a interoga și de a visualiza datele în mod interactiv, o face inestimabilă pentru analiza riscurilor în utilități sau planificarea scenariilor în timp real pentru agențiile guvernamentale.
Altă avantajoasă, deja menționată mai sus, este că interogările SQL spațiale și temporale sunt extrem de puternice din punct de vedere analitic – dar pot fi lente sau dificile de scris manual. Când un sistem funcționează la ceea ce numim “viteza curiozității”, utilizatorii pot pune atât mai multe întrebări, cât și întrebări mai nuanțate. De exemplu, un inginer de telecomunicații poate observa o creștere temporală a eșecurilor echipamentelor dintr-un sistem de monitorizare, avea intuiția că ceva nu este în regulă la o anumită instalație și poate verifica acest lucru cu o interogare spațială care returnează o hartă.
Care sunt măsurile luate pentru a preveni scurgerea de metadate atunci când se utilizează HeavyIQ?
Așa cum s-a descris mai sus, am construit HeavyIQ cu confidențialitatea și securitatea la nivelul său fundamental. Acest lucru include nu numai datele, ci și diverse tipuri de metadate. Utilizăm metadate la nivel de coloană și tabel extensiv în determinarea tabelelor și coloanelor care conțin informațiile necesare pentru a răspunde unei interogări. De asemenea, utilizăm documente interne ale companiei, acolo unde sunt furnizate, pentru a asista la ceea ce se numește generare augmentată de recuperare (RAG). În cele din urmă, modelele de limbaj însele generează metadate suplimentare. Toate acestea, dar mai ales ultimele două, pot fi de o sensibilitate comercială ridicată.
Diferit de modelele terțe în care datele dvs. sunt, de obicei, trimise către servere externe, HeavyIQ rulează local pe aceeași infrastructură GPU ca și restul platformei noastre. Acest lucru asigură că datele și metadatele dvs. rămân sub controlul dvs., fără niciun risc de scurgere. Pentru organizațiile care necesită niveluri de securitate ridicate, HeavyIQ poate fi chiar implementat într-un mediu complet izolat, asigurând că informațiile sensibile nu părăsesc niciodată echipamentul specific.
Cum reușește HEAVY.AI să obțină performanță și scalabilitate ridicată cu seturi de date masive utilizând infrastructura GPU?
Secretul constă, în esență, în evitarea deplasării datelor prezente în alte sisteme. La nivelul său fundamental, aceasta începe cu o bază de date special concepută pentru a rula pe GPU-uri NVIDIA. Am lucrat la acesta timp de peste 10 ani și credem cu adevărat că avem soluția de top din clasă atunci când vine vorba de analize accelerate cu GPU.
Chiar și cele mai bune sisteme bazate pe CPU se epuizează mult înainte de a ajunge la un GPU mediu. Strategia odată ce se întâmplă acest lucru pe CPU necesită distribuirea datelor pe multiple nuclee și apoi pe multiple sisteme (așa-numita “scalare orizontală”). Acest lucru funcționează bine în anumite contexte în care lucrurile sunt mai puțin critice din punct de vedere al timpului, dar, în general, începe să se blocheze din cauza performanței rețelei.
Pe lângă evitarea deplasării datelor pentru interogări, evităm și deplasarea pentru multe alte sarcini comune. Prima dintre acestea este că putem renderiza grafică fără a deplasa datele. Apoi, dacă doriți modelarea inferenței ML, o facem din nou fără a deplasa datele. Și dacă interogați datele cu un model de limbaj mare, o facem încă o dată fără a deplasa datele. Chiar și dacă sunteți un om de știință a datelor și doriți să interogați datele din Python, oferim metode pentru a face acest lucru pe GPU fără a deplasa datele.
Ceea ce înseamnă, în practică, că putem efectua nu numai interogări, ci și renderizări de 10 până la 100 de ori mai rapide decât bazele de date și serverele de hărți tradiționale bazate pe CPU. Când aveți de-a face cu seturi de date masive și cu viteză ridicată cu care lucrează clienții noștri – cum ar fi modelele meteo, înregistrările apelurilor de telefon sau imaginile satelitare – acest tip de îmbunătățire a performanței este absolut esențială.
Cum menține HEAVY.AI avantajul competitiv în peisajul în schimbare rapidă al analizei datelor mari și inteligenței artificiale?
Acesta este un întrebare excelentă și este ceva la care ne gândim constant. Peisajul analizei datelor mari și inteligenței artificiale se schimbă la un ritm incredibil de rapid, cu noi descoperiri și inovații care au loc tot timpul. Nu ne-ar strica deloc că avem un avans de 10 ani în tehnologia bazei de date GPU.
Cred că cheia pentru noi este să rămânem concentrați pe misiunea noastră de bază – democratizarea accesului la date mari spațiale. Acest lucru înseamnă să continuăm să împingem limitele a ceea ce este posibil cu analizele accelerate cu GPU și să ne asigurăm că produsele noastre oferă performanță și capacități fără egal în acest domeniu. O parte importantă a acestui proces este investiția noastră continuă în dezvoltarea de modele de limbaj personalizate care să înțeleagă cu adevărat nuanțele SQL-ului spațial și analizei geospațiale.
Am construit o bibliotecă extinsă de date de antrenament, mergând mult dincolo de benchmark-urile generice, pentru a ne asigura că instrumentele noastre de analize conversaționale pot interacționa cu utilizatorii într-un mod natural și intuitiv. Dar știm și că tehnologia singură nu este suficientă. Trebuie să rămânem profund conectați la clienții noștri și la nevoile lor în schimbare. La sfârșitul zilei, avantajul nostru competitiv se reduce la focusul nostru neîncetat de a livra valoare transformațională utilizatorilor noștri. Nu doar ținem pasul cu piața – împingem limitele a ceea ce este posibil cu datele mari și inteligența artificială. Și vom continua să o facem, indiferent de cât de rapid se schimbă peisajul.
Cum sprijină HEAVY.AI eforturile de răspuns în situații de urgență prin HeavyEco?
Am construit HeavyEco atunci când am văzut că unii dintre cei mai mari clienți noștri de utilități aveau dificultăți semnificative în a ingera ieșirile actuale ale modelelor meteo, precum și în a le vizualiza pentru comparații comune. Le lua până la patru ore doar pentru a încărca datele, și atunci când sunteți în fața condițiilor meteo extreme și rapide, cum ar fi incendiile… acest lucru nu este deloc suficient.
HeavyEco este conceput pentru a oferi informații în timp real în situații cu consecințe majore, cum ar fi în timpul unui incendiu de pădure sau a unei inundații. În astfel de scenarii, trebuie să luați decizii rapid și pe baza celor mai bune date disponibile. Prin urmare, HeavyEco servește, în primul rând, ca o conductă de date gestionată profesional pentru modele autorizate, cum ar fi cele de la NOAA și USGS. Pe lângă acestea, HeavyEco vă permite să rulați scenarii, să modelați impactul la nivel de clădire și să vizualizați datele în timp real. Acest lucru oferă răspunsului în situații de urgență informațiile critice de care au nevoie atunci când contează cel mai mult. Este vorba despre transformarea seturilor de date complexe și mari în informații actionabile care pot ghida luarea deciziilor imediate.
În cele din urmă, scopul nostru este să oferim utilizatorilor noștri capacitatea de a explora datele la viteza gândirii. Indiferent dacă rulează modele spațiale complexe, compară prognoze meteo sau încearcă să identifice modele în serii de timp geospațiale, dorim să poată face acest lucru fără niciun obstacol tehnic care să stea în calea lor.
Ce distinge LLM-ul proprietar al HEAVY.AI de alte LLM-uri terțe în ceea ce privește acuratețea și performanța?
LLM-ul nostru proprietar este specializat pentru tipurile de analize pe care ne concentrăm – cum ar fi text-to-SQL și text-to-vizualizare. Am încercat inițial modele terțe, dar am constatat că nu îndeplinesc cerințele de acuratețe ridicate ale utilizatorilor noștri, care adesea iau decizii critice. Prin urmare, am ajustat o serie de modele open-source și le-am testat împotriva benchmark-urilor din industrie.
LLM-ul nostru este mult mai precis pentru conceptele SQL avansate de care utilizatorii noștri au nevoie, în special în datele geospațiale și temporale. În plus, deoarece rulează pe infrastructura noastră GPU, este și mai sigur.
Pe lângă capacitățile de model integrate, oferim și o interfață de utilizator interactivă completă pentru administratori și utilizatori pentru a adăuga metadate relevante pentru domeniu sau afaceri. De exemplu, dacă modelul de bază nu funcționează așa cum se așteaptă, puteți importa sau ajusta metadate la nivel de coloană, adăugați informații de ghidare și primiți feedback imediat.
Cum vede HEAVY.AI rolul analizei datelor geospațiale și temporale în modelarea viitorului diverselor industrii?
Credem că analiza datelor geospațiale și temporale va fi critică pentru viitorul multor industrii. Ceea ce ne concentrăm, în esență, este să ajutăm clienții noștri să ia decizii mai bune, mai rapid. Indiferent dacă sunteți în telecomunicații, utilități, guvern sau în altă industrie, aveți capacitatea de a analiza și vizualiza date în timp real poate fi un factor de schimbare a jocului.
Misiunea noastră este să facem acest tip de analize puternice accesibile tuturor, nu doar jucătorilor mari cu resurse masive. Vrem să ne asigurăm că clienții noștri pot profita de datele pe care le dețin pentru a rămâne înainte și a rezolva problemele pe măsură ce apar. Pe măsură ce datele continuă să crească și să devină mai complexe, vedem rolul nostru ca fiind acela de a ne asigura că instrumentele noastre evoluează împreună cu acestea, astfel încât clienții noștri să fie întotdeauna pregătiți pentru ceea ce urmează.
Mulțumim pentru acest interviu excelent. Citiitorii care doresc să afle mai multe despre HEAVY.AI ar trebui să viziteze HEAVY.AI.
