Dr. Mike Flaxman, VP of Product at HEAVY.AI – Interview Series

Dr. Mike Flaxman saat ini menjabat sebagai VP of Product di HEAVY.AI, setelah sebelumnya menjabat sebagai Product Manager dan memimpin praktik Spatial Data Science di Professional Services. Ia telah menghabiskan 20 tahun terakhir bekerja di bidang perencanaan lingkungan spasial. Sebelum bergabung dengan HEAVY.AI, ia mendirikan Geodesign Technologies, Inc dan menjadi co-pendiri GeoAdaptive LLC, dua startup yang menerapkan teknologi analisis spasial untuk perencanaan. Sebelum menjadi bagian dari dunia startup, ia adalah profesor perencanaan di MIT dan Industry Manager di ESRI.

HEAVY.AI adalah platform yang dipercepat perangkat keras untuk analisis data waktu nyata dengan dampak tinggi. Ini menggunakan pemrosesan GPU dan CPU untuk mengquery dataset besar dengan cepat, dengan dukungan untuk SQL dan data geospasial. Platform ini mencakup alat analitik visual untuk dashboard interaktif, cross-filtering, dan visualisasi data yang dapat diskalakan, memungkinkan analisis big data yang efisien di berbagai industri.

Apakah Anda bisa menceritakan tentang latar belakang profesional Anda dan apa yang membuat Anda bergabung dengan HEAVY.AI?

Sebelum bergabung dengan HEAVY.AI, saya menghabiskan waktu di dunia akademis, mengajar analisis spasial di MIT. Saya juga menjalankan sebuah perusahaan konsultan kecil, dengan berbagai klien sektor publik. Saya telah terlibat dalam proyek GIS di 17 negara. Pekerjaan saya membawa saya dari memberikan saran kepada organisasi seperti Bank Pembangunan Inter-Amerika hingga mengelola teknologi GIS untuk arsitektur, teknik, dan konstruksi di ESRI, pengembang GIS terbesar di dunia.

Saya ingat dengan jelas pertemuan pertama saya dengan apa yang sekarang disebut HEAVY.AI, ketika sebagai konsultan saya bertanggung jawab untuk perencanaan skenario untuk Program Konservasi Habitat Pantai Florida. Rekan saya dan saya kesulitan memodelkan habitat penyu laut menggunakan data Landsat 30m dan seorang teman menunjukkan saya beberapa data baru dan sangat relevan – LiDAR 5cm. Ini tepat apa yang kami butuhkan secara ilmiah, tetapi sesuatu seperti 3600 kali lebih besar dari yang kami rencanakan untuk digunakan. Tentu saja, tidak ada yang akan meningkatkan anggaran saya bahkan dengan sebagian kecil dari itu. Jadi, hari itu saya meletakkan alat yang saya gunakan dan mengajar selama beberapa dekade dan mencari sesuatu yang baru. HEAVY.AI memotong dan merender data tersebut dengan lancar dan tanpa usaha sehingga saya langsung terkesan.

Beberapa tahun kemudian, saya masih berpikir bahwa apa yang dilakukan HEAVY.AI cukup unik dan taruhan awal mereka pada GPU-analitik tepat di mana industri masih membutuhkannya. HEAVY.AI sangat fokus pada mendemokratisasikan akses ke big data. Ini memiliki komponen volume data dan kecepatan pemrosesan, secara esensial memberikan setiap orang superkomputer mereka sendiri. Tetapi aspek yang semakin penting dengan munculnya model bahasa besar adalah membuat pemodelan spasial dapat diakses oleh lebih banyak orang. Sekarang, daripada menghabiskan waktu bertahun-tahun untuk belajar antarmuka yang kompleks dengan ribuan alat, Anda hanya perlu memulai percakapan dengan HEAVY.AI dalam bahasa manusia pilihan Anda. Program tidak hanya menghasilkan perintah yang diperlukan, tetapi juga menampilkan visualisasi yang relevan.

Di balik layar, menghadirkan kemudahan penggunaan tentu saja sangat sulit. Saat ini, sebagai VP of Product Management di HEAVY.AI, saya sangat terlibat dalam menentukan fitur dan kemampuan apa yang kita prioritaskan untuk produk kita. Latar belakang saya yang luas di GIS memungkinkan saya untuk benar-benar memahami kebutuhan pelanggan kita dan memandu jalan pengembangan kita sesuai dengan itu.

Bagaimana pengalaman Anda sebelumnya dalam perencanaan lingkungan spasial dan startup mempengaruhi pekerjaan Anda di HEAVY.AI?

Perencanaan lingkungan adalah domain yang sangat menantang karena Anda perlu mempertimbangkan kebutuhan manusia yang berbeda dan dunia alam. Solusi umum yang saya pelajari dari awal adalah dengan memasangkan metode yang disebut perencanaan partisipatif, dengan teknologi penginderaan jauh dan GIS. Sebelum menetapkan rencana tindakan, kami akan membuat beberapa skenario dan mensimulasikan dampak positif dan negatifnya di komputer menggunakan visualisasi. Menggunakan proses partisipatif memungkinkan kami untuk menggabungkan berbagai bentuk keahlian dan memecahkan masalah yang sangat kompleks.

Meskipun kami tidak biasanya melakukan perencanaan lingkungan di HEAVY.AI, pola ini masih bekerja sangat baik dalam pengaturan bisnis. Jadi, kami membantu pelanggan membangun digital twin dari bagian kunci bisnis mereka, dan kami membiarkan mereka membuat dan mengevaluasi skenario bisnis dengan cepat.

Saya rasa pengalaman mengajar saya telah memberi saya empati yang mendalam untuk pengguna perangkat lunak, terutama sistem perangkat lunak yang kompleks. Di mana satu siswa terjatuh di satu titik adalah acak, tetapi di mana puluhan atau ratusan orang membuat kesalahan serupa, Anda tahu Anda memiliki masalah desain. Mungkin bagian favorit saya dari desain perangkat lunak adalah mengambil pembelajaran ini dan menerapkannya dalam merancang generasi sistem baru.

Apakah Anda bisa menjelaskan bagaimana HeavyIQ menggunakan pemrosesan bahasa alami untuk memfasilitasi eksplorasi data dan visualisasi?

Sekarang ini tampaknya setiap orang dan saudaranya mempromosikan model AI baru, sebagian besar dari mereka adalah klon yang tidak terlupakan dari yang lain. Kami telah mengambil jalur yang sangat berbeda. Kami percaya bahwa akurasi, reproducibility, dan privasi adalah karakteristik yang penting untuk alat analitik bisnis, termasuk yang dihasilkan dengan model bahasa besar (LLM). Jadi, kami telah membangunnya ke dalam penawaran kami pada tingkat fundamental. Misalnya, kami membatasi input model secara ketat ke database perusahaan dan menyediakan dokumen di dalam perimeter keamanan perusahaan. Kami juga membatasi output ke HeavySQL dan Charts terbaru. Artinya, apa pun pertanyaan yang Anda ajukan, kami akan mencoba menjawabnya dengan data Anda, dan kami akan menunjukkan kepada Anda secara tepat bagaimana kami mendapatkan jawaban tersebut.

Dengan jaminan tersebut, tidak terlalu penting bagi pelanggan kami bagaimana kami memproses kueri. Tetapi di balik layar, perbedaan lain yang penting relatif terhadap genAI konsumen adalah bahwa kami melakukan fine-tuning model secara ekstensif melawan jenis pertanyaan yang diajukan pengguna bisnis terhadap data bisnis, termasuk data spasial. Jadi, misalnya, model kami sangat baik dalam melakukan join spasial dan time series, yang tidak ada di benchmark SQL klasik tetapi pengguna kami gunakan setiap hari.

Kami mengemas kemampuan inti ini ke dalam antarmuka Notebook yang kami sebut HeavyIQ. IQ adalah tentang membuat eksplorasi data dan visualisasi seintuitif mungkin dengan menggunakan pemrosesan bahasa alami (NLP). Anda mengajukan pertanyaan dalam bahasa Inggris—seperti, “Apa pola cuaca di California minggu lalu?”—dan HeavyIQ menerjemahkannya menjadi kueri SQL yang diproses dengan cepat oleh database yang dipercepat GPU kami. Hasilnya disajikan tidak hanya sebagai data tetapi juga sebagai visualisasi—peta, grafik, apa pun yang paling relevan. Ini tentang memungkinkan kueri interaktif yang cepat, terutama ketika menangani dataset besar atau bergerak cepat. Apa yang penting di sini adalah bahwa ini sering kali bukan pertanyaan pertama yang Anda ajukan, tetapi mungkin pertanyaan ketiga, yang benar-benar mendapatkan wawasan inti, dan HeavyIQ dirancang untuk memfasilitasi eksplorasi yang lebih dalam.

Apa manfaat utama menggunakan HeavyIQ dibandingkan dengan alat BI tradisional untuk operator telekomunikasi, utilitas, dan lembaga pemerintah?

HeavyIQ unggul dalam lingkungan di mana Anda berhadapan dengan data skala besar, kecepatan tinggi—tepat jenis data yang ditangani oleh operator telekomunikasi, utilitas, dan lembaga pemerintah. Alat intelijen bisnis tradisional sering kali kesulitan menghadapi volume dan kecepatan data ini. Misalnya, dalam telekomunikasi, Anda mungkin memiliki miliaran catatan panggilan, tetapi itu adalah sebagian kecil panggilan yang terputus yang perlu Anda fokuskan. HeavyIQ memungkinkan Anda untuk menyaring data tersebut 10 hingga 100 kali lebih cepat berkat infrastruktur GPU kami. Kecepatan ini, dikombinasikan dengan kemampuan untuk mengquery dan memvisualisasikan data secara interaktif, membuatnya sangat berharga untuk analisis risiko di utilitas atau perencanaan skenario waktu nyata untuk lembaga pemerintah.

Kelebihan lain yang telah disebutkan di atas adalah bahwa kueri SQL spasial dan temporal sangat kuat secara analitis—tetapi dapat lambat atau sulit untuk ditulis dengan tangan. Ketika sistem beroperasi pada apa yang kami sebut “kecepatan rasa ingin tahu” pengguna dapat mengajukan lebih banyak pertanyaan dan pertanyaan yang lebih nuansa. Jadi, misalnya, insinyur telekomunikasi mungkin melihat lonjakan temporal dalam kegagalan peralatan dari sistem pemantauan, memiliki intuisi bahwa sesuatu salah di fasilitas tertentu, dan memeriksa ini dengan kueri spasial yang mengembalikan peta.

Apa langkah-langkah yang diambil untuk mencegah kebocoran metadata saat menggunakan HeavyIQ?

Kami telah membangun HeavyIQ dengan privasi dan keamanan di intinya. Ini termasuk tidak hanya data tetapi juga beberapa jenis metadata. Kami menggunakan metadata tingkat kolom dan tabel secara ekstensif dalam menentukan tabel dan kolom mana yang berisi informasi yang dibutuhkan untuk menjawab kueri. Kami juga menggunakan dokumen internal perusahaan jika disediakan untuk membantu dalam apa yang dikenal sebagai generasi yang ditingkatkan dengan pengambilan (RAG). Terakhir, model bahasa itu sendiri menghasilkan metadata lebih lanjut. Semua ini, tetapi terutama yang terakhir, dapat memiliki sensitivitas bisnis yang tinggi.

Tidak seperti model pihak ketiga di mana data Anda biasanya dikirim ke server eksternal, HeavyIQ berjalan secara lokal di infrastruktur GPU yang sama dengan sisa platform kami. Ini memastikan bahwa data dan metadata Anda tetap di bawah kendali Anda, tanpa risiko kebocoran. Untuk organisasi yang memerlukan tingkat keamanan tertinggi, HeavyIQ bahkan dapat diterapkan dalam lingkungan yang benar-benar terisolasi, memastikan bahwa informasi sensitif tidak pernah meninggalkan peralatan tertentu.

Bagaimana HEAVY.AI mencapai kinerja tinggi dan skalabilitas dengan dataset besar menggunakan infrastruktur GPU?

Rahasia sausnya sebenarnya adalah menghindari pergerakan data yang ada di sistem lain. Di intinya, ini dimulai dengan database yang dirancang khusus untuk berjalan di GPU NVIDIA. Kami telah mengerjakan ini selama lebih dari 10 tahun sekarang, dan kami benar-benar percaya bahwa kami memiliki solusi kelas dunia ketika datang ke analitik yang dipercepat GPU.

Bahkan sistem berbasis CPU terbaik akan kehabisan tenaga jauh sebelum GPU menengah. Strategi ketika ini terjadi pada CPU memerlukan distribusi data di seluruh inti dan kemudian di seluruh sistem (skala horizontal). Ini bekerja dengan baik dalam beberapa konteks di mana hal-hal kurang kritis waktu, tetapi umumnya mulai terhambat oleh kinerja jaringan.

Selain menghindari pergerakan data ini pada kueri, kami juga menghindarinya pada banyak tugas umum lainnya. Yang pertama adalah bahwa kami dapat merender grafik tanpa memindahkan data. Kemudian jika Anda ingin melakukan pemodelan inferensi ML, kami melakukannya tanpa memindahkan data. Dan jika Anda menginterogasi data dengan model bahasa besar, kami melakukannya tanpa memindahkan data. Bahkan jika Anda adalah ilmuwan data dan ingin menginterogasi data dari Python, kami menyediakan metode untuk melakukannya di GPU tanpa memindahkan data.

Apa yang itu berarti dalam prakteknya adalah bahwa kami dapat melakukan tidak hanya kueri tetapi juga rendering 10 hingga 100 kali lebih cepat daripada database dan server peta berbasis CPU tradisional. Ketika Anda berhadapan dengan dataset besar dan berkecepatan tinggi yang pelanggan kami kerjakan—seperti model cuaca, catatan panggilan telekomunikasi, atau citra satelit—peningkatan kinerja seperti itu absolut penting.

Bagaimana HEAVY.AI mempertahankan keunggulan kompetitifnya dalam lanskap analitik big data dan AI yang berkembang pesat?

Itu adalah pertanyaan yang bagus, dan itu adalah sesuatu yang kami pikirkan terus-menerus. Lanskap analitik big data dan AI berkembang dengan kecepatan yang luar biasa, dengan terobosan dan inovasi baru terjadi sepanjang waktu. Ini tentu tidak merugikan bahwa kami memiliki keunggulan 10 tahun dalam teknologi database GPU.

Saya pikir kunci untuk kami adalah untuk tetap fokus pada misi inti kami—mendemokratisasikan akses ke big data geospasial. Ini berarti terus-menerus mendorong batas apa yang mungkin dilakukan dengan analitik yang dipercepat GPU, dan memastikan produk kami memberikan kinerja dan kemampuan yang tak tertandingi dalam domain ini. Bagian besar dari itu adalah investasi kami yang berkelanjutan dalam mengembangkan model bahasa khusus yang benar-benar memahami nuansa SQL spasial dan analisis geospasial.

Kami telah membangun perpustakaan data pelatihan yang luas, jauh melampaui benchmark generik, untuk memastikan alat analitik konversasional kami dapat berinteraksi dengan pengguna dengan cara yang alami dan intuitif. Tetapi kami juga tahu bahwa teknologi saja tidak cukup. Kami harus tetap terhubung dengan pelanggan kami dan kebutuhan mereka yang berkembang. Di akhir hari, keunggulan kompetitif kami datang dari fokus kami yang tak henti-hentinya untuk memberikan nilai transformasional kepada pengguna kami. Kami tidak hanya mengikuti pasar—kami mendorong batas apa yang mungkin dilakukan dengan big data dan AI. Dan kami akan terus melakukannya, tidak peduli seberapa cepat lanskap berkembang.

Bagaimana HEAVY.AI mendukung upaya respons darurat melalui HeavyEco?

Kami membangun HeavyEco ketika kami melihat beberapa pelanggan utilitas terbesar kami mengalami kesulitan besar dalam mengonsumsi output model cuaca saat ini, serta memvisualisasikannya untuk perbandingan bersama. Ini membutuhkan waktu hingga empat jam bagi satu pelanggan untuk hanya memuat data, dan ketika Anda berhadapan dengan cuaca ekstrem yang bergerak cepat seperti kebakaran… itu tidak cukup baik.

HeavyEco dirancang untuk memberikan wawasan waktu nyata dalam situasi konsekuensi tinggi, seperti selama kebakaran atau banjir. Dalam skenario seperti itu, Anda perlu membuat keputusan dengan cepat dan berdasarkan data terbaik. Jadi, HeavyEco pertama-tama berfungsi sebagai pipa data yang dikelola secara profesional untuk model otoritatif seperti yang dari NOAA dan USGS. Di atas itu, HeavyEco memungkinkan Anda untuk menjalankan skenario, membangun dampak bangunan, dan memvisualisasikan data secara waktu nyata. Ini memberikan responden pertama dengan informasi kritis yang mereka butuhkan saat itu paling penting. Ini tentang mengubah dataset besar dan kompleks menjadi intelijen yang dapat ditindaklanjuti yang dapat memandu pengambilan keputusan segera.

Akhirnya, tujuan kami adalah memberi pengguna kami kemampuan untuk mengeksplorasi data mereka pada kecepatan pikiran. Apakah mereka menjalankan model spasial yang kompleks, membandingkan prakiraan cuaca, atau mencoba mengidentifikasi pola dalam seri waktu geospasial, kami ingin mereka dapat melakukannya dengan mulus, tanpa hambatan teknis yang menghalangi jalan.

Apa yang membedakan LLM milik HEAVY.AI dari LLM pihak ketiga lainnya dalam hal akurasi dan kinerja?

LLM milik kami secara khusus disesuaikan untuk jenis analitik yang kami fokuskan—seperti text-to-SQL dan text-to-visualisasi. Kami awalnya mencoba model pihak ketiga tradisional, tetapi menemukan bahwa mereka tidak memenuhi persyaratan akurasi tinggi pengguna kami, yang sering membuat keputusan kritis. Jadi, kami melakukan fine-tuning pada berbagai model sumber terbuka dan mengujinya melawan benchmark industri.

LLM kami jauh lebih akurat untuk konsep SQL lanjutan yang pengguna kami butuhkan, terutama dalam data geospasial dan temporal. Selain itu, karena berjalan di infrastruktur GPU kami, itu juga lebih aman.

Selain kemampuan model bawaan, kami juga menyediakan antarmuka pengguna interaktif penuh untuk administrator dan pengguna untuk menambahkan metadata domain atau bisnis yang relevan. Misalnya, jika model dasar tidak berperforma seperti yang diharapkan, Anda dapat mengimpor atau menyesuaikan metadata tingkat kolom, atau menambahkan informasi panduan dan segera mendapatkan umpan balik.

Bagaimana HEAVY.AI memandang peran analitik data geospasial dan temporal dalam membentuk masa depan berbagai industri?

Kami percaya bahwa analitik data geospasial dan temporal akan sangat kritis untuk masa depan banyak industri. Apa yang kami fokuskan adalah membantu pelanggan kami membuat keputusan yang lebih baik, lebih cepat. Apakah Anda berada di telekomunikasi, utilitas, atau pemerintah, atau lainnya—memiliki kemampuan untuk menganalisis dan memvisualisasikan data secara waktu nyata dapat menjadi perubahan permainan.

Misi kami adalah membuat analitik kuat ini dapat diakses oleh semua orang, tidak hanya pemain besar dengan sumber daya besar. Kami ingin memastikan bahwa pelanggan kami dapat memanfaatkan data yang mereka miliki untuk tetap di depan dan memecahkan masalah saat mereka muncul. Ketika data terus tumbuh dan menjadi lebih kompleks, kami melihat peran kami sebagai memastikan bahwa alat kami berkembang bersama dengan itu, sehingga pelanggan kami selalu siap untuk apa yang berikutnya.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi HEAVY.AI.