Jay Mishra, COO Astera Software – Seri Wawancara

Jay Mishra adalah Chief Operating Officer (COO) di Astera Software, penyedia solusi data yang berkembang pesat dan siap untuk perusahaan. Mereka membantu pengguna bisnis memahami kesenjangan antara data dan wawasan dengan suite solusi data yang ramah pengguna dan berkinerja tinggi, yang digunakan oleh perusahaan menengah dan Fortune 500 di berbagai industri.

Apa yang awalnya menarik Anda ke ilmu komputer?

Saya selalu memiliki minat yang mendalam dalam matematika, dan perjalanan saya ke ilmu komputer adalah lanjutan alami dari itu. Pendidikan sarjana saya adalah Matematika dan Ilmu Komputer, dan itu adalah kemajuan logis dari dunia matematika ke ranah ilmu komputer yang mempesona saya. Apa yang secara khusus menarik perhatian saya adalah kerja yang rumit dari algoritma dan proses algoritma lanjutan yang membuat saya memilih spesialisasi algoritma selama Master Ilmu Komputer. Sejak itu, hubungan saya dengan ilmu komputer tetap kuat, dan saya terus berusaha untuk tetap mendapatkan informasi tentang perkembangan terbaru di bidang ini.

Anda saat ini adalah COO Astera, bisa Anda berbagi dengan kami apa yang menjadi tugas sehari-hari Anda?

Sebagai COO Astera, peran saya multifaset, mencerminkan sifat dinamis perusahaan kami. Saya telah bersama Astera sejak awal, dan tanggung jawab saya telah meliputi berbagai bidang organisasi. Ini termasuk segala sesuatu dari kontribusi aktif pada pengembangan dan pengkodean produk kami hingga memastikan bahwa fitur-fitur kami sesuai dengan kebutuhan pelanggan yang terus berkembang. Saya bekerja sama erat dengan pelanggan kami, bekerja bersama mereka untuk memperbaiki solusi kami. Peran saya meluas tidak hanya pada pengembangan produk tetapi juga mencakup penjualan dan pemasaran, di mana kami membawa penawaran kami ke pasar.

Sebagai kita berada dalam fase pertumbuhan, saya telah mengambil tanggung jawab tambahan, termasuk mengawasi tujuan pendapatan kami dan strategis memperluas portofolio produk kami untuk mencapai pasar baru. Secara esensial, saya memiliki peran dalam hampir setiap aspek operasi kami, memastikan bahwa kami tidak hanya membangun produk yang luar biasa tetapi juga berhasil membawanya ke pasar dan memenuhi tujuan bisnis kami.

Bagi pembaca yang tidak terbiasa dengan istilah ini, apa itu gudang data?

Gudang data adalah pola arsitektur yang digunakan untuk mengonsolidasikan semua data perusahaan Anda ke dalam repositori terpusat yang akan berfungsi sebagai fondasi dari mana Anda dapat menghasilkan berbagai jenis analisis, laporan, dan dashboard yang akan mempresentasikan gambaran yang sebenarnya tentang di mana bisnis Anda berada dan juga memprediksi bagaimana bisnis Anda akan berperforma di masa depan. Untuk melayani semua itu, Anda membawa data Anda bersama dalam cara tertentu dan arsitektur itu disebut gudang data dan dirancang dengan cara tertentu sehingga pelaporan, terutama berdasarkan timeline, akan mudah. Itu adalah tujuan utama dari gudang data.

Istilah itu sebenarnya diambil dari gudang nyata di mana produk Anda disimpan di rak yang terorganisir. Tapi ketika Anda memasuki dunia data, Anda membawa data Anda dari berbagai sumber. Anda membawa data Anda dari produksi, situs web Anda, pelanggan, penjualan dan pemasaran, keuangan, dan departemen sumber daya manusia. Anda membawa semua data bersama, membawanya ke satu tempat, dan itu yang akan disebut gudang data dan dirancang dengan cara tertentu sehingga pelaporan, terutama berdasarkan timeline, akan mudah. Itu adalah tujuan utama dari gudang data.

Apa beberapa tren kunci dalam gudang data saat ini?

Gudang data telah berkembang cukup banyak dalam 20 – 25 tahun terakhir. Sekitar satu dekade yang lalu, kita menyaksikan munculnya gudang data otomatis, pergeseran paradigma yang mempercepat proses pembangunan model data dan gudang data. Belakangan, otomatisasi telah menjadi pusat perhatian. Ini menangani sifat berulang dari tugas gudang data, mempermudah proses untuk menghemat waktu dan sumber daya.

Produk kami, Astera Data Warehouse Builder, misalnya, menawarkan pendekatan holistik untuk otomatisasi dalam gudang data. Ini mencakup segala sesuatu dari mengotomatisasi pipa ETL (Extract, Transform, Load) dan pemodelan data hingga pemuatan data otomatis ke struktur seperti skema bintang atau gudang data. Selain itu, ini memelihara struktur ini melalui mekanisme Capture Data Perubahan (CDC). Otomatisasi ini telah muncul sebagai tren kunci dalam lanskap gudang data.

Lebih lanjut, tren terbaru adalah fusi antara gudang data dan kecerdasan buatan (AI). Secara khusus, AI generatif telah membawa otomatisasi ke tingkat yang baru. Ini tidak hanya mengotomatisasi tugas tetapi juga membantu pengguna dalam pengambilan keputusan.

Konfigurasi komponen gudang data, pipa, dan titik keputusan dapat dipandu oleh AI, membuat gudang data lebih kuat dan efisien dari sebelumnya. Pada intinya, ini adalah otomatisasi dengan steroid, dan ini mengubah lanskap gudang data. Persimpangan antara AI dan gudang data adalah tren yang menjanjikan untuk masa depan.

Apa empat prinsip dasar yang harus dipertimbangkan perusahaan untuk pengembangan gudang data mereka?

1. Mendefinisikan Tujuan yang Jelas

Sangat penting untuk memulai dengan memahami secara tepat apa yang Anda butuhkan dari gudang data Anda. Hindari jebakan umum mengumpulkan data berlebihan tanpa tujuan yang jelas. Sebaliknya, identifikasi tujuan spesifik yang ingin Anda capai dengan gudang data Anda. Laporan dan wawasan apa yang Anda cari? Dengan fokus pada tujuan Anda, Anda dapat memastikan bahwa Anda hanya membawa data yang relevan, bukan mengumpulkan sejumlah besar informasi secara sembarangan. Mengingat biaya penyimpanan dan kekuatan komputasi yang menurun, sangat penting untuk menggunakan sumber daya ini dengan cerdas dan etis.

2. Memilih Pola Arsitektur yang Tepat

Pola arsitektur sangat penting. Mereka menentukan apakah solusi gudang data Anda akan berhasil atau tidak. Ada berbagai pilihan, mulai dari gudang data gaya Inmon hingga skema bintang Ralph Kimball, serta pola yang lebih baru seperti Data Vault dan pendekatan satu tabel besar yang dianjurkan oleh vendor database columna. Tidak semua pola akan sesuai untuk setiap skenario.

Kami melihat sebagian besar kombinasi skema bintang yang duduk di atas gudang data. Jadi, kombinasi dari Data Vault dan Skema Bintang masih merupakan pola yang paling banyak digunakan. Tapi, seperti yang saya katakan, untuk setiap persyaratan atau untuk setiap skenario, akan ada jawaban yang berbeda. Jadi, jalankan melalui para ahli, lihat pola arsitektur mana yang sesuai dengan skenario Anda.

3. Memilih Alat yang Tepat

Mereka sangat penting dan membuat perbedaan besar lagi pada waktu dan sumber daya yang dibutuhkan untuk membangun solusi dan juga akurasi dan kualitas solusi yang ditentukan oleh produk yang akan Anda gunakan untuk membangun dan memelihara gudang data Anda. Perhatikan kemampuan produk dan lihat produk yang dapat membawa sebagian besar persyaratan di bawah satu payung. Ada beberapa area seperti ETL (Extract, Transform, Load), kualitas data, pemodelan data, pemuatan data, dan penerbitan data yang semua memainkan peran signifikan. Jika Anda mencoba menggunakan produk yang berbeda untuk setiap area ini, itu akan sulit. Jadi, lihat produk yang dapat digunakan untuk melakukan sebagian besar konstituen yang berbeda.

4. Tim Anda

Terakhir tapi tidak kalah penting, tim orang-orang yang Anda kumpulkan untuk membangun solusi gudang data Anda adalah bagian paling penting. Kami merekomendasikan memiliki seseorang dengan latar belakang yang kuat dalam pola arsitektur data. Dalam hal komposisi tim, tim fungsional lintas disiplin adalah cara terbaik untuk melakukannya, di mana Anda memiliki campuran pengguna bisnis dan orang-orang dengan latar belakang pemrograman atau setidaknya keahlian data dan memiliki kerja sama erat antara penjaga data Anda, orang-orang yang bertanggung jawab atas data dan tentu saja bisnis. Dengan memupuk kerja sama erat di antara berbagai aspek organisasi Anda, Anda dapat menciptakan tim yang kohesif dan efektif yang bertanggung jawab untuk membangun dan memelihara solusi gudang data Anda.

Keberhasilan dalam gudang data bergantung pada mencapai keseimbangan antara empat prinsip ini. Prinsip-prinsip ini, ketika diikuti dengan hati-hati, telah terbukti menjadi resep untuk keberhasilan dalam pengalaman kami.

Mengapa perusahaan memerlukan tumpukan data modern?

Tergantung pada bagaimana kita mendefinisikan “modern” dan itu terus berubah, kadang-kadang setiap tahun, bulan, dan bahkan setiap hari. Kami harus mempertimbangkan set alat modern yang dirancang dengan lanskap data yang berubah. Selama beberapa tahun terakhir, ada pergeseran signifikan dalam sifat dan volume data. Munculnya Big Data telah mengubah lanskap data, dengan data mengalir dari sumber seperti situs web e-commerce, database produksi, dan berbagai bagian bisnis Anda. Data ini tidak hanya berubah dalam volume tetapi juga dalam sifatnya.

Di masa lalu, data sebagian besar terstruktur, tetapi sekarang, data tidak terstruktur memainkan peran signifikan. Selain itu, kecepatan di mana data dihasilkan dan tersedia untuk digunakan telah meningkat. Mengingat perubahan ini dalam data, kami harus terus mengevaluasi dan menyesuaikan set alat kami untuk secara efektif menangani tantangan data yang berkembang.

Tumpukan data modern dirancang untuk menangani semua variasi dalam struktur dan kecepatan data, dan ini sangat siap untuk menyesuaikan diri dengan pola arsitektur yang muncul selama beberapa tahun terakhir. Oleh karena itu, jika Anda ingin memanfaatkan data Anda sebaik mungkin, Anda harus melihat modernisasi tumpukan data Anda. Itu adalah satu-satunya cara untuk tetap mengikuti tantangan data baru.

Kami telah melihat bahwa perusahaan tetap menggunakan solusi yang ada yang tampaknya berfungsi. Sangat penting untuk mengenali bahwa data itu sendiri secara inheren dinamis. Ini terus berkembang, mempresentasikan tantangan dan peluang baru. Solusi yang ada mungkin tidak dilengkapi untuk beradaptasi dengan perubahan ini. Oleh karena itu, untuk memanfaatkan potensi penuh data mereka, perusahaan harus mengadopsi konsep modernisasi tumpukan data mereka. Ini bukan tentang memecahkan apa yang berhasil; ini tentang tetap lincah dan responsif terhadap sifat data yang berkembang. Dengan terus mengevaluasi dan mengintegrasikan kemajuan dalam teknologi data, bisnis dapat tetap kompetitif dan membuat keputusan yang tepat dalam dunia yang semakin didorong oleh data.

Apa beberapa tantangan manajemen data saat ini yang terlihat di industri?

1. Kecepatan Data dan Integrasi

Salah satu tantangan besar yang kita hadapi saat ini adalah volume data yang sangat besar yang mengalir dari berbagai aplikasi. Jika Anda mengambil organisasi IT yang khas, mereka berhadapan dengan aplikasi baru yang muncul sepanjang waktu—puluhan, terkadang bahkan ratusan setiap tahun, terutama di organisasi menengah.

Sekarang, semua aplikasi ini menghasilkan data, dan data itu memegang wawasan yang berharga. Keprihatinan utama di sini adalah kemampuan untuk dengan cepat mengintegrasikan sumber data baru ini ke dalam pipa data yang ada dan mengkonsolidasikannya ke dalam pandangan yang terpadu. Kecepatan di mana organisasi dapat beradaptasi dan menggabungkan aliran data baru ini adalah tantangan terbesar yang kita lihat.

2. Format Data yang Berbeda

Tantangan kritis lainnya berasal dari sifat data itu sendiri, terutama peningkatan prevalensi data tidak terstruktur. Dengan data tidak terstruktur, ada beberapa pemikiran tentang cara menanganinya.

Organisasi harus memutuskan apakah akan menyimpan data ini langsung di danau data untuk digunakan nanti atau mengextract dan mengubahnya menjadi format yang lebih terstruktur untuk konsumsi segera. Tantangan menangani data tidak terstruktur tetap ada, dan kita melihat bahwa bahkan perusahaan menengah atau perusahaan kecil terkena dampaknya. Jadi, menyusun strategi yang efektif untuk menangani data tidak terstruktur sangat penting.

3. Penerbitan dan Berbagi Data

Sementara integrasi data dan konsolidasi sangat penting, kemampuan untuk berbagi data secara efektif sama pentingnya. Organisasi memerlukan mekanisme untuk menerbitkan dan mendistribusikan data ke departemen internal, vendor pihak ketiga, mitra, dan pemangku kepentingan lainnya. Tantangan ini meluas tidak hanya membuat data tersedia tetapi juga memastikan keamanan data, privasi, dan kepatuhan terhadap peraturan. Ketika berbagi data menjadi kebutuhan bagi bisnis semua ukuran, teknologi dan produk di ruang ini berkembang pesat untuk memenuhi permintaan.

Apa beberapa cara Astera telah mengintegrasikan AI ke dalam alur kerja pelanggan?

Kita melihat AI berpotongan dengan manajemen data dalam dua cara yang berbeda.

1. Meningkatkan Kemudahan Penggunaan dengan AI Generatif

Komitmen kami yang mendalam terhadap kemudahan penggunaan adalah fondasi filosofi pengembangan produk kami. Selama 12 hingga 13 tahun terakhir, kami telah membangun reputasi yang kuat dengan merancang produk yang memiliki kurva pembelajaran yang pendek, membuatnya dapat diakses bahkan oleh pengguna non-teknis. Dengan pelatihan yang modest, individu dapat menggunakan produk kami secara efektif untuk melakukan tugas yang berarti dengan data mereka.

Dengan memperkenalkan AI generatif, Astera telah membawa kemudahan penggunaan ke tingkat yang lebih tinggi. Kami menggunakan AI generatif untuk menciptakan antarmuka pengguna yang memungkinkan pelanggan berinteraksi dengan produk menggunakan perintah bahasa alami. Antarmuka AI yang dipandu ini menyederhanakan tugas konfigurasi, membuatnya lebih intuitif dan efisien untuk pengguna.

Lagipula, Astera telah mengintegrasikan otomatisasi yang ditenagai AI untuk menangani tugas yang sebelumnya memerlukan beberapa jam kerja manual, terutama dalam konfigurasi produk manajemen data. Faktor biaya terbesar dalam membangun solusi manajemen data tidak hanya membeli produk, tetapi waktu dan upaya yang dihabiskan untuk mengonfigurasinya. Kami telah mencoba menangani itu dengan AI. Pendekatan ini secara signifikan mengurangi waktu dan sumber daya yang secara tradisional dihabiskan untuk konfigurasi produk.

Sebagai contoh, produk Astera, ReportMiner, menyederhanakan ekstraksi data dari dokumen tidak terstruktur dengan memungkinkan pengguna membuat templat ekstraksi berdasarkan aturan. AI sekarang dapat menghasilkan templat awal dalam beberapa detik, tugas yang sebelumnya membutuhkan dua hingga tiga jam untuk pengguna biasa. Potongan pertama dari templat yang dihasilkan AI mungkin tidak sempurna, tetapi itu menangani sekitar 90% pekerjaan, memungkinkan pengguna untuk membuat penyesuaian cepat dan menyelesaikan tugas dalam beberapa menit bukan jam. Pendekatan ini hanya salah satu contoh tentang bagaimana Astera menggunakan AI untuk meningkatkan kemudahan penggunaan di seluruh produk kami.

Kami melakukan hal serupa di seluruh tumpukan data kami di mana kami mendapatkan peningkatan signifikan dalam kemudahan penggunaan dengan kecerdasan buatan.

2. Fungsi AI sebagai Toolset

Astera menawarkan tumpukan data yang terpadu yang mencakup berbagai aspek manajemen data, termasuk ingestion, transformasi, kualitas data, gudang data, API, dan penerbitan data. Perusahaan mengakui pentingnya menyediakan fungsi AI sebagai toolset yang serbaguna bagi penggunanya. Dalam toolset ini, pelanggan Astera dapat mengakses AI di seluruh spektrum ilmu data, dari membangun dan mengirimkan model pembelajaran mesin hingga menangani ML Ops (Operasi Pembelajaran Mesin). Astera juga mendukung penggunaan model berbasis open-source, termasuk model bahasa besar (LLM), dan memfasilitasi penyetelan untuk kasus penggunaan tertentu.

Fungsi AI yang lebih luas ini memberdayakan pengguna Astera untuk menggunakan AI untuk berbagai tugas yang terkait dengan data, termasuk mengirimkan model pembelajaran mesin, mengimplementasikan ML Ops, dan menyetel model open-source. Selain itu, Astera terus bekerja pada perluasan dukungan AI, mencakup area seperti basis data vektor, pencarian kesamaan, penyematan, dan banyak lagi.

Apa beberapa praktik terbaik untuk memanfaatkan AI dan model ML dalam manajemen data untuk perusahaan besar?

1. Tetap di Pusat Pengembangan AI dan ML

Bidang model bahasa besar berkembang pesat. Untuk mendapatkan keunggulan kompetitif, perusahaan besar harus tetap mendapatkan informasi tentang kemajuan terbaru. Astera, misalnya, adalah pengadopsi awal AI generatif, menggunakan model seperti OpenAI dan LAMA. Pemantauan terus-menerus teknologi yang muncul memastikan Anda siap untuk menggunakan teknologi tersebut secara efektif.

2. Eksperimen dengan Berbagai Model dan Konfigurasi

Menggunakan penyetelan model LLM, kami dapat mengirimkan ukuran kecil, seperti model 8 hingga 13 miliar parameter, dan mengirimkannya secara lokal. Ini adalah sesuatu yang telah bekerja sangat baik untuk kami dan apa yang kami sarankan adalah bahwa sebagai gantinya menggunakan satu versus yang lain, coba beberapa model dasar dan konfigurasi yang berbeda dan lihat mana yang bekerja untuk Anda.

Model bahasa besar datang dalam rasa yang berbeda, masing-masing dengan kemampuan unik. Buat konfigurasi yang memungkinkan Anda untuk memilih dari berbagai pilihan, mencerminkan apa yang dilakukan pengembang dan ilmuwan data dalam perjalanan ilmu data mereka.

Untuk memberdayakan pengguna, kami telah menciptakan sistem konfigurasi yang menawarkan berbagai pilihan, mirip dengan apa yang dilakukan pengembang dan ilmuwan data ketika bekerja dengan perpustakaan open-source dalam upaya ilmu data mereka. Tujuan kami telah menjadi untuk mengintegrasikan pilihan ini secara mulus ke dalam produk kami, memfasilitasi pengalaman yang dinamis dan dapat disesuaikan bagi pengguna.

3. Prioritaskan Pengiriman Lokal atas API

Ketika menangani produk yang berorientasi pada data, mengurangi keterlambatan sangat penting. Mengandalkan API untuk akses model AI dan ML mungkin memperkenalkan keterlambatan yang tidak dapat diterima, terutama ketika menangani volume data yang besar. Disarankan untuk memprioritaskan pengiriman model yang disesuaikan secara lokal, didedikasikan untuk skenario spesifik Anda. Pendekatan ini dapat secara signifikan meningkatkan waktu respons dan kinerja secara keseluruhan.

Mengapa Astera adalah solusi yang unggul dibandingkan dengan platform yang bersaing?

• Solusi Astera memiliki antarmuka visual yang intuitif dan bebas kode, serta kemudahan penggunaan yang ditingkatkan dengan AI, yang membuatnya mudah untuk menjalankan proses data yang kompleks untuk semua pengguna, terlepas dari kemampuan teknis mereka.
• Fitur otomatisasi dari tumpukan data kami mengurangi tugas manual yang berulang dan menghemat waktu serta sumber daya pengembangan.
• Tumpukan data yang terpadu kami dapat membantu pengguna menjalankan proses data dari ujung ke ujung tanpa harus beralih antara solusi. Ini menghilangkan biaya belajar dan mengelola beberapa sistem yang terisolasi.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Astera Software.