Tim Data Sudah Mati, Panjang Umur Tim Data

Ya, judulnya clickbaity dan provokatif, tetapi sebagai CTO dengan banyak pengalaman di bidang data, saya telah menyaksikan transformasi yang membenarkan dramanya. Tim data tradisional – kru back-office yang menghancurkan laporan dan dashboard – secara efektif sudah mati. Menggantikan posisinya, sebuah tim data baru muncul: sebuah kekuatan yang berorientasi pada AI, berbasis produk dengan dampak langsung pada pendapatan. Mereka tidak lagi menjadi pusat biaya, tetapi sebuah kelompok yang menghasilkan keuntungan.

Perjalanan dari Business Intelligence ke Machine Learning

Tidak lama ago, tim data identik dengan business intelligence (BI). Kami adalah sejarawan data perusahaan, hidup di SQL dan spreadsheet, ditugaskan untuk menjawab “Apa yang terjadi di kuartal lalu?” Ketika teknologi big data seperti Hadoop muncul dan istilah “data scientist” menjadi pekerjaan baru yang sexy, tim data berkembang. Pada pertengahan 2010-an, kami melakukan lebih dari pelaporan; kami memasuki data visualisasi dan analitik interaktif, menghasilkan dashboard dinamis untuk setiap departemen. Pekerjaan itu tentang data wrangling, mencampur dataset dari sumber dan bentuk yang berbeda, dan mencoba memahami pengetahuan domain.

Kemudian akhir 2010-an membawa era machine learning. Tim data mulai merekrut ilmuwan data untuk membangun model prediktif dan mengungkap wawasan dalam dataset yang luas. Kami beralih dari mendeskripsikan masa lalu ke memprediksi masa depan: model churn, mesin rekomendasi, ramalan permintaan – Anda sebut saja. Tetapi bahkan kemudian, output kami adalah slide deck dan wawasan, bukan produk langsung. Kami berfungsi sebagai biro layanan internal, memberi saran kepada bisnis melalui analisis. Dengan kata lain, kami adalah pusat biaya – berharga, ya, tetapi satu langkah terpisah dari produk inti dan pendapatan.

Dalam kasus terbaik, tim machine learning ditebar ke unit terpisah atau tertanam dalam grup produk, sehingga model dan inferensi mereka dapat sepenuhnya terintegrasi ke dalam platform. Pembagian besar ini menyebabkan banyak proyek gagal, investasi yang tenggelam, dan peluang yang hilang.

GenAI: Dari Fungsi Pendukung ke Pusat Keuntungan

Kemudian GenAI tiba dan semuanya berubah. Rilis model bahasa besar yang kuat, seperti keluarga GPT dan varian sumber terbuka seperti Llama, membalikkan lanskap hampir semalam. Tiba-tiba, tim data tidak lagi menganalisis bisnis, tetapi malah menjadi integral dalam membangun produk dan pengalaman AI. Ketika Anda berhasil mengintegrasikan LLM ke dalam aplikasi yang menghadap pelanggan atau alur kerja internal, Anda tidak lagi hanya menginformasikan bisnis; Anda mengarahkannya. Sistem GenAI yang diimplementasikan dengan baik dapat mengotomatisasi dukungan pelanggan, menghasilkan konten pemasaran, mempersonalisasi pengalaman pengguna, atau bahkan menyediakan data yang diperlukan untuk menginformasikan dan melatih sistem AI agenik yang muncul. Kemampuan ini secara langsung mempengaruhi aliran pendapatan. Pada dasarnya, produk kerja tim data telah bergeser dari slide PowerPoint ke aplikasi AI yang hidup.

Tim GenAI dimulai dengan grup inovasi, mengirimkan konsep yang menghasilkan “faktor wow.” Dan tidak lama kemudian, setiap orang menjadi insinyur AI, menyebarkan IT bayangan di seluruh organisasi.

Tim data segera menemukan diri mereka menghadapi pertanyaan baru: “Kapan Anda akan menjadi pusat keuntungan?” Ketika insinyur AI mulai membuat alat yang luar biasa, jelas bahwa saatnya telah tiba untuk menggabungkan dua tim: mereka yang mengontrol data dan mereka yang membangun aplikasi.

Pertimbangkan sebuah perusahaan ritel yang menerapkan chatbot GenAI untuk menangani pertanyaan penjualan, atau sebuah bank yang meluncurkan penasihat investasi pribadi yang didorong AI. Ini bukan proyek sampingan IT tradisional – ini adalah produk digital yang menciptakan nilai pelanggan dan menghasilkan pendapatan. Namun, pada saat yang sama, untuk membuat sistem ini dalam skala, tim insinyur AI perlu dapat mengakses dan mengoperasikan data yang telah disiapkan tim tradisional.

Eksekutif telah memperhatikan. Harapan dari tim data sekarang sangat tinggi, dengan dewan dan CEO melihat kami untuk mengirimkan vektor pertumbuhan AI berikutnya. Kami telah beralih dari menjadi analis di balik layar ke inovator garis depan. Ini adalah posisi yang menggembirakan untuk berada, tetapi datang dengan tekanan intens untuk menghasilkan hasil dalam skala.

Dari Eksplorasi ke Produk – Pintu Satu Arah

Perubahan dari analisis eksploratif ke AI yang berorientasi pada produk adalah profund dan tidak dapat diubah. Mengapa tidak dapat diubah? Karena dampak GenAI pada bisnis terbukti terlalu besar untuk dikembalikan ke mainan R&D. Menurut survei global baru-baru ini, 96% pemimpin IT telah mengintegrasikan AI ke dalam proses inti – naik dari 88% hanya setahun sebelumnya. Dengan kata lain, hampir setiap perusahaan telah beralih dari bereksperimen dengan AI ke mengintegrasikannya ke dalam alur kerja misi-kritis. Setelah Anda melewati ambang batas di mana AI menghasilkan nilai dalam produksi, tidak ada yang bisa kembali.

Perubahan ini mengubah tempo dan mentalitas tim data. Di masa lalu, kami memiliki kemewahan proyek penemuan panjang dan analisis terbuka. Hari ini, jika kami membangun fitur AI, itu perlu siap produksi, patuh, dan dapat diandalkan – seperti produk yang menghadap pelanggan. Kami telah memasuki apa yang disebut beberapa orang sebagai “Era Otonom” ilmu data. Pertanyaan yang memandu pekerjaan kami tidak lagi “apa wawasan yang bisa kami ungkap?” tetapi “sistem cerdas apa yang bisa kami bangun yang bertindak pada wawasan secara waktu nyata?”

Sistem GenAI tidak hanya menjawab pertanyaan; mereka mulai membuat keputusan. Ini adalah pintu satu arah: setelah mengalami jenis otonomi dan dampak ini, perusahaan tidak akan menetap untuk laporan statis dan pengambilan keputusan manual. Sekarang lebih dari sebelumnya, tim data perlu menjadi berorientasi pada pemangku kepentingan dan produk.

Kebenaran Keras: Mengapa Sebagian Besar Inisiatif GenAI Gagal

Di tengah semua kegembiraan, ada kenyataan yang jernih: sebagian besar inisiatif GenAI gagal. Ternyata, menerapkan GenAI dengan sukses sangat menantang. Sebuah studi MIT baru-baru ini menemukan bahwa 95% proyek pilot GenAI perusahaan tidak pernah menghasilkan ROI yang dapat diukur. Hanya sekitar 5% pilot AI yang sebenarnya mencapai keuntungan pendapatan yang cepat atau dampak bisnis yang signifikan. Ini tidak disebabkan oleh kurangnya potensi – ini disebabkan oleh kompleksitas melakukan AI dengan benar.

Menggali penyebab kegagalan, penelitian MIT melukis gambaran yang jelas. Banyak proyek terjebak karena “hype over kerja keras” – tim mengejar kasus demo yang mencolok alih-alih berinvestasi dalam fondasi yang membosankan dari integrasi, validasi, dan pemantauan. Lainnya gagal karena sindrom klasik “sampah masuk, sampah keluar” – kualitas data yang buruk dan pipa data yang terisolasi menghancurkan proyek sebelum AI bahkan melakukan tugasnya. Seringkali, bukan model AI yang bermasalah, itu adalah lingkungan sekitarnya. Seperti yang dikatakan peneliti, GenAI tidak gagal di laboratorium; gagal di perusahaan ketika bertabrakan dengan tujuan yang samar, data yang buruk, dan inersia organisasi. Dalam prakteknya, sebagian besar pilot AI macet di tahap konsep dan tidak pernah lulus ke penerapan produksi penuh.

Kenyataan ini adalah pelajaran berharga. Ini memberitahu kita bahwa meskipun tim data sekarang berada di sorotan, sebagian besar dari mereka berjuang untuk memenuhi harapan yang ditingkatkan. Untuk GenAI sukses dalam skala, kita harus melewati batang yang jauh lebih tinggi daripada yang kita lakukan di hari-hari BI lama.

Di Luar Prompt yang Cerdik: Data, Tata Kelola & Infrastruktur Penting

Apa yang membedakan 5% proyek AI yang sukses dari 95% yang gagal? Dalam pengalaman saya (dan seperti yang dikonfirmasi oleh penelitian), pemenang fokus pada kapasitas dasar – data, tata kelola, dan infrastruktur. GenAI bukanlah sihir; dibangun di atas data. Tanpa pipa data yang berkualitas tinggi, dikelola dengan baik, dan memberi makan model Anda, bahkan AI terbaik akan menghasilkan hasil yang tidak konsisten. Summit Partners mengatakannya dengan baik dalam analisis baru-baru ini: “kesuksesan sistem atau proses yang menggunakan AI bergantung pada kualitas, struktur, dan aksesibilitas data yang memuatnya.”

Dalam istilah praktis, ini berarti organisasi harus menggandakan usaha mereka pada arsitektur data dan tata kelola saat mereka mengadopsi GenAI. Apakah Anda memiliki toko data yang terunifikasi, dapat diakses yang AI Anda dapat menggambar (dan saya maksudkan SEMUA toko data, termasuk pusat data, hyperscalers, dan sistem SaaS pihak ketiga, di antara lainnya)? Apakah data itu dibersihkan, dikurasi, dan patuh dengan peraturan? Apakah ada garis keturunan data yang jelas dan auditabilitas (sehingga Anda dapat mempercayai output AI dan tahu bagaimana mereka terjadi)? Pertanyaan-pertanyaan ini sekarang berada di garis depan.

GenAI Memaksa Perusahaan untuk Akhirnya Mengatur Rumah Data Mereka.

Tata kelola juga telah mengambil makna baru. Ketika model AI dapat menghasilkan jawaban yang salah (atau menyinggung), tata kelola yang kuat tidak opsional – itu wajib. Kontrol seperti versi, pemeriksaan bias, tinjauan manusia-dalam-layanan, dan langkah-langkah keamanan yang ketat di sekitar input data sensitif sangat penting. Tanpa tata kelola yang tepat, pelatihan, dan tujuan yang jelas, bahkan alat AI yang kuat akan berjuang untuk mendapatkan traksi dalam bisnis.

Dan jangan lupa infrastruktur. Menerapkan GenAI dalam skala memerlukan kekuatan komputasi yang signifikan dan rekayasa yang ketat. Model perlu disajikan dalam waktu nyata, di seluruh mungkin jutaan kueri dengan latensi rendah. Mereka sering memerlukan GPU atau perangkat keras khusus, serta pemantauan, retensi, dan manajemen siklus hidup yang berkelanjutan. Dalam singkat, Anda memerlukan infrastruktur AI kelas industri yang aman, dapat diskalakan, dan tangguh. Ini adalah tempat konsep Private AI datang sebagai kerangka yang menyatukan infrastruktur dengan data dan tata kelola. Private AI mengacu pada pengembangan AI dalam lingkungan yang dikendalikan dan aman, memastikan keamanan data dan kepatuhan.

Intinya adalah bahwa kesuksesan GenAI bergantung pada harmoni tiga pilar: data, tata kelola, dan infrastruktur. Tanpa salah satu dari mereka, Anda berisiko bergabung dengan 95% proyek yang tidak pernah skala di luar tahap demo.

Mengapa Insinyur AI Tidak Dapat Melakukannya Sendiri

Dengan persyaratan ini, jelas bahwa hanya merekrut beberapa insinyur AI berbakat tidaklah cukup. Kami telah belajar pelajaran ini selama beberapa tahun terakhir di industri data. Di awal hari-hari ledakan ilmu data, perusahaan mencoba menemukan “unicorn” ilmuwan data yang bisa melakukan semua – membangun model, menulis kode, menangani data dan penerapan. Mitos itu sekarang telah dibantah. Seperti yang dikatakan seorang veteran ilmuwan data, “sebuah model yang duduk di notebook sebenarnya tidak melakukan apa-apa untuk bisnis.” Anda perlu menanamkan model itu ke dalam aplikasi atau proses untuk menciptakan nilai. Dan melakukan itu memerlukan upaya tim yang melintasi beberapa set keterampilan.

Di akhir 2010-an, kami melihat tim data diversifikasi ke peran yang berbeda: insinyur data memulai membangun pipa yang kuat, insinyur pembelajaran mesin fokus pada produksi model, insinyur analitik mengelola lapisan analitik, dan seterusnya.

Hari ini, GenAI meningkatkan batang bahkan lebih tinggi. Ya, Anda perlu spesialis AI (insinyur prompt, penghalus LLM, dll.) tetapi spesialis tersebut akan menabrak dinding jika mereka tidak memiliki pipa data yang matang, kerangka tata kelola, dan platform yang aman untuk bekerja dengannya. Seorang insinyur AI dapat membuat prototipe model bahasa yang hebat di sandbox tetapi mengubahnya menjadi produk yang digunakan oleh ribuan atau jutaan memerlukan kolaborasi dengan tim keamanan, petugas kepatuhan, arsitek data, insinyur keandalan situs, dan banyak lagi.

AI adalah olahraga tim. Ini menggoda untuk berpikir Anda bisa menjatuhkan model state-of-the-art ke bisnis Anda dan tiba-tiba memiliki perusahaan yang didorong AI. Perusahaan yang sukses dengan AI adalah mereka yang telah membangun tim fungsional, atau “pabrik AI,” yang membawa semua potongan ini bersama. Tim data mereka telah berevolusi secara efektif menjadi tim produk AI full-stack, mencampur data, pemodelan, rekayasa, dan keahlian ops. Mereka membangun dan menerapkan alat mereka dengan cara yang didorong data dan berorientasi produk, dengan generasi nilai yang tertanam dalam setiap KPI.

Tim Data Generasi Berikutnya

Jadi, apa yang diharapkan untuk tim data baru di masa depan? Berikut adalah gambaran tentang apa yang akan datang untuk tim-tim ini dalam beberapa tahun ke depan:

• Kurang ETL/ELT manual: Pekerjaan data wrangling yang membosankan akan berkurang. Dengan pipa data yang lebih otomatis dan integrasi AI-asist, tim tidak akan menghabiskan setengah waktu mereka membersihkan dan memindahkan data. Pekerjaan dasar data prep akan semakin ditangani oleh sistem cerdas, memungkinkan manusia untuk fokus pada desain dan kontrol kualitas tingkat tinggi.
• Kurang dashboard: Era mengutak-atik filter dashboard tanpa henti telah memudar. AI akan memungkinkan pengqueryan bahasa alami yang lebih alami dan pengiriman wawasan dinamis. Alih-alih dashboard pra-bangun untuk setiap pertanyaan, pengguna akan mendapatkan jawaban konversasional dari AI (dengan data sumber yang dilampirkan). Tim data akan menghabiskan lebih sedikit waktu mengembangkan laporan statis dan lebih banyak waktu melatih AI untuk menghasilkan wawasan secara langsung.
• Lebih banyak pengembangan produk AI-asli: Tim data akan berada di jantung inovasi produk. Apakah itu mengembangkan fitur AI yang menghadap pelanggan baru atau alat AI internal yang mengoptimalkan operasi, tim-tim ini akan bertindak sebagai tim produk. Mereka akan menggunakan praktik pengembangan perangkat lunak, prototip cepat, pengujian A/B, dan desain pengalaman pengguna – bukan hanya analisis data. Setiap tim data akan, pada dasarnya, menjadi tim produk AI yang mengirimkan nilai bisnis langsung.
• Agen otonom naik daun: Di masa depan yang tidak terlalu jauh, tim data akan menerapkan agen AI otonom untuk menangani keputusan dan tugas rutin. Alih-alih hanya memprediksi hasil, agen-agen ini akan diberi wewenang untuk mengambil tindakan tertentu (dengan pengawasan). Bayangkan agen AI operasional yang dapat mendeteksi anomali dan secara otomatis membuka tiket perbaikan, atau agen penjualan AI yang menyetel harga e-commerce secara real-time. Tim data akan bertanggung jawab untuk membangun dan mengelola agen-agen ini, mendorong batas apa yang bisa dicapai otomatisasi.

Dengan perubahan ini, seseorang mungkin memang mengatakan “tim data seperti yang kita kenal sudah mati.” Para joki spreadsheet dan tukang ledeng dashboard telah memberi jalan bagi sesuatu yang baru: tim yang berorientasi pada AI yang fasih dalam data, kode, dan strategi bisnis. Tetapi jauh dari menjadi elegi, ini adalah perayaan. Generasi baru tim data baru saja dimulai, dan mereka lebih berharga dari sebelumnya

Jadi, ingat, insinyur data sudah mati, panjang umur insinyur data! Tim data seperti yang kita kenal telah pergi tetapi panjang umur tim data baru – semoga mereka memerintah dalam dunia yang didorong AI dengan wawasan, tanggung jawab, dan keberanian.