Tim Data Sudah Mati, Panjang Umur Tim Data

Ya, judulnya memang clickbait dan provokatif, tetapi sebagai seorang CTO dengan banyak pengalaman di bidang data, saya telah menyaksikan transformasi yang membenarkan dramatisasi tersebut. Tim data tradisional – kru di belakang layar yang menghancurkan laporan dan dashboard – secara efektif sudah mati. Menggantikannya, sebuah tim data baru muncul: sebuah kekuatan yang berfokus pada AI, berorientasi pada produk, dan memiliki dampak langsung pada pendapatan. Mereka tidak lagi menjadi pusat biaya, tetapi sebuah kelompok yang menghasilkan keuntungan.

Perjalanan dari Business Intelligence ke Machine Learning

Tidak lama lagi, tim data identik dengan business intelligence (BI). Kami adalah sejarawan data perusahaan, hidup di SQL dan spreadsheet, ditugaskan untuk menjawab “Apa yang terjadi di kuartal lalu?” Ketika teknologi big data seperti Hadoop muncul dan istilah “data scientist” menjadi pekerjaan baru yang sexy, tim data berkembang. Di pertengahan 2010-an, kami melakukan lebih dari pelaporan; kami memasuki visualisasi data dan analitik interaktif, menghasilkan dashboard dinamis untuk setiap departemen. Pekerjaan itu tentang data wrangling, mencampur dataset dari sumber dan bentuk yang berbeda, dan mencoba memahami pengetahuan domain.

Kemudian, akhir 2010-an membawa era machine learning. Tim data mulai merekrut ilmuwan data untuk membangun model prediktif dan mengungkap wawasan dalam dataset yang luas. Kami beralih dari mendeskripsikan masa lalu ke memprediksi masa depan: model churn, mesin rekomendasi, ramalan permintaan – Anda namanya. Tetapi bahkan kemudian, output kami adalah slide deck dan wawasan, bukan produk langsung. Kami berfungsi sebagai biro layanan internal, memberi saran kepada bisnis melalui analisis. Dengan kata lain, kami adalah pusat biaya – berharga, ya, tetapi satu langkah terpisah dari produk inti dan pendapatan.

Di kasus terbaik, tim machine learning dipisahkan menjadi unit terpisah atau disematkan dalam kelompok produk, sehingga model dan inferensi mereka dapat sepenuhnya terintegrasi ke dalam platform. Pembagian besar ini menyebabkan banyak proyek gagal, investasi yang terbuang, dan kesempatan yang hilang.

GenAI: Dari Fungsi Pendukung ke Pusat Keuntungan

Kemudian GenAI tiba dan semuanya berubah. Rilis model bahasa besar yang kuat, seperti keluarga GPT dan varian open-source seperti Llama, mengubah lanskap hampir semalam. Tiba-tiba, tim data tidak hanya menganalisis bisnis, tetapi juga menjadi integral dalam membangun produk dan pengalaman AI. Ketika Anda berhasil mengintegrasikan LLM ke dalam aplikasi yang menghadap pelanggan atau alur kerja internal, Anda tidak lagi hanya memberi informasi kepada bisnis; Anda menggerakkan bisnis. Sistem GenAI yang diimplementasikan dengan baik dapat mengotomatisasi dukungan pelanggan, menghasilkan konten pemasaran, mempersonalisasi pengalaman pengguna, atau bahkan memberikan data yang diperlukan untuk memberi informasi dan melatih sistem AI yang muncul. Kemampuan ini secara langsung mempengaruhi aliran pendapatan. Secara efektif, produk kerja tim data telah bergeser dari slide PowerPoint ke aplikasi AI yang berfungsi.

Tim GenAI dimulai dengan kelompok inovasi, menghasilkan bukti konsep yang menghasilkan “faktor wow.” Dan segera setelah itu, setiap orang menjadi insinyur AI, menyebarkan shadow IT di seluruh organisasi.

Tim data segera menemukan diri mereka menghadapi pertanyaan baru: “Kapan Anda akan menjadi pusat keuntungan?” Ketika insinyur AI mulai membuat alat yang luar biasa, jelas bahwa waktunya telah tiba untuk menggabungkan dua tim: mereka yang mengontrol data dan mereka yang membangun aplikasi.

Pertimbangkan sebuah perusahaan ritel yang mengirimkan chatbot GenAI untuk menangani pertanyaan penjualan, atau sebuah bank yang meluncurkan penasihat investasi yang dipersonalisasi dan didorong oleh AI. Ini bukan proyek sampingan IT tradisional – ini adalah produk digital yang menciptakan nilai pelanggan dan menghasilkan pendapatan. Namun, pada saat yang sama, untuk menciptakan sistem ini dalam skala, tim insinyur AI perlu dapat mengakses dan mengoperasikan data yang telah disiapkan oleh tim tradisional.

Eksekutif telah memperhatikan. Harapan dari tim data sangat tinggi sekarang, dengan dewan dan CEO melihat kami untuk mengirimkan vektor pertumbuhan AI berikutnya. Kami telah bergeser dari menjadi analis di balik layar ke inovator garis depan. Ini adalah posisi yang menggembirakan untuk dimiliki, tetapi itu datang dengan tekanan yang intens untuk menghasilkan hasil dalam skala.

Dari Eksplorasi ke Produk – Pintu Satu Arah

Perubahan dari analisis eksploratif ke AI yang berfokus pada produk adalah profund dan tidak dapat diubah. Mengapa tidak dapat diubah? Karena dampak GenAI pada bisnis terbukti terlalu besar untuk dikembalikan ke mainan R&D. Menurut survei global terbaru, 96% dari pemimpin IT telah mengintegrasikan AI ke dalam proses inti – naik dari 88% hanya setahun sebelumnya. Dengan kata lain, hampir setiap perusahaan telah bergeser dari bereksperimen dengan AI ke mengintegrasikannya ke dalam alur kerja yang sangat penting. Setelah Anda melewati ambang batas di mana AI menghasilkan nilai dalam produksi, tidak ada yang bisa kembali.

Perubahan ini mengubah tempo dan mindset tim data. Di masa lalu, kami memiliki kemewahan proyek penemuan yang panjang dan analisis yang terbuka. Hari ini, jika kami membangun fitur AI, itu perlu siap produksi, patuh, dan dapat diandalkan – seperti produk yang menghadap pelanggan. Kami telah memasuki apa yang disebut “Zaman Otonom” dari ilmu data. Pertanyaan yang memandu pekerjaan kami tidak lagi “apa wawasan yang bisa kami temukan?” tetapi “apa sistem cerdas yang bisa kami bangun yang bertindak pada wawasan secara real-time?”

Sistem GenAI tidak hanya menjawab pertanyaan; mereka mulai membuat keputusan. Ini adalah pintu satu arah: setelah mengalami jenis otonomi dan dampak ini, perusahaan tidak akan menetap untuk laporan statis dan pengambilan keputusan manual. Sekarang lebih dari sebelumnya, tim data perlu menjadi berorientasi pada pemangku kepentingan dan produk.

Kebenaran Keras: Mengapa Kebanyakan Inisiatif GenAI Gagal

Di tengah semua kegembiraan, ada kenyataan yang menyedihkan: kebanyakan inisiatif GenAI gagal. Ternyata, mengirimkan GenAI dengan sukses sangat menantang. Sebuah studi MIT terbaru menemukan bahwa 95% dari proyek pilot GenAI perusahaan tidak pernah menghasilkan ROI yang terukur. Hanya sekitar 5% dari pilot AI yang sebenarnya mencapai pertumbuhan pendapatan yang cepat atau dampak bisnis yang berarti. Ini tidak disebabkan oleh kurangnya potensi – itu disebabkan oleh kompleksitas melakukan AI dengan benar.

Menggali penyebab kegagalan, penelitian MIT melukis gambaran yang jelas. Banyak proyek terjatuh karena “hype over hard work” – tim mengejar kasus penggunaan demo yang mencolok alih-alih berinvestasi dalam fondasi yang membosankan dari integrasi, validasi, dan pemantauan. Lainnya gagal dari sindrom klasik “garbage in, garbage out” – kualitas data yang buruk dan pipa data yang terisolasi menghancurkan proyek sebelum AI bahkan melakukan pekerjaannya. Seringkali, bukan model AI yang bermasalah, tetapi lingkungan sekitarnya. Seperti yang dikatakan peneliti, GenAI tidak gagal di laboratorium; itu gagal di perusahaan ketika bertabrakan dengan tujuan yang samar, data yang buruk, dan inersia organisasi. Dalam prakteknya, sebagian besar pilot AI macet di tahap konsep dan tidak pernah lulus ke penerapan produksi penuh.

Periksa kenyataan ini adalah pelajaran yang berharga. Ini memberi tahu kita bahwa meskipun tim data sekarang berada di sorotan, sebagian besar dari mereka berjuang untuk memenuhi harapan yang ditingkatkan. Untuk GenAI sukses dalam skala, kita harus melewati batang yang jauh lebih tinggi daripada yang kita lakukan di hari-hari BI lama.

Di Luar Prompt yang Cerdik: Data, Tata Kelola & Infrastruktur yang Penting

Apa yang membedakan 5% proyek AI yang sukses dari 95% yang gagal? Dalam pengalaman saya (dan seperti yang dikonfirmasi oleh penelitian), pemenang fokus pada kapasitas dasar – data, tata kelola, dan infrastruktur. GenAI bukanlah sihir; itu dibangun di atas data. Tanpa pipa data berkualitas tinggi yang dikelola dengan baik yang memberi makan model Anda, bahkan AI terbaik akan menghasilkan hasil yang tidak konsisten. Summit Partners mengatakannya dengan baik dalam analisis terbaru: “kesuksesan sistem atau proses apa pun yang menggunakan AI bergantung pada kualitas, struktur, dan ketersediaan data yang menggerakannya.”

Dalam istilah praktis, ini berarti organisasi harus menggandakan upaya pada arsitektur data dan tata kelola saat mereka mengadopsi GenAI. Apakah Anda memiliki toko data yang terpadu dan dapat diakses yang AI Anda dapat tarik (dan saya maksudkan SEMUA toko data, termasuk pusat data, hyperscalers, dan sistem SaaS pihak ketiga, di antara lainnya)? Apakah data itu dibersihkan, dikurasi, dan patuh dengan peraturan? Apakah ada garis keturunan data yang jelas dan audit trail (sehingga Anda dapat mempercayai output AI dan tahu bagaimana mereka terjadi)? Pertanyaan-pertanyaan ini sekarang berada di garis depan.

GenAI Membuat Perusahaan Akhirnya Mengatur Rumah Data

Tata kelola juga telah mengambil makna baru. Ketika model AI dapat menghasilkan jawaban yang salah (atau menyinggung), tata kelola yang kuat tidak lagi opsional – itu wajib. Kontrol seperti versi, pemeriksaan bias, tinjauan manusia, dan langkah-langkah keamanan yang ketat sekitar input data sensitif sangat penting. Tanpa tata kelola yang tepat, pelatihan, dan tujuan yang jelas, bahkan alat AI yang kuat akan berjuang untuk mendapatkan traksi dalam bisnis.

Dan jangan lupa infrastruktur. Mengirimkan GenAI dalam skala memerlukan daya komputasi yang signifikan dan rekayasa yang ketat. Model perlu disajikan dalam waktu nyata, di seluruh mungkin jutaan kueri dengan latensi rendah. Mereka sering memerlukan GPU atau perangkat keras khusus, serta pemantauan, retensi, dan manajemen siklus hidup yang berkelanjutan. Dalam singkat, Anda memerlukan infrastruktur AI industri yang aman, dapat diskalakan, dan tangguh. Ini adalah tempat di mana konsep Private AI masuk sebagai kerangka yang menggabungkan infrastruktur dengan data dan tata kelola. Private AI mengacu pada pengembangan AI dalam lingkungan yang terkontrol dan aman, memastikan keamanan dan kepatuhan data.

Intinya adalah bahwa kesuksesan GenAI bergantung pada harmoni tiga pilar: data, tata kelola, dan infrastruktur. Tanpa salah satu dari mereka, Anda berisiko bergabung dengan 95% proyek yang tidak pernah melewati tahap demo.

Mengapa Insinyur AI Tidak Dapat Melakukannya Sendiri

Dengan persyaratan ini, jelas bahwa hanya merekrut beberapa insinyur AI berbakat bukanlah solusi ajaib. Kami telah belajar pelajaran ini selama beberapa tahun terakhir di industri data. Di awal boom ilmu data, perusahaan mencoba menemukan “unicorn” ilmuwan data yang bisa melakukan semuanya – membangun model, menulis kode, menangani data dan penerapan. Mitos itu sekarang telah dibantah. Seperti yang dikatakan seorang ilmuwan data veteran, “model yang duduk di notebook tidak sebenarnya melakukan apa pun untuk bisnis.” Anda perlu menyematkan model itu ke dalam aplikasi atau proses agar menghasilkan nilai. Dan melakukan itu memerlukan upaya tim yang melintasi beberapa keterampilan.

Di akhir 2010-an, kami melihat tim data diversifikasi menjadi peran yang berbeda: insinyur data memulai membangun pipa yang kuat, insinyur pembelajaran mesin fokus pada produksi model, insinyur analitik mengelola lapisan analitik, dan seterusnya.

Hari ini, GenAI meningkatkan batang lebih tinggi lagi. Ya, Anda memerlukan spesialis AI (insinyur prompt, penghalus LLM, dll.) tetapi spesialis tersebut akan menabrak dinding jika mereka tidak memiliki pipa data yang matang, kerangka tata kelola, dan platform yang aman untuk bekerja. Seorang insinyur AI dapat memprototipe model bahasa yang hebat di sandbox tetapi mengubahnya menjadi produk yang digunakan oleh ribuan atau jutaan orang memerlukan kolaborasi dengan tim keamanan, petugas kepatuhan, arsitek data, dan lainnya.

AI adalah olahraga tim. Ini menggoda untuk berpikir Anda bisa menjatuhkan model state-of-the-art ke bisnis Anda dan tiba-tiba memiliki perusahaan yang didorong oleh AI. Perusahaan yang sukses dengan AI adalah mereka yang telah membangun tim lintas fungsional, atau “pabrik AI,” yang menggabungkan semua potongan ini. Tim data mereka telah berevolusi secara efektif menjadi tim produk AI full-stack, menggabungkan keahlian data, pemodelan, rekayasa, dan operasional. Mereka membangun dan mengirimkan alat mereka dengan cara yang didorong oleh data dan produk, dengan generasi nilai yang tertanam dalam setiap KPI.

Generasi Berikutnya dari Tim Data

Jadi, apa yang ada di masa depan untuk “tim data” baru? Berikut adalah gambaran tentang apa yang akan datang untuk tim-tim ini dalam beberapa tahun ke depan:

• Lebih Sedikit ETL/ELT Manual: Penghancuran data yang membosankan akan berkurang. Dengan pipa data yang lebih otomatis dan integrasi AI yang dibantu, tim tidak akan menghabiskan setengah waktu mereka membersihkan dan memindahkan data. Pekerjaan berat persiapan data akan semakin ditangani oleh sistem cerdas, memungkinkan manusia untuk fokus pada desain dan kontrol kualitas tingkat yang lebih tinggi.
• Lebih Sedikit Dashboard: Era penyuntingan filter dashboard yang tidak berakhir akan memudar. AI akan memungkinkan pengqueryan bahasa alami yang lebih dan pengiriman wawasan dinamis. Alih-alih dashboard pra-bangun untuk setiap pertanyaan, pengguna akan mendapatkan jawaban konversasional dari AI (dengan data sumber yang dilampirkan). Tim data akan menghabiskan lebih sedikit waktu mengembangkan laporan statis dan lebih banyak waktu melatih AI untuk menghasilkan wawasan secara instan.
• Lebih Banyak Pengembangan Produk AI Asli: Tim data akan berada di jantung inovasi produk. Apakah itu mengembangkan fitur AI baru yang menghadap pelanggan atau alat AI internal yang mengoptimalkan operasi, tim-tim ini akan bertindak sebagai tim produk. Mereka akan menggunakan praktik pengembangan perangkat lunak, prototip yang cepat, pengujian A/B, dan desain pengalaman pengguna – bukan hanya analisis data. Setiap tim data akan, pada dasarnya, menjadi tim produk AI yang mengirimkan nilai bisnis langsung.
• Agen Otonom Muncul: Di masa depan yang tidak terlalu jauh, tim data akan mengirimkan agen AI otonom untuk menangani keputusan dan tugas rutin. Alih-alih hanya memprediksi hasil, agen-agen ini akan diberi wewenang untuk mengambil tindakan tertentu (dengan pengawasan). Bayangkan agen AI ops yang dapat mendeteksi anomali dan secara otomatis membuka tiket perbaikan, atau agen penjualan AI yang menyesuaikan harga e-commerce secara real-time. Tim data akan bertanggung jawab untuk membangun dan mengelola agen-agen ini, mendorong batas apa yang bisa dicapai oleh otomatisasi.

Dalam cahaya perubahan ini, seseorang mungkin memang mengatakan “tim data seperti yang kita kenal sudah mati.” Para joki spreadsheet dan tukang ledeng dashboard telah memberi jalan bagi sesuatu yang baru: tim AI pertama yang fasih dalam data, kode, dan strategi bisnis. Tetapi jauh dari menjadi elegi, ini adalah perayaan. Generasi baru tim data baru saja dimulai, dan mereka lebih berharga dari sebelumnya

Jadi, ingatlah, insinyur data sudah mati, panjang umur insinyur data! Tim data seperti yang kita kenal telah pergi tetapi panjang umur tim data baru – semoga mereka memerintah di dunia yang didorong oleh AI ini dengan wawasan, tanggung jawab, dan keberanian.