Wawancara

Sadeepa Wijesekara, Wakil Presiden Private Cloud AI di HPE – Seri Wawancara

Antoine Tardif
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Poin utamaEkonomi AI menjadi disiplin bisnis hanya ketika uji coba berkembang menjadi produksi…
Lihat selengkapnya
  • Ekonomi AI menjadi disiplin bisnis hanya ketika uji coba berkembang menjadi produksi dan keuangan ikut terlibat dalam pembicaraan.
  • Biaya per token mengukur konsumsi sementara biaya per hasil bisnis mengungkapkan apakah investasi itu benar-benar masuk akal.
  • Alur kerja agentic dapat melipatgandakan konsumsi token secara dramatis bahkan ketika harga inferensi terus menurun.

Sadeepa Wijesekara adalah Wakil Presiden Private Cloud AI di Hewlett Packard Enterprise (HPE), tempat ia memimpin pengembangan perangkat lunak dan platform AI perusahaan untuk lingkungan cloud privat. Fokusnya mencakup membantu organisasi menerapkan AI dengan aman dan dalam skala besar, sekaligus menyelaraskan keputusan infrastruktur dengan kebutuhan bisnis. Ia menerapkan perspektif teknik pada aspek ekonomi AI produksi, termasuk pengelolaan beban kerja, pemilihan model, dan biaya untuk menjaga keandalan sistem yang semakin otonom.

Hewlett Packard Enterprise (HPE) menyediakan teknologi perusahaan yang mencakup AI, cloud, jaringan, komputasi, dan penyimpanan. Portofolio Private Cloud AI-nya mendukung organisasi yang menerapkan beban kerja AI pada infrastruktur yang mereka kendalikan, bersama cloud hibrida dan layanan eksternal. Dalam wawancara ini, Wijesekara membahas alasan belanja AI perlu diukur berdasarkan hasil bisnis, bagaimana alur kerja berbasis agen mengubah pola konsumsi, serta faktor keuangan dan operasional yang memengaruhi keputusan tentang model, orkestrasi, dan infrastruktur.

HPE telah memperluas penerapan AI di antara lebih dari 70.000 karyawan. Apa yang Anda pelajari dari pengalaman tersebut tentang kapan aspek ekonomi AI tak lagi menjadi urusan TI semata dan mulai menjadi disiplin bisnis yang lebih luas?

Aspek ekonomi AI menjadi disiplin bisnis yang lebih luas ketika perusahaan beralih dari proyek percontohan ke penerapan produksi. Proyek percontohan dapat menunjukkan apakah AI mampu menjalankan suatu tugas, tetapi juga dapat menyamarkan inefisiensi karena jumlah penggunanya sedikit. Ketika jumlah pengguna bertambah dari 10 menjadi 10.000, Anda perlu mempertimbangkan biaya, latensi, dan keandalan, sekaligus memahami nilai yang dihasilkan AI. Pada tahap itu, pembahasan perlu melibatkan bagian keuangan dan para pemimpin yang bertanggung jawab atas proses bisnis yang didukung AI. Bagian TI dapat mengukur sumber daya yang digunakan aplikasi, tetapi pemimpin bisnis perlu menentukan apakah hasilnya sepadan dengan investasi tersebut.

Banyak organisasi masih sangat berfokus pada metrik seperti biaya per token saat mengevaluasi AI generatif. Mengapa menurut Anda biaya per hasil bisnis merupakan ukuran yang lebih bermakna, dan bagaimana perusahaan sebaiknya menghitungnya dalam praktik?

Biaya per token menunjukkan seberapa banyak AI yang Anda gunakan, tetapi tidak memberi tahu apakah penggunaan tersebut menghasilkan sesuatu yang bermanfaat. Perusahaan sebaiknya terlebih dahulu menetapkan hasil bisnis yang ingin dicapai, lalu menghitung total biaya untuk mencapainya. Model hanyalah salah satu komponen biaya tersebut, selain perangkat lunak, penyimpanan, pemindahan data, tata kelola, dan sumber daya manusia. Membandingkan biaya-biaya itu dengan nilai yang dihasilkan dalam proses bisnis tertentu memberi perusahaan gambaran yang lebih baik tentang kelayakan ekonomi investasi tersebut.

Ketika AI beralih dari kopilot individual ke sistem berbasis agen dan multiagen yang mampu menjalankan rangkaian tugas panjang, seberapa besar konsumsi dapat meningkat, bahkan jika biaya inferensi dasarnya terus menurun?

Konsumsi dapat meningkat dengan sangat cepat karena satu permintaan pengguna bisa memicu jauh lebih banyak pekerjaan di balik layar. Agen dapat mengambil informasi dan memanggil alat sambil menjalani beberapa tahap sebelum menghasilkan jawaban. Dalam salah satu perbandingan HPE yang representatif, interaksi chatbot dasar menggunakan sekitar 400 token, sedangkan permintaan RAG berbasis agen menggunakan sekitar 21.500 token. Meskipun harga token turun, total konsumsi tetap dapat meningkat tajam seiring AI menangani pekerjaan yang lebih kompleks.

Bagaimana sebaiknya perusahaan menilai apakah suatu kasus penggunaan AI benar-benar menciptakan nilai ekonomi, bukan sekadar meningkatkan metrik produktivitas atau menghasilkan demonstrasi yang mengesankan?

Sebelum diperluas, suatu kasus penggunaan perlu dikaitkan dengan kasus bisnis yang memiliki KPI yang jelas. Perusahaan perlu memahami biaya proses bisnis dan bagaimana biaya itu berubah ketika AI diterapkan. Mereka juga perlu membedakan peningkatan dalam suatu aktivitas dari peningkatan hasil bisnis. Waktu yang dihemat menjadi lebih bermakna jika memungkinkan perusahaan menangani lebih banyak masalah pelanggan, mengurangi kesalahan, atau menyelesaikan pekerjaan yang sebelumnya terbengkalai. Evaluasi juga perlu memperhitungkan kualitas hasil serta peninjauan tambahan atau pengerjaan ulang yang diperlukan. Demonstrasi yang berhasil membuktikan suatu kemampuan; peningkatan terukur dalam proses bisnis menjadi dasar untuk memutuskan apakah penerapannya perlu diperluas. Dalam beberapa kasus, analisis tersebut mungkin menunjukkan bahwa AI bukanlah solusi yang tepat.

Pengalihan model dan orkestrasi AI semakin banyak dibahas sebagai cara untuk mengendalikan biaya. Seberapa besar nilai yang dapat diperoleh perusahaan dengan memilih secara dinamis antara model yang lebih kecil, model frontier, model khusus, dan perangkat lunak konvensional sesuai dengan tugasnya?

Ada banyak manfaat dari menyesuaikan model dengan tugas yang harus dikerjakan. Kami melihat perusahaan mengirimkan beban kerja yang sangat beragam ke model AI tercanggih yang sama dan berbiaya tinggi karena pada awalnya mereka memprioritaskan penerapan AI. Hal itu mungkin masih dapat dikelola ketika jumlah penggunanya sedikit, tetapi biaya meningkat pesat seiring meluasnya adopsi. Model tercanggih mungkin sesuai untuk penalaran kompleks, sedangkan model yang lebih kecil bisa cukup untuk tugas rutin. Model khusus mungkin lebih cocok untuk domain tertentu, sementara tugas yang dapat diprediksi dan berbasis aturan bisa ditangani dengan lebih efisien oleh perangkat lunak tradisional. Orkestrasi membantu memadukan berbagai pilihan itu dalam satu alur kerja, dengan menggunakan model yang lebih mumpuni saat tugas tersebut membutuhkannya. Seiring meningkatnya kemampuan model dengan bobot terbuka, perusahaan juga memiliki lebih banyak peluang untuk menjalankan beban kerja tertentu di infrastruktur mereka sendiri, alih-alih membayar model eksternal. Pada skala perusahaan, keputusan perutean tersebut dapat berdampak signifikan terhadap biaya tanpa mengurangi kualitas yang dibutuhkan bisnis.

Pada titik apa biaya menjalankan beban kerja AI beralih dari menyewa komputasi melalui API atau cloud publik menjadi memiliki atau mengendalikan lebih banyak infrastruktur yang mendasarinya? Variabel apa yang perlu dipertimbangkan perusahaan saat mengambil keputusan tersebut?

Saya melihatnya seperti menyewa dibandingkan membeli. Menyewa bisa menjadi pilihan yang masuk akal saat perusahaan masih bereksperimen atau ketika permintaan sangat bervariasi. Ketika penggunaan meningkat dan lebih mudah diprediksi, memiliki atau mengendalikan lebih banyak infrastruktur dapat mulai masuk akal secara ekonomi. Memiliki infrastruktur juga membuka peluang untuk menjalankan eksperimen AI tambahan saat penggunaan rendah, sehingga investasi yang sudah dilakukan dapat dimanfaatkan dengan lebih baik. Perusahaan perlu mempertimbangkan karakteristik beban kerja, serta biaya listrik, pengelolaan, dan pemutakhiran sistem. Bagi banyak perusahaan besar, pendekatan yang tepat kemungkinan mencakup infrastruktur privat sekaligus layanan eksternal, bergantung pada beban kerjanya.

HPE terus mengembangkan infrastruktur AI privatnya seiring perusahaan memindahkan lebih banyak beban kerja ke tahap produksi. Menurut Anda, dalam hal apa AI privat menawarkan keunggulan ekonomi terbesar dibandingkan penggunaan AI sepenuhnya melalui layanan cloud publik?

AI privat dapat menawarkan keunggulan ekonomi yang signifikan untuk beban kerja berkelanjutan, ketika perusahaan dapat memanfaatkan kapasitas yang mereka miliki secara efektif. Dalam salah satu analisis HPE dengan asumsi beban kerja tertentu, biaya HPE Private Cloud AI diperkirakan sekitar $45 per jam per node, dibandingkan sekitar $102 untuk konfigurasi cloud sewaan yang setara. Hasil tersebut akan bervariasi menurut beban kerja dan perlu dihitung ulang untuk setiap lingkungan. AI privat juga memberi perusahaan model keuangan lain, yang memungkinkan infrastruktur menjadi aset yang menghasilkan nilai bagi organisasi.

Agen AI menimbulkan biaya di luar inferensi, termasuk pengambilan data, pemanggilan alat, pemantauan, keamanan, dan tata kelola. Biaya apa yang paling mungkin diremehkan organisasi saat menyusun anggaran untuk AI agentik dalam skala besar?

Menurut saya, perusahaan kemungkinan meremehkan upaya yang diperlukan untuk menjaga agar agen tetap andal, aman, dan bermanfaat dari waktu ke waktu. Selain inferensi, ada biaya untuk mengambil dan menyiapkan data, mengakses alat eksternal, serta memindahkan informasi antarsistem. Pemanggilan alat berulang atau upaya yang gagal dapat menambah biaya tanpa menghasilkan tugas yang selesai. Perusahaan juga perlu menganggarkan evaluasi hasil, pemantauan perilaku agen, pengelolaan izin akses, serta pemeliharaan kontrol keamanan dan tata kelola. Pengawasan manusia juga perlu diperhitungkan, termasuk waktu yang digunakan untuk meninjau pengecualian atau memperbaiki kesalahan. Untuk memahami biaya penyelesaian tugas dengan sukses, seluruh alur kerja tersebut perlu terlihat.

Anda menekankan pentingnya melacak penggunaan AI berdasarkan tiap kasus bisnis. Seperti apa kerangka pengukuran internal yang efektif, dan seberapa sering organisasi perlu menilai kembali apakah aplikasi AI masih layak menanggung biaya komputasi dan operasional berkelanjutannya?

Kerangka tersebut harus menghubungkan penggunaan secara langsung dengan kasus bisnisnya. Perusahaan perlu mengetahui aplikasi mana yang menggunakan sumber daya dan hasil apa yang diharapkan darinya. Di HPE, kami melacak KPI dan biaya satuan yang mendasarinya untuk setiap kasus penggunaan guna mengukur apakah aplikasi tersebut memberikan hasil sesuai harapan. Saya juga ingin melihat pengukuran itu hingga tingkat departemen dan proses bisnis, agar CFO dapat memahami biaya suatu proses saat ini dibandingkan dengan biayanya setelah menggunakan AI. Pengukuran ini harus dilakukan secara berkelanjutan karena penggunaan dan ekonomi aplikasi dapat berubah seiring waktu. Perusahaan juga perlu melakukan penilaian ulang ketika model, harga, atau alur kerja berubah secara material, karena perubahan tersebut dapat memengaruhi biaya maupun nilai aplikasi.

Jika melihat tiga hingga lima tahun ke depan, seiring AI tertanam dalam sebagian besar proses bisnis, bagaimana menurut Anda ekonomi AI perusahaan akan berkembang? Apakah pengelolaan konsumsi AI pada akhirnya akan menyerupai praktik seperti FinOps cloud, atau apakah organisasi memerlukan model operasional yang sepenuhnya baru?

Menurut saya, ekonomi AI akan bertumpu pada disiplin FinOps, seperti visibilitas biaya, alokasi, dan akuntabilitas, sekaligus memperluasnya agar dapat mengukur kualitas dan nilai pekerjaan yang dilakukan AI. Seiring agen mengambil alih lebih banyak tahapan dalam proses bisnis, perusahaan perlu memahami biaya untuk menyelesaikan proses tersebut dengan sukses, termasuk percobaan ulang, campur tangan manusia, dan apakah hasilnya memenuhi standar yang disyaratkan. Saya memperkirakan hal itu akan menjadi tanggung jawab bersama tim TI, keuangan, dan operasional bisnis. Kita masih berada pada tahap awal dalam menetapkan cara yang konsisten untuk membuat perbandingan tersebut di berbagai organisasi dan industri. Seiring waktu, saya ingin melihat adanya metrik standar yang memungkinkan perusahaan memahami seberapa efisien mereka beroperasi dengan AI dan mencerminkan hal itu dalam laporan laba rugi (P&L) mereka.

Terima kasih atas wawancara yang menarik ini. Pembaca yang ingin mengetahui lebih lanjut tentang AI di cloud privat, infrastruktur perusahaan, dan peningkatan skala beban kerja AI dapat mengunjungi HPE.

Antoine adalah pemimpin visioner dan mitra pendiri Unite.AI, yang didorong oleh semangat tak tergoyahkan untuk membentuk dan memajukan masa depan AI dan robotika. Sebagai pengusaha yang telah mendirikan beberapa perusahaan, ia percaya bahwa AI akan mengubah masyarakat secara mendasar seperti listrik. Ia kerap berbicara dengan antusias tentang potensi teknologi disruptif dan kecerdasan buatan umum (AGI).

Sebagai futuris, ia berdedikasi untuk menelusuri bagaimana inovasi ini akan membentuk dunia kita. Ia juga merupakan pendiri Securities.io, platform yang berfokus pada investasi dalam teknologi mutakhir yang mendefinisikan ulang masa depan dan mengubah berbagai sektor secara menyeluruh.