Daniel Ciolek, Kepala Penelitian dan Pengembangan di InvGate – Seri Wawancara

Daniel adalah seorang profesional TI yang bersemangat dengan pengalaman lebih dari 15 tahun di industri ini. Dia memiliki gelar PhD. dalam Ilmu Komputer dan karir panjang dalam penelitian teknologi. Minatnya mencakup berbagai bidang, seperti Kecerdasan Buatan, Rekayasa Perangkat Lunak, dan Komputasi Kinerja Tinggi.

Daniel adalah Kepala Penelitian dan Pengembangan di InvGate, tempat dia memimpin inisiatif Penelitian dan Pengembangan. Dia bekerja bersama tim Pengembangan Produk dan Bisnis untuk merancang, menerapkan, dan memantau strategi Penelitian dan Pengembangan perusahaan. Ketika dia tidak melakukan penelitian, dia mengajar.

Gerbang Inv memberdayakan organisasi dengan menyediakan alat untuk memberikan layanan tanpa batas di seluruh departemen, mulai dari TI hingga Fasilitas.

Kapan dan bagaimana awalnya Anda tertarik pada ilmu komputer?

Ketertarikan saya pada ilmu komputer sudah ada sejak masa kanak-kanak saya. Saya selalu terpesona dengan perangkat elektronik, sering kali menemukan diri saya menjelajahi dan mencoba memahami cara kerjanya. Seiring bertambahnya usia, rasa ingin tahu ini membawa saya pada coding. Saya masih ingat kesenangan saat menulis program pertama saya. Sejak saat itu, tidak ada keraguan dalam benak saya bahwa saya ingin mengejar karir di bidang ilmu komputer.

Saat ini Anda memimpin inisiatif penelitian dan pengembangan dan menerapkan aplikasi AI generatif baru. Bisakah Anda mendiskusikan beberapa pekerjaan Anda?

Sangat. Di departemen Litbang, kami menangani permasalahan kompleks yang mungkin sulit untuk direpresentasikan dan diselesaikan secara efisien. Pekerjaan kami tidak terbatas pada aplikasi AI generatif, namun kemajuan terkini dalam bidang ini telah menciptakan banyak peluang yang ingin kami manfaatkan.

Salah satu tujuan utama kami di InvGate adalah mengoptimalkan kegunaan perangkat lunak kami. Kami melakukan hal ini dengan memantau cara penggunaannya, mengidentifikasi hambatan, dan berupaya keras untuk menghilangkannya. Salah satu hambatan yang sering kami temui terkait dengan pemahaman dan pemanfaatan bahasa alami. Masalah ini sangat sulit diatasi tanpa penggunaan Model Bahasa Besar (LLM).

Namun, dengan munculnya LLM yang hemat biaya baru-baru ini, kami telah mampu menyederhanakan kasus penggunaan ini. Kemampuan kami kini mencakup memberikan rekomendasi penulisan, menyusun artikel basis pengetahuan secara otomatis, dan merangkum potongan teks yang luas, di antara banyak fitur berbasis bahasa lainnya.

Di InvGate, tim Anda menerapkan strategi yang disebut “AI agnostik”. Bisakah Anda menjelaskan apa maksudnya dan mengapa ini penting?

AI agnostik pada dasarnya adalah tentang fleksibilitas dan kemampuan beradaptasi. Pada dasarnya, ini tentang tidak berkomitmen pada satu model atau penyedia AI. Sebaliknya, kami bertujuan untuk menjaga pilihan kami tetap terbuka, memanfaatkan yang terbaik yang ditawarkan oleh setiap penyedia AI, sekaligus menghindari risiko terjebak dalam satu sistem.

Anda dapat memikirkannya seperti ini: haruskah kita menggunakan GPT OpenAI, Gemini Google, atau Llama-2 Meta untuk fitur AI generatif kita? Haruskah kita memilih penerapan cloud bayar sesuai pemakaian, instans terkelola, atau penerapan yang dihosting sendiri? Ini bukanlah keputusan yang sepele, dan bahkan dapat berubah seiring berjalannya waktu seiring dengan dirilisnya model baru dan penyedia baru yang memasuki pasar.

Pendekatan Agnostic AI memastikan sistem kami selalu siap beradaptasi. Implementasi kami memiliki tiga komponen utama: antarmuka, router, dan model AI itu sendiri. Antarmuka mengabstraksi detail implementasi sistem AI, sehingga memudahkan bagian lain dari perangkat lunak kami untuk berinteraksi dengannya. Router memutuskan ke mana akan mengirim setiap permintaan berdasarkan berbagai faktor seperti jenis permintaan dan kemampuan model AI yang tersedia. Terakhir, model melakukan tugas AI sebenarnya, yang mungkin memerlukan pra-pemrosesan data khusus dan proses pemformatan hasil.

Bisakah Anda menjelaskan aspek metodologis yang memandu proses pengambilan keputusan Anda saat memilih model dan penyedia AI yang paling sesuai untuk tugas tertentu?

Untuk setiap fitur baru yang kami kembangkan, kami memulai dengan membuat tolok ukur evaluasi. Tolok ukur ini dirancang untuk menilai efisiensi berbagai model AI dalam menyelesaikan tugas yang ada. Namun kami tidak hanya fokus pada performa, kami juga mempertimbangkan kecepatan dan biaya setiap model. Hal ini memberi kami pandangan menyeluruh tentang nilai setiap model, memungkinkan kami memilih opsi yang paling hemat biaya untuk perutean permintaan.

Namun, proses kami tidak berakhir di situ. Di bidang AI yang berkembang pesat, model-model baru terus dirilis dan model-model yang sudah ada diperbarui secara berkala. Jadi, setiap kali model baru atau yang diperbarui tersedia, kami menjalankan kembali tolok ukur evaluasi kami. Hal ini memungkinkan kami membandingkan kinerja model baru atau yang diperbarui dengan model pilihan kami saat ini. Jika model baru mengungguli model saat ini, kami kemudian memperbarui modul router kami untuk mencerminkan perubahan ini.

Apa saja tantangan dalam peralihan yang lancar antara berbagai model dan penyedia AI?

Peralihan yang mulus antara berbagai model dan penyedia AI memang menghadirkan serangkaian tantangan unik.

Pertama, setiap penyedia AI memerlukan masukan yang diformat dengan cara tertentu, dan model AI dapat bereaksi berbeda terhadap permintaan yang sama. Ini berarti kita perlu melakukan optimasi secara individual untuk setiap model, yang bisa jadi cukup rumit mengingat beragamnya pilihan.

Kedua, model AI memiliki kemampuan berbeda. Misalnya, beberapa model dapat menghasilkan keluaran dalam format JSON, sebuah fitur yang terbukti berguna dalam banyak implementasi kami. Yang lain dapat memproses teks dalam jumlah besar, memungkinkan kami menggunakan konteks yang lebih komprehensif untuk beberapa tugas. Mengelola kemampuan ini untuk memaksimalkan potensi setiap model merupakan bagian penting dari pekerjaan kami.

Terakhir, kita perlu memastikan bahwa respons yang dihasilkan AI aman untuk digunakan. Model AI generatif terkadang dapat menghasilkan “halusinasi”, atau menghasilkan respons yang salah, di luar konteks, atau bahkan berpotensi membahayakan. Untuk memitigasi hal ini, kami menerapkan filter sanitasi pasca-pemrosesan yang ketat untuk mendeteksi dan menyaring respons yang tidak pantas.

Bagaimana antarmuka dirancang dalam sistem AI agnostik Anda untuk memastikan sistem tersebut secara efektif mengabstraksi kompleksitas teknologi AI yang mendasarinya untuk interaksi yang ramah pengguna?

Desain antarmuka kami merupakan upaya kolaboratif antara R&D dan tim teknik. Kami bekerja berdasarkan fitur demi fitur, menentukan persyaratan dan data yang tersedia untuk setiap fitur. Kemudian, kami merancang API yang terintegrasi secara mulus dengan produk, dan menerapkannya di Layanan AI internal kami. Hal ini memungkinkan tim teknik untuk fokus pada logika bisnis, sementara Layanan AI kami menangani kompleksitas dalam menangani berbagai penyedia AI.

Proses ini tidak bergantung pada penelitian mutakhir, melainkan pada penerapan praktik rekayasa perangkat lunak yang telah terbukti.

Mengingat operasi global, bagaimana InvGate menangani tantangan ketersediaan regional dan kepatuhan terhadap peraturan data lokal?

Memastikan ketersediaan regional dan kepatuhan terhadap peraturan data lokal adalah bagian penting dari operasi kami di InvGate. Kami dengan cermat memilih penyedia AI yang tidak hanya dapat beroperasi dalam skala besar, namun juga menjunjung standar keamanan terbaik dan mematuhi peraturan regional.

Misalnya, kami hanya mempertimbangkan penyedia yang mematuhi peraturan seperti Peraturan Perlindungan Data Umum (GDPR) di UE. Hal ini memastikan bahwa kami dapat menerapkan layanan kami dengan aman di berbagai wilayah, dengan keyakinan bahwa kami beroperasi dalam kerangka hukum setempat.

Penyedia cloud besar seperti AWS, Azure, dan Google Cloud memenuhi persyaratan ini dan menawarkan beragam fungsi AI, menjadikannya mitra yang cocok untuk operasi global kami. Selain itu, kami terus memantau perubahan peraturan data lokal untuk memastikan kepatuhan berkelanjutan, dan menyesuaikan praktik kami sesuai kebutuhan.

Bagaimana pendekatan InvGate dalam mengembangkan solusi TI berkembang selama dekade terakhir, khususnya dengan integrasi AI Generatif?

Selama dekade terakhir, pendekatan InvGate dalam mengembangkan solusi TI telah berkembang secara signifikan. Kami telah memperluas basis fitur kami dengan kemampuan tingkat lanjut seperti alur kerja otomatis, penemuan perangkat, dan Database Manajemen Konfigurasi (CMDB). Fitur-fitur ini telah sangat menyederhanakan pengoperasian TI bagi pengguna kami.

Baru-baru ini, kami mulai mengintegrasikan GenAI ke dalam produk kami. Hal ini dimungkinkan berkat kemajuan terkini dalam penyedia LLM, yang mulai menawarkan solusi hemat biaya. Integrasi GenAI memungkinkan kami menyempurnakan produk kami dengan dukungan yang didukung AI, menjadikan solusi kami lebih efisien dan ramah pengguna.

Meskipun ini masih tahap awal, kami memperkirakan AI akan menjadi alat yang banyak digunakan dalam operasional TI. Oleh karena itu, kami berencana untuk terus mengembangkan produk kami dengan lebih mengintegrasikan teknologi AI.

Bisakah Anda menjelaskan bagaimana AI generatif dalam AI Hub meningkatkan kecepatan dan kualitas respons terhadap insiden TI yang umum?

AI generatif dalam AI Hub kami secara signifikan meningkatkan kecepatan dan kualitas respons terhadap insiden TI yang umum. Hal ini dilakukan melalui proses multi-langkah:

Kontak Awal: Saat pengguna mengalami masalah, dia dapat membuka obrolan dengan Agen Virtual (VA) kami yang didukung AI dan menjelaskan masalahnya. VA secara mandiri menelusuri Basis Pengetahuan (KB) perusahaan dan database publik panduan pemecahan masalah TI, memberikan panduan dalam bentuk percakapan. Hal ini sering kali menyelesaikan masalah dengan cepat dan efisien.

Pembuatan Tiket: Jika masalahnya lebih kompleks, VA dapat membuat tiket, yang secara otomatis mengambil informasi relevan dari percakapan.

Penugasan Tiket: Sistem menugaskan tiket ke agen dukungan berdasarkan kategori tiket, prioritas, dan pengalaman agen dengan masalah serupa.

Interaksi Agen: Agen dapat menghubungi pengguna untuk mendapatkan informasi tambahan atau memberi tahu mereka bahwa masalah telah teratasi. Interaksi ditingkatkan dengan AI, memberikan rekomendasi penulisan untuk meningkatkan komunikasi.

Eskalasi: Jika masalah memerlukan eskalasi, fitur peringkasan otomatis membantu manajer memahami masalahnya dengan cepat.

Analisis Postmortem: Setelah tiket ditutup, AI melakukan analisis akar permasalahan, membantu analisis dan laporan postmortem. Agen juga dapat menggunakan AI untuk menyusun artikel basis pengetahuan, sehingga memfasilitasi penyelesaian masalah serupa di masa mendatang.

Meskipun kami telah menerapkan sebagian besar fitur ini, kami terus berupaya melakukan penyempurnaan dan penyempurnaan lebih lanjut.

Dengan fitur-fitur mendatang seperti Agen Virtual MS Teams yang lebih cerdas, peningkatan apa saja yang diharapkan dalam pengalaman dukungan percakapan?

Salah satu jalan ke depan yang menjanjikan adalah memperluas pengalaman percakapan menjadi “kopilot”, tidak hanya mampu menjawab pertanyaan dan mengambil tindakan sederhana, namun juga mengambil tindakan yang lebih kompleks atas nama pengguna. Hal ini dapat berguna untuk meningkatkan kemampuan layanan mandiri pengguna, serta menyediakan alat tambahan yang canggih bagi agen. Pada akhirnya, antarmuka percakapan yang kuat ini akan menjadikan AI sebagai pendamping yang ada di mana-mana.

Terima kasih atas wawancaranya yang luar biasa, pembaca yang ingin belajar lebih banyak harus berkunjung Gerbang Inv.