Daniel Ciolek, Kepala Penelitian dan Pengembangan di InvGate – Seri Wawancara

Daniel adalah seorang profesional IT yang bersemangat dengan lebih dari 15 tahun pengalaman di industri ini. Ia memiliki gelar PhD di Ilmu Komputer dan karir panjang dalam penelitian teknologi. Minatnya berada di beberapa area, seperti Kecerdasan Buatan, Rekayasa Perangkat Lunak, dan Komputasi Kinerja Tinggi.

Daniel adalah Kepala Penelitian dan Pengembangan di InvGate, di mana ia memimpin inisiatif R&D. Ia bekerja bersama tim Pengembangan Produk dan Bisnis untuk merancang, mengimplementasikan, dan memantau strategi R&D perusahaan. Ketika ia tidak melakukan penelitian, ia mengajar.

InvGate memberdayakan organisasi dengan menyediakan alat untuk mengirimkan layanan yang mulus di seluruh departemen, dari IT hingga Fasilitas.

Kapan dan bagaimana Anda awalnya tertarik dengan ilmu komputer?

Minat saya dalam ilmu komputer berasal dari masa kecil saya. Saya selalu tertarik dengan perangkat elektronik, sering menemukan diri saya menjelajahi dan mencoba memahami bagaimana mereka bekerja. Ketika saya tumbuh dewasa, rasa ingin tahu ini membawa saya ke pemrograman. Saya masih ingat kesenangan saya menulis program pertama saya. Dari saat itu, tidak ada keraguan dalam pikiran saya bahwa saya ingin mengejar karir di ilmu komputer.

Anda saat ini memimpin inisiatif R&D dan mengimplementasikan aplikasi AI generatif baru. Bisakah Anda membahas beberapa pekerjaan Anda?

Tentu. Di departemen R&D kami, kami menangani masalah kompleks yang dapat menantang untuk diwakili dan dipecahkan secara efisien. Pekerjaan kami tidak terbatas pada aplikasi AI generatif, tetapi kemajuan terbaru di bidang ini telah menciptakan sejumlah peluang yang kami ingin eksploitasi.

Salah satu tujuan utama kami di InvGate telah selalu menjadi mengoptimalkan kemudahan penggunaan perangkat lunak kami. Kami melakukan ini dengan memantau bagaimana perangkat lunak digunakan, mengidentifikasi bottleneck, dan rajin bekerja untuk menghilangkan mereka. Salah satu bottleneck yang kami temukan sering terkait dengan pemahaman dan penggunaan bahasa alami. Ini adalah masalah yang sangat sulit untuk diatasi tanpa menggunakan Model Bahasa Besar (LLM).

Namun, dengan munculnya LLM yang efektif biaya, kami telah dapat menyederhanakan kasus penggunaan ini. Kemampuan kami sekarang termasuk menyediakan rekomendasi penulisan, menghasilkan artikel basis pengetahuan secara otomatis, dan meringkas teks panjang, di antara fitur berbasis bahasa lainnya.

Di InvGate, tim Anda menerapkan strategi yang disebut “AI agnostik”. Bisakah Anda mendefinisikan apa yang dimaksud dan mengapa itu penting?

AI agnostik secara fundamental tentang fleksibilitas dan adaptabilitas. Esensinya, itu tentang tidak berkomitmen pada satu model AI atau penyedia. Sebaliknya, kami bertujuan untuk menjaga pilihan kami terbuka, memanfaatkan yang terbaik dari setiap penyedia AI, sambil menghindari risiko terkunci ke satu sistem.

Anda dapat memikirkan ini seperti ini: apakah kita harus menggunakan GPT OpenAI, Gemini Google , atau Llama-2 Meta untuk fitur AI generatif kami? Apakah kita harus memilih deployment cloud berbayar, instance yang dikelola, atau deployment self-hosted? Ini bukanlah keputusan yang sepele, dan mereka bahkan dapat berubah seiring waktu karena model baru dirilis dan penyedia baru memasuki pasar.

Pendekatan AI Agnostik memastikan bahwa sistem kami selalu siap untuk beradaptasi. Implementasi kami memiliki tiga komponen kunci: antarmuka, router, dan model AI itu sendiri. Antarmuka mengabstraksi detail implementasi sistem AI, membuatnya lebih mudah bagi bagian lain dari perangkat lunak kami untuk berinteraksi dengannya. Router memutuskan ke mana mengirimkan setiap permintaan berdasarkan faktor seperti jenis permintaan dan kemampuan model AI yang tersedia. Akhirnya, model melakukan tugas AI yang sebenarnya, yang mungkin memerlukan proses pra-pengolahan data dan pemformatan hasil khusus.

Bisakah Anda menjelaskan aspek metodologis yang memandu proses pengambilan keputusan Anda saat memilih model AI dan penyedia yang paling sesuai untuk tugas tertentu?

Untuk setiap fitur baru yang kami kembangkan, kami memulai dengan membuat benchmark evaluasi. Benchmark ini dirancang untuk menilai efisiensi model AI yang berbeda dalam memecahkan tugas yang diberikan. Namun, kami tidak hanya fokus pada kinerja, kami juga mempertimbangkan kecepatan dan biaya setiap model. Ini memberi kami pandangan holistik tentang nilai setiap model, memungkinkan kami untuk memilih opsi yang paling efektif biaya untuk pengalihan permintaan.

Namun, proses kami tidak berhenti di sana. Di bidang AI yang berkembang pesat, model baru terus dirilis dan model yang ada diperbarui secara teratur. Jadi, setiap kali model baru atau diperbarui tersedia, kami menjalankan kembali benchmark evaluasi kami. Ini memungkinkan kami untuk membandingkan kinerja model baru atau diperbarui dengan kinerja pilihan kami saat ini. Jika model baru mengungguli yang saat ini, kami kemudian memperbarui modul router kami untuk mencerminkan perubahan ini.

Apa beberapa tantangan dalam beralih secara mulus antara model AI dan penyedia yang berbeda?

Beralih secara mulus antara model AI dan penyedia yang berbeda memang menyajikan sejumlah tantangan unik.

Pertama, setiap penyedia AI memerlukan input yang diformat dengan cara tertentu, dan model AI dapat bereaksi berbeda terhadap permintaan yang sama. Ini berarti kami perlu mengoptimalkan secara individual untuk setiap model, yang dapat cukup kompleks mengingat berbagai pilihan.

Kedua, model AI memiliki kemampuan yang berbeda. Misalnya, beberapa model dapat menghasilkan output dalam format JSON, fitur yang terbukti berguna dalam banyak implementasi kami. Yang lain dapat memproses sejumlah besar teks, memungkinkan kami untuk menggunakan konteks yang lebih komprehensif untuk beberapa tugas. Mengelola kemampuan ini untuk memaksimalkan potensi setiap model adalah bagian penting dari pekerjaan kami.

Terakhir, kami perlu memastikan bahwa respons yang dihasilkan AI aman untuk digunakan. Model AI generatif dapat terkadang menghasilkan “halusinasi”, atau menghasilkan respons yang salah, tidak terkait, atau bahkan berpotensi berbahaya. Untuk memitigasi ini, kami mengimplementasikan filter sanitasi pasca-pengolahan yang ketat untuk mendeteksi dan menyaring respons yang tidak pantas.

Bagaimana antarmuka dirancang dalam sistem AI agnostik Anda untuk memastikan bahwa kompleksitas teknologi AI yang mendasarinya diabstraksi dengan efektif untuk interaksi pengguna yang ramah?

Desain antarmuka kami adalah upaya kolaboratif antara tim R&D dan tim rekayasa. Kami bekerja pada fitur per fitur, mendefinisikan persyaratan dan data yang tersedia untuk setiap fitur. Kemudian, kami merancang API yang terintegrasi dengan produk secara mulus, mengimplementasikannya dalam Layanan AI internal kami. Ini memungkinkan tim rekayasa untuk fokus pada logika bisnis, sementara Layanan AI kami menangani kompleksitas teknologi AI yang mendasarinya.

Proses ini tidak bergantung pada penelitian canggih, tetapi pada penerapan praktik rekayasa perangkat lunak yang terbukti.

Mengingat operasi global, bagaimana InvGate menangani tantangan ketersediaan regional dan kepatuhan dengan peraturan data lokal?

Memastikan ketersediaan regional dan kepatuhan dengan peraturan data lokal adalah bagian penting dari operasi kami di InvGate. Kami dengan hati-hati memilih penyedia AI yang tidak hanya dapat beroperasi pada skala besar, tetapi juga mempertahankan standar keamanan tertinggi dan mematuhi peraturan regional.

Misalnya, kami hanya mempertimbangkan penyedia yang mematuhi peraturan seperti Peraturan Perlindungan Data Umum (GDPR) di UE. Ini memastikan bahwa kami dapat dengan aman mengirimkan layanan kami di berbagai wilayah, dengan keyakinan bahwa kami beroperasi dalam kerangka hukum setempat.

Penyedia cloud utama seperti AWS, Azure, dan Google Cloud memenuhi persyaratan ini dan menawarkan berbagai fungsi AI, membuat mereka menjadi mitra yang sesuai untuk operasi global kami. Selain itu, kami terus memantau perubahan dalam peraturan data lokal untuk memastikan kepatuhan berkelanjutan, menyesuaikan praktik kami sesuai kebutuhan.

Bagaimana pendekatan InvGate dalam mengembangkan solusi IT telah berkembang selama dekade terakhir, terutama dengan integrasi Kecerdasan Buatan Generatif?

Selama dekade terakhir, pendekatan InvGate dalam mengembangkan solusi IT telah berkembang secara signifikan. Kami telah memperluas basis fitur kami dengan kemampuan lanjutan seperti alur kerja otomatis, penemuan perangkat, dan Basis Data Manajemen Konfigurasi (CMDB). Fitur-fitur ini telah sangat menyederhanakan operasi IT untuk pengguna kami.

Baru-baru ini, kami telah mulai mengintegrasikan GenAI ke dalam produk kami. Ini telah dimungkinkan berkat kemajuan terbaru dalam penyedia LLM, yang telah mulai menawarkan solusi yang efektif biaya. Integrasi GenAI telah memungkinkan kami untuk meningkatkan produk kami dengan dukungan AI yang ditenagai, membuat solusi kami lebih efisien dan ramah pengguna.

Meskipun masih awal, kami memprediksi bahwa AI akan menjadi alat yang sangat umum dalam operasi IT. Sebagai hasilnya, kami berencana untuk terus mengembangkan produk kami dengan mengintegrasikan lebih lanjut teknologi AI.

Bisakah Anda menjelaskan bagaimana kecerdasan buatan generatif dalam AI Hub meningkatkan kecepatan dan kualitas respons terhadap insiden IT umum?

Kecerdasan buatan generatif dalam AI Hub kami secara signifikan meningkatkan kecepatan dan kualitas respons terhadap insiden IT umum. Ini dilakukan melalui proses multi-langkah:

Kontak Awal: Ketika pengguna mengalami masalah, mereka dapat membuka obrolan dengan Agen Virtual (VA) yang ditenagai AI kami dan menjelaskan masalahnya. VA secara otomatis mencari melalui Basis Pengetahuan (KB) perusahaan dan basis data umum panduan pemecahan masalah IT, memberikan panduan dalam cara percakapan. Ini sering menyelesaikan masalah dengan cepat dan efisien.

Pembuatan Tiket: Jika masalahnya lebih kompleks, VA dapat membuat tiket, secara otomatis mengekstrak informasi relevan dari percakapan.

Pengaturan Tiket: Sistem mengatur tiket ke agen dukungan berdasarkan kategori tiket, prioritas, dan pengalaman agen dengan masalah serupa.

Interaksi Agen: Agen dapat menghubungi pengguna untuk informasi tambahan atau untuk memberitahu mereka bahwa masalah telah diselesaikan. Interaksi ini ditingkatkan dengan AI, memberikan rekomendasi penulisan untuk meningkatkan komunikasi.

Escalasi: Jika masalah memerlukan eskalasi, fitur ringkasan otomatis membantu manajer memahami masalah dengan cepat.

Analisis Pasca-Mortem: Setelah tiket ditutup, AI melakukan analisis penyebab akar, membantu dalam analisis pasca-mortem dan laporan. Agen juga dapat menggunakan AI untuk menghasilkan artikel basis pengetahuan, memfasilitasi penyelesaian masalah serupa di masa depan.

Meskipun kami telah mengimplementasikan sebagian besar fitur ini, kami terus bekerja pada peningkatan dan perbaikan lebih lanjut.

Dengan fitur mendatang seperti Agen Virtual MS Teams yang lebih pintar, apa yang diharapkan dalam peningkatan pengalaman dukungan percakapan?

Salah satu jalur janji ke depan adalah memperluas pengalaman percakapan ke “kopilot”, tidak hanya mampu menjawab pertanyaan dan melakukan tindakan sederhana, tetapi juga melakukan tindakan yang lebih kompleks atas nama pengguna. Ini bisa berguna untuk meningkatkan kemampuan layanan mandiri pengguna, serta menyediakan alat yang lebih kuat bagi agen. Pada akhirnya, antarmuka percakapan yang kuat ini akan membuat AI menjadi teman yang sangat umum.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi InvGate.