Sohrab Hosseini, Co-Founder of orq.ai – Seri Wawancara

Sohrab Hosseini, Co-Founder of orq.ai, adalah seorang pemimpin teknologi dan wirausaha yang berbasis di area Amsterdam dengan pengalaman mendalam di bidang SaaS, sistem skala besar, dan AI terapan. Sejak mendirikan orq.ai pada 2022, ia telah fokus pada membangun infrastruktur praktis yang membantu tim memindahkan model bahasa besar dari eksperimen ke penggunaan produksi yang dapat diandalkan. Latar belakangnya termasuk peran kepemimpinan senior sebagai COO dan CTO di Neocles, CTO Teknologi Masa Depan di Transdev di mana ia bekerja pada rute otonom dan manajemen armada, dan COO di TradeYourTrip. Secara paralel, ia aktif sebagai penasihat dan investor malaikat, mendukung perusahaan AI tahap awal dengan arah produk, penilaian teknis, dan strategi eksekusi.

orq.ai adalah platform kolaborasi AI generatif dan LLMOps yang dibangun untuk membantu organisasi merancang, mengoperasikan, dan menskala produk dan agen AI yang ditenagai di lingkungan dunia nyata. Platform ini membawa manajemen prompt, eksperimen, pengumpulan umpan balik, dan visibilitas waktu nyata ke dalam kinerja dan biaya menjadi satu ruang kerja, sambil tetap kompatibel dengan semua penyedia model bahasa besar utama. Dengan memungkinkan kolaborasi erat antara tim teknis dan non-teknis, orq.ai membantu perusahaan mempersingkat siklus rilis, meningkatkan tata kelola dan transparansi, dan mengurangi kompleksitas dan biaya menjalankan sistem AI di produksi.

Anda telah memegang peran teknis dan operasional senior di bidang sistem otonom, teknologi manajemen armada, dan platform SaaS sebelum mendirikan Orq.ai — bagaimana jalur karir itu membentuk keputusan Anda untuk membangun lapisan kontrol kelas perusahaan untuk agen AI pada 2022?

Latar belakang kami selalu tentang memimpin tim rekayasa dan fokus pada platform pemberdayaan; hal-hal seperti cloud, DevOps, dan pemberdayaan data, terutama selama kami menjadi konsultan teknologi. Ketika ledakan AI generatif dimulai, saya dan co-founder saya bertanya pada diri sendiri: apa jenis pemberdayaan yang diperlukan perusahaan untuk tidak hanya membangun AI, tetapi untuk mengatur dan mengendalikannya dengan benar?

Kami melihat bahwa kebutuhan nyata adalah untuk lapisan kontrol kelas perusahaan untuk agen AI. Ini menyebabkan kami membangun Orq.ai dari awal.

Ketika Anda pertama kali meluncurkan Orq.ai, apa yang Anda lihat di pasar yang meyakinkan Anda bahwa bottleneck nyata bukanlah kualitas model tetapi ketidakmampuan untuk mengambil sistem agen dari demo ke produksi yang dapat diandalkan?

Kami selalu percaya bahwa ketika Anda membangun perangkat lunak inovatif, Anda harus membangun untuk masa depan. Dari awal, kami menganggap bahwa model bahasa besar akan terus meningkat dan menjadi lebih pintar seiring waktu. Jadi, tantangan nyata yang kami lihat bukanlah kualitas model itu sendiri, tetapi semua masalah kontrol, tata kelola, dan manajemen siklus hidup yang muncul ketika Anda mencoba memindahkan dari demo ke lingkungan produksi yang nyata.

Dengan kata lain, bahkan ketika model meningkat, nilai sebenarnya untuk klien kami (dan untuk kami) adalah memastikan bahwa sistem ini benar-benar berjalan dengan andal di produksi. Dan itu adalah apa yang kami coba selesaikan.

Sebagian besar tim dapat membangun prototipe yang mengesankan tetapi mengalami kesulitan dengan orkestrasi runtime, tata kelola, dan pemantauan. Menurut Anda, apa titik patah terbesar ketika tim rekayasa mencoba menskala dari lingkungan proof-of-concept ke agen produksi yang hidup?

Titik patah terbesar adalah bahwa tim sering berpikir bahwa ini hanya sebuah jalur lurus dari memulai membangun agen ke memiliki agen yang selesai. Dalam kenyataan, ini adalah proses yang sangat iteratif.

Anda terus-menerus menyesuaikan asumsi Anda, mengujinya, memindahkan hal-hal ke produksi, dan kemudian memantau apa yang terjadi di dunia nyata. Anda menemukan kasus tepi, dan kemudian Anda memulai siklus itu semua lagi.

Tantangan itu adalah bahwa ini bukan hanya upaya satu kali; ini adalah proses yang berkelanjutan. Dan untuk membangun pada itu, ini tidak hanya bahwa itu iteratif, tetapi itu bahwa seringkali tidak ada cukup tooling atau scaffolding yang ada untuk mendukung proses tersebut dengan lancar.

Anda memerlukan cara untuk ahli domain, manajer produk, dan insinyur untuk berkolaborasi tanpa membuat silo atau handover yang mahal yang membuang banyak waktu. Jadi itu adalah potongan besar lain dari puzzle: memastikan bahwa semua pemangku kepentingan ini dapat beriterasi bersama dengan efisien. Dan itu adalah sesuatu yang kami telah coba selesaikan juga.

Orq.ai memposisikan diri sebagai lapisan kontrol yang terunifikasi yang meliputi eksperimen, evaluasi, keterlihatan, dan runtime. Mengapa Anda percaya bahwa arsitektur ujung-ke-ujung diperlukan, bukan menawarkan alat isolasi seperti banyak solusi titik?

Ketika Anda memulai, itu adalah hal yang alami untuk memilih alat tunggal yang memecahkan poin nyeri terbesar Anda pada saat itu, seringkali itu mungkin observabilitas. Tetapi ketika tim Anda berkembang, Anda mengenai bottleneck berikutnya dan menambahkan alat lain, misalnya gerbang AI. Sebelum Anda menyadarinya, Anda telah memiliki lima hingga tujuh alat yang berbeda di lanskap Anda. Data menjadi terfragmentasi, orang kehilangan visibilitas, dan Anda membuang sumber daya hanya untuk memelihara semua integrasi ini. Anda kehilangan pandangan terunifikasi di seluruh siklus hidup Anda.

Kami percaya bahwa ketika perusahaan agen berkembang, Anda benar-benar memerlukan arsitektur ujung-ke-ujung ini. Anda memerlukan pandangan terunifikasi tentang apa yang dilakukan semua agen Anda di seluruh organisasi, bukan solusi titik yang terfragmentasi. Itulah mengapa kami tidak melihat cara lain selain memasukkan bagian-bagian besar alur kerja ini dalam platform terunifikasi.

Dengan Agent Studio baru dan runtime yang dirancang ulang, apa poin nyeri utama yang Anda coba selesaikan berdasarkan umpan balik dari pelanggan awal di seluruh Eropa dan AS?

Apa yang kami lihat adalah bahwa tim menggunakan berbagai perpustakaan sumber terbuka untuk membangun agen mereka, bahkan jika arsitektur agen sebenarnya cukup bersih dan sederhana. Mereka berakhir dengan perpustakaan yang membengkak, banyak overhead, dan kurva belajar yang besar hanya untuk mendapatkan agen sederhana keluar. Dengan Orq, kami ingin menghilangkan beban itu.

Sebagai gantinya, daripada memikirkan arsitektur, komputasi, autoscaling, semua infrastruktur itu, tim dapat hanya fokus pada mengkonfigurasi agen mereka dan memberi mereka alat dan API yang tepat. Kami menangani pekerjaan berat sehingga mereka dapat berkonsentrasi pada membangun kasus penggunaan mereka yang sebenarnya. Dan di atas itu, karena kami mendukung seluruh siklus hidup, kami telah membangun meja kerja khusus yang memungkinkan Anda untuk benar-benar menguji agen Anda dalam skala.

Itu berarti Anda dapat menemukan kasus tepi lebih cepat dan mengeras agen Anda lebih efektif. Ini semua tentang memberi tim alat tidak hanya untuk membangun agen dengan mudah, tetapi untuk memperbaiki dan menguatkan mereka dalam skenario dunia nyata, tanpa semua kerumitan tambahan.

Seiring GDPR dan Undang-Undang AI UE memperketat persyaratan, bagaimana regulasi ini mempengaruhi cara perusahaan merancang, memantau, dan mengirimkan agen — dan bagaimana Orq.ai beradaptasi?

Ini tidak banyak bahwa persyaratan ini tiba-tiba memperketat, mereka hanya bagian dari hukum, dan klien kami harus mematuhinya. Apa yang kami lakukan adalah memastikan bahwa di seluruh siklus hidup, kami memberi tim alat, evaluator, dan guardrail yang tepat sehingga mereka dapat membangun kepatuhan sejak hari pertama.

Kami memastikan bahwa kediaman data, privasi data, semua itu dipanggang dari awal. Dan dengan stres geopolitik dan dorongan untuk kedaulatan teknologi dan AI di Eropa, kami telah melihat permintaan besar untuk itu. Karena kami dapat berjalan sepenuhnya on-premises dan membantu perusahaan mengurangi ketergantungan, kami berada dalam posisi yang baik untuk membantu mereka tetap mengendalikan nasib mereka sendiri.

Perusahaan semakin meminta arsitektur yang siap kedaulatan dan penerapan hibrida/on-premises. Apa yang pergeseran ini katakan tentang ke mana infrastruktur AI perusahaan menuju?

Setiap perusahaan dan bahkan setiap kasus penggunaan melibatkan kompromi. Ini adalah pertanyaan tentang seberapa siap-pakai versus seberapa aman dan on-premises sesuatu perlu. Kami mendukung setiap rasa di sepanjang spektrum ini. Tetapi apa yang kami lihat adalah fokus kuat pada kedaulatan dan kediaman data di lapisan model.

Klien ingin kejelasan tentang di mana data mereka tinggal dan kemampuan untuk mengurangi ketergantungan pada penyedia cloud besar. Berkat gerbang AI kami, yang berjalan di semua platform cloud utama dan on-premises, tim dapat dengan mudah membuat kompromi tersebut berdasarkan kasus penggunaan. Mereka mendapatkan fleksibilitas untuk tetap mengendalikan dan bergerak dengan lancar antara lingkungan.

Kami melihat lonjakan besar dalam permintaan dari perusahaan besar dan lembaga sektor publik.

Bagaimana Anda melihat alur kerja multi-agen, guardrail keamanan, dan sistem penalaran yang lebih maju berkembang ketika perusahaan berpindah dari eksperimen ke industrialisasi agen yang sebenarnya pada 2026?

Ketika penggunaan agen benar-benar industrialis, kami melihat masalah baru muncul, terutama dengan setup multi-agen. Anda mungkin memiliki lusinan atau bahkan ratusan agen yang berjalan di sekitar organisasi Anda pada waktu tertentu, seperti karyawan.

Pertanyaannya adalah: bagaimana Anda mengatur mereka semua ketika Anda memiliki set masalah multi-dimensi, seperti biaya, kualitas data, kediaman data, kebenaran, metrik halusinasi, dan sebagainya? Anda memerlukan lapisan tata kelola baru untuk menangani itu, dan Anda memerlukan guardrail keamanan yang dapat diterapkan dari atas ke bawah.

Anda juga memerlukan visibilitas atas dan lapisan agregasi baru sehingga CFO, COO, CISO Anda dapat melihat apa yang terjadi dan campur tangan dengan wawasan yang dapat ditindaklanjuti. Kami benar-benar percaya bahwa pada 2026, konsep “departemen agen” ini dan teknologi untuk mendukungnya akan menjadi topik yang jauh lebih panas.

Agen drift, regresi kualitas, dan aliran data yang tidak jelas adalah masalah berulang dalam produksi AI. Bagaimana lapisan kontrol Orq.ai menangani kesenjangan lama ini dalam penomoran, evaluasi, dan pemantauan berkelanjutan?

Setiap agen benar-benar memerlukan harness evaluasi sendiri. Evaluasi ini pada dasarnya mendefinisikan apa yang benar dan salah untuk skenario tertentu. Dengan menghabiskan waktu di awal untuk menyiapkan set evaluasi ini dengan benar, tim dapat melakukan eksperimen offline yang lebih baik untuk melihat bagaimana hal-hal berperilaku sebelum pergi ke live. Dan kemudian dengan memantau evaluasi yang sama secara online, Anda dapat menemukan kapan model bergeser atau kapan perilaku agen mulai berubah seiring waktu. Dengan cara itu, Anda memiliki set konsisten dari metrik kualitas selama pengujian offline, pemantauan online, dan pengawalan.

Menghadap ke depan, apa yang Anda pikir akan mendefinisikan generasi berikutnya dari agen AI kelas perusahaan — dan bagaimana Orq.ai memposisikan diri untuk menjadi platform operasional default untuk dunia itu?

Menghadap ke depan, saya pikir apa yang akan mendefinisikan generasi berikutnya dari agen AI kelas perusahaan adalah bahwa setiap vendor akan menyediakan agen mereka sendiri. Di perusahaan yang lebih besar, ini akan menjadi lanskap yang luas dari agen pertama dan ketiga yang bekerja bersama dan memanggil satu sama lain.

Ini tidak akan hanya satu jenis agen atau satu vendor; ini adalah ekosistem yang memerlukan tata kelola dan kepatuhan. Dan itulah di mana Orq masuk. Kami memposisikan diri sebagai menara kontrol agen yang memberi lapisan yang berbeda di organisasi pandangan agregat yang tepat dan wawasan yang dapat ditindaklanjuti untuk campur tangan pada tahap apa pun.

Apakah itu membangun, menskala, mengoperasikan, atau bahkan mematikan agen, fungsi yang berbeda akan memerlukan pandangan yang berbeda dari lanskap itu. Dan kami akan menjadi penyedia default untuk kemampuan itu.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi orq.ai.