Pablo Ormachea, VP of Data di Motus – Interview Series

Pablo Ormachea, VP of Data di Motus, membangun sistem AI dan analitik perusahaan yang dirancang untuk bergerak cepat sekaligus tahan terhadap pengawasan regulasi dan keuangan. Dia memimpin tim lintas fungsi yang sepenuhnya jarak jauh dan berfokus pada sistem pengambilan keputusan berbasis bukti yang meningkatkan retensi, memperluas margin, dan memberikan ROI yang terukur. Di Motus, dia merekayasa ulang analitik untuk lebih dari 350.000 pengemudi, mencapai pelaporan 60× lebih cepat tanpa timeout, dan meluncurkan sistem AI/ML termasuk deteksi anomali dan peramalan churn yang telah menghemat klien jutaan dolar. Dia juga ikut menulis kerangka tata kelola AI Motus, yang memungkinkan eksperimen LLM yang aman dengan default yang jelas, kemampuan audit yang kuat, dan logika bisnis yang konsisten di seluruh tumpukan data.

Motus adalah perusahaan perangkat lunak manajemen tenaga kerja dan mobilitas yang membantu organisasi mengelola penggantian kendaraan, pelacakan jarak tempuh, dan operasi tenaga kerja seluler. Platform cloudnya mengotomatiskan program penggantian yang menguntungkan secara pajak, memberikan pelaporan dan wawasan real-time, serta membantu perusahaan mengurangi biaya, meningkatkan produktivitas, dan mengelola kepatuhan untuk karyawan yang mengemudi sebagai bagian dari pekerjaan mereka.

Anda telah membangun karier unik di persimpangan rekayasa AI, strategi data, dan regulasi — dari Harvard Law hingga memimpin data dan AI di Motus. Pengalaman kunci apa yang membentuk pendekatan Anda dalam membangun sistem AI yang secara teknis canggih sekaligus mematuhi kerangka regulasi yang ketat?

Saya belajar sejak dini untuk memperlakukan kepatuhan sebagai kendala rekayasa, bukan pertimbangan hukum tambahan. Jika Anda membangun jalan tol, Anda bisa berkendara dengan kecepatan jalan tol. Jika Anda berpura-pura itu jalan tanah dan tetap ngebut, Anda tidak bergerak lebih cepat. Anda hanya akan tabrakan lebih cepat.

Harvard Law membantu dengan cara yang mengejutkan karena sistem common law pada dasarnya adalah pembelajaran berbasis residual. Sebuah aturan bertemu realitas. Kasus tepi mengungkap di mana aturan itu gagal. Doktrin diperbaiki.

Itulah model mental yang sama yang saya gunakan untuk AI dalam produksi. Setiap residual adalah hadiah. Itu memberi tahu Anda di mana asumsi Anda menyimpang dari dunia nyata, dan itu memberi Anda jalan konkret untuk mengencangkan sistem.

Jadi, saya mengoptimalkan dua hal sekaligus: kecepatan pengiriman dan beban pembuktian. Tujuannya bukan “inovasi versus kepatuhan.” Tujuannya adalah membangun sistem yang dapat bergerak cepat dan tetap menjawab, dengan jelas dan berulang, “Bagaimana Anda tahu?”

Anda ikut menulis kebijakan tata kelola AI Motus yang merampingkan persetujuan sambil mempertahankan kontrol yang kuat. Prinsip apa yang memandu Anda saat merancang kebijakan itu, dan bagaimana Anda menyeimbangkan kecepatan inovasi dengan kesiapan audit?

Kami tidak bermaksud menulis aturan. Kami menggambar peta. Ketika adopsi AI dimulai, minat datang dari segala arah, dan kecepatan bisa berubah menjadi kebisingan, atau lebih buruk, liabilitas. Jadi pekerjaan pertama adalah kejelasan: di mana LLM dapat berjalan dan di mana tidak, data apa yang tetap berada di dalam, dan jenis eksperimen apa yang diizinkan di jalur aman.

Keseimbangan datang dari membuat jalur aman menjadi jalur mudah. Tata kelola gagal ketika itu adalah komite. Itu berhasil ketika menjadi default: alat yang disetujui, batasan data yang jelas, pencatatan standar, dan jalur persetujuan cepat untuk kasus tepi. Tujuannya adalah agar pembangun tidak perlu menegosiasikan ulang keamanan setiap kali mereka mengirimkan.

Kemudian kesiapan audit menjadi produk sampingan. Anda tidak berjuang mengumpulkan bukti setelah fakta karena sistem menghasilkan bukti saat berjalan.

Anda pernah mengatakan praktik AI harus memenuhi “pengawasan setingkat IRS.” Bisakah Anda berbagi contoh di mana pertimbangan regulasi secara langsung memengaruhi keputusan teknis AI atau ML di Motus?

Dalam alur kerja yang diatur, pertanyaannya bukan hanya “apakah modelnya akurat?” Tapi “bisakah Anda menunjukkan pekerjaan Anda nanti?” Realitas itu membentuk seperti apa “bagus” di Motus.

Itu mengubah pilihan desain. Untuk kasus penggunaan tertentu, kami condong pada pendekatan yang dapat dijelaskan, dapat diputar ulang, dan mudah diaudit. Terkadang itu berarti keluarga model yang lebih sederhana. Sering kali itu berarti pagar pengaman deterministik, fitur yang diversioning, dan pencatatan input serta output dengan cara yang mendukung pemutaran ulang yang sebenarnya.

Contoh konkret: ketika kami memperbarui bagian logika dan pelaporan penggantian kami, kami mendorong keras pada kemampuan pelacakan di titik keputusan kunci. Kami ingin sistem dapat menjawab, sesuai permintaan, aturan apa yang dijalankan, data apa yang digunakan, versi apa yang berjalan, dan apa yang akan mengubah hasilnya. Itu membuat komponen AI lebih dapat digunakan, dan membuat seluruh alur kerja lebih mudah dipertahankan.

Hasilnya berlipat ganda. Ketika Anda dapat memutar ulang perilaku dan mengiris kesalahan, residual berhenti menjadi misterius. Mereka menjadi backlog yang diprioritaskan: apa yang gagal, di mana, mengapa, dan perubahan apa yang menutup celah.

Motus mengoperasikan solusi untuk penggantian kendaraan dan mitigasi risiko yang harus memenuhi persyaratan IRS dan regulasi lainnya. Bagaimana AI meningkatkan kepatuhan dan akurasi dalam kasus penggunaan perusahaan ini?

AI membantu dalam dua cara: mengurangi gesekan manual dan memperkuat kemampuan pertahanan.

Pada penggantian, nilainya bukan hanya otomatisasi, tapi konsistensi. AI dapat membantu mengklasifikasikan perjalanan, mendeteksi anomali, dan mengungkap informasi yang hilang lebih awal, yang mengurangi rekonsiliasi hilir. Tidak ada yang ingin penggantian menjadi proyek arkeologi bulanan. Manfaat kepatuhan datang dari pengukuran dan dokumentasi yang lebih baik. Anda mendukung hasil dengan catatan yang jelas daripada mengandalkan rekonstruksi setelah fakta.

Pada risiko, AI berguna karena pemeriksaan titik-waktu tidak cukup. Perusahaan ingin kesadaran berkelanjutan tentang apa yang berubah, apa yang terlihat aneh, dan apa yang perlu diperhatikan. Sistem AI terbaik di sini tidak dramatis. Mereka tenang, konsisten, dan terukur.

Memimpin tim jarak jauh lintas fungsi yang berkolaborasi dengan Legal, Keamanan, Keuangan, dan Produk bukanlah hal kecil. Apa tantangan terbesar yang Anda hadapi dalam menyelaraskan kelompok-kelompok ini di sekitar inisiatif data dan AI?

Bagian tersulit adalah setiap kelompok itu rasional, dan mereka mengoptimalkan risiko yang berbeda.

Keamanan khawatir tentang paparan. Legal khawatir tentang kemampuan pertahanan. Keuangan khawatir tentang biaya dan prediktabilitas. Produk khawatir tentang kecepatan dan nilai pelanggan. Data dan rekayasa khawatir tentang kelayakan dan keandalan. Jika Anda memperlakukan itu sebagai agenda yang bersaing, Anda akan macet.

Perbaikannya adalah bahasa bersama dan jalur yang jelas. Kami menyelaraskan pada keputusan yang dipertaruhkan, mendefinisikan batasan, dan menyepakati bukti apa yang diperlukan untuk “baik”. Kemudian kami membangun default sehingga sebagian besar pekerjaan dapat bergerak tanpa upacara.

Saya menemukan bahwa kejelasan mengalahkan persuasi. Ketika orang dapat melihat peta, penyelarasan menjadi jauh lebih mudah.

Anda telah mendorong peningkatan kinerja besar — seperti pelaporan 60× lebih cepat untuk 350.000+ pengemudi dan penghematan jutaan bagi klien. Bagaimana Anda memutuskan proyek AI/ML mana yang diprioritaskan untuk dampak taktis dan nilai strategis?

Saya memprioritaskan proyek yang lulus tiga ujian.

Pertama, mereka harus mengubah keputusan atau alur kerja nyata, bukan hanya menghasilkan skor yang cerdik. Jika output tidak secara andal mengubah perilaku, itu adalah demo, bukan produk.

Kedua, mereka harus terukur. Kakek nenek saya biasa berkata “yang terukur dengan baik setengah selesai.” Dalam pengaturan yang diatur, itu lebih dari setengah. Jika kami tidak dapat mendefinisikan kesuksesan, mode kesalahan, dan pemantauan di depan, itu berarti kami belum memahami pekerjaannya.

Ketiga, mereka harus dapat dipertahankan di bawah pengawasan. Itu termasuk asal usul data, batasan akses, dan kemampuan untuk menjelaskan serta memutar ulang hasil.

Ketika sebuah proyek lulus ujian itu, cenderung menciptakan kemenangan taktis dan penggandaan strategis. Di Motus, itulah cara kami memberikan peningkatan perubahan langkah, termasuk pelaporan yang secara material lebih cepat dalam skala, lebih sedikit pengecualian, dan otomatisasi yang diterjemahkan menjadi penghematan waktu klien yang nyata.

Kepercayaan dan kemampuan penjelasan sangat penting untuk adopsi AI perusahaan. Bagaimana tim Anda memastikan model dapat diinterpretasikan dan dapat dipercaya bagi pemangku kepentingan di seluruh unit bisnis?

Kepercayaan datang dari kejelasan, konsistensi, dan sistem yang dapat menjelaskan dirinya sendiri di bawah tekanan.

Kami merancang sistem dengan tombol putar ulang. Input yang sama, versi yang sama, output yang sama, ditambah jejak bukti tentang apa yang berubah dari waktu ke waktu. Kami juga membuat residual terlihat. Setiap kesalahan adalah informasi. Jika Anda menginstrumentasi kesalahan dengan benar, Anda dapat menjelaskan perilaku dalam bahasa sederhana dan meningkatkannya dengan cara yang disiplin.

Ketika suatu keputusan memiliki paparan audit, kami condong ke model yang lebih sederhana ditambah pengukuran yang kuat daripada kompleksitas buram. Secara praktis, itu berarti definisi data yang jelas, evaluasi yang mengiris kinerja berdasarkan segmen yang bermakna, pemantauan untuk drift, dan proses perubahan yang terdokumentasi. Pemangku kepentingan tidak perlu setiap detail teknis. Mereka membutuhkan keyakinan bahwa sistem itu terukur, terbatas, dan membaik.

Dalam pengaturan perusahaan, kemampuan penjelasan bukanlah preferensi filosofis. Itu adalah persyaratan untuk adopsi, dan itu penting ketika klien perlu bertahan dari audit di masa depan.

Dari pipa data tingkat HIPAA hingga pelaporan yang mematuhi IRS, Motus menekankan AI yang aman dan skalabel. Praktik terbaik apa yang akan Anda rekomendasikan kepada pemimpin AI lain yang bekerja di industri yang diatur?