Adam Gross, Co-Pendiri dan CEO HarmonEyes – Seri Wawancara

Adam Gross, Co-Pendiri dan CEO HarmonEyes, adalah seorang wirausahawan serial dengan hampir tiga dekade pengalaman membangun dan mengembangkan bisnis berbasis teknologi di bidang kesehatan, layanan keuangan, dan analitik data. Ia mendirikan RightEye pada 2013, mengembangkan platform teknologi pelacakan mata yang digunakan di bidang kesehatan, olahraga profesional, dan aplikasi kinerja militer, sebelum mendirikan HarmonEyes bersama Dr. Melissa Hunfalvay pada 2024 untuk memperluas keahlian tersebut ke dalam kecerdasan keadaan manusia berbasis AI. Pada awal kariernya, Gross mendirikan perusahaan pengendalian biaya kesehatan KeyClaims, yang diakuisisi oleh Stratose/Zelis Healthcare pada 2012, dan platform analitik keuangan Trending123.com, yang diakuisisi oleh InvestorPlace Media pada 2007. Ia juga mendirikan perusahaan teknologi keuangan KeepMore dan mendirikan bersama Eastern ATM, yang mengoperasikan jaringan ATM pribadi di sepanjang Pantai Timur AS sebelum diakuisisi pada 1998.

HarmonEyes sedang mengembangkan Theia, model fondasi AI yang dirancang untuk menyimpulkan aspek kognitif, emosional, dan fisik seseorang dari gerakan mata secara real time. Teknologi ini dapat mengukur sinyal termasuk beban kognitif, perhatian, kesiapan mental, kelelahan, stres, gangguan, mabuk perjalanan, dan otentikasi pengguna, dengan potensi aplikasi meliputi asisten AI, sistem otomotif, realitas diperluas, pertahanan, layanan kesehatan, pendidikan, keselamatan industri, permainan, dan riset pasar. Theia dirancang untuk beroperasi di edge pada perangkat biasa yang dilengkapi kamera tanpa memerlukan perangkat keras pelacakan mata khusus, dengan HarmonEyes menyatakan bahwa video dan data pribadi tidak disimpan. Perusahaan menelusuri teknologi mereka kembali ke RightEye dan mengatakan model mereka menggunakan lebih dari 585 miliar titik data gerakan mata dari 16,3 juta catatan, menyediakan dataset proprietari besar untuk melatih dan menyempurnakan teknologi kecerdasan keadaan manusia mereka.

Anda mendirikan RightEye pada 2013 dan menghabiskan lebih dari satu dekade mengembangkan teknologi pelacakan mata untuk aplikasi kesehatan, olahraga, dan militer sebelum meluncurkan HarmonEyes pada 2024. Apa yang meyakinkan Anda bahwa teknologi dan dataset dasar ini dapat mendukung model fondasi yang lebih luas untuk kecerdasan keadaan manusia, dan mengapa HarmonEyes menjadi kendaraan yang tepat untuk visi tersebut?

Dengan lebih dari satu dekade pengalaman mengembangkan produk pelacakan mata untuk berbagai bidang, ada tiga perubahan yang memicu visi kami untuk HarmonEyes membawa kecerdasan keadaan manusia ke miliaran perangkat:

1. Selama dekade terakhir kami telah memperoleh basis data pelacakan mata yang terverifikasi dan berlabel terbesar, yang mencakup lebih dari 130 set data yang meliputi demografi (misalnya, usia, jenis kelamin), kinerja, perhatian, emosi, penglihatan, dan kondisi kesehatan, dll.
2. Dengan proliferasinya AI, teknik untuk melatih model real-time tiba-tiba tersedia bagi kami — dan kami memiliki data untuk melatihnya.
3. Sinyal pelacakan mata ditangkap oleh kamera.  Baru-baru ini, dan untuk pertama kalinya, kamera konsumen menjadi lebih baik, lebih cepat, lebih murah, dan cukup kuat untuk mengekstrak sinyal tersebut.  Melalui inovasi tim kami, kami kini dapat menyebarkan model pelacakan mata pada perangkat berbasis kamera apa pun, termasuk laptop, ponsel, tablet, mobil, dll.

Ofcom telah membedakan inferensi usia berbasis perilaku, yang memerlukan pengamatan bagaimana seseorang menggunakan platform, dari pemeriksaan usia yang dapat dilakukan sebelum akses diberikan. Bagaimana memperkirakan usia dari gerakan mata berbeda secara teknis dan etis dibandingkan menganalisis riwayat penelusuran, preferensi konten, bahasa, atau sinyal perilaku lainnya?

Teknologi kami hanya memerlukan sampel kecil gerakan mata dari subjek untuk menempatkan individu dalam rentang usia atau untuk mengonfirmasi seseorang lebih muda/lebih tua dari usia tertentu. Kami dapat mengumpulkan data gerakan mata secara pasif, terus-menerus, dan non-invasif tanpa menyimpan atau mengumpulkan informasi pribadi yang dapat diidentifikasi. Lebih lanjut, semua data pelacakan mata dihancurkan setelah hasil diberikan. Kami juga memiliki kemampuan untuk melakukan deteksi keaslian (liveness) dan perlindungan spoof, sehingga memastikan orang tidak dapat memanipulasi sistem.

Secara etis, ini berarti kami tidak memprofilkan perilaku, kebiasaan, keputusan, atau preferensi seseorang—berbeda dengan inferensi perilaku, yang secara definisi membangun gambaran seseorang dari cara mereka bertindak seiring waktu. Kami memberikan jaminan usia tanpa mengumpulkan atau menyimpan informasi pribadi semacam itu, sehingga pengguna dan orang tua dapat yakin bahwa mereka dilindungi, bukan dilacak atau diprofilkan.

Penelitian yang dipublikasikan oleh HarmonEyes menganalisis gerakan mata dari 45.696 orang dan melaporkan akurasi klasifikasi 94,67% di 12 kelompok usia. Apa sebenarnya yang diukur oleh angka akurasi tersebut, dan berapa banyak validasi tambahan yang diperlukan sebelum model dapat secara andal menentukan apakah seseorang berada di atas atau di bawah ambang batas tertentu seperti usia 16 tahun?

Akurasi mengukur bahwa setiap data orang yang ditambahkan ke dataset, 94,67% waktu gerakan mata orang tersebut akan mengkategorikan kelompok usia yang tepat (dari 12 kelompok). Kemampuan untuk mengukur di atas atau di bawah usia 16 tahun lebih ringan dibandingkan mengidentifikasi rentang usia spesifik. Namun, data yang digunakan dalam studi tersebut mengecualikan orang dengan gangguan penglihatan atau kondisi neurologis, sehingga validasi tambahan perlu mencakup orang dengan gerakan mata non-fungsional tertentu.

Bisakah Anda menjelaskan secara teknis apa yang terjadi ketika seorang pengembang memanggil kemampuan estimasi usia Theia, mulai dari menangkap gerakan mata melalui kamera biasa hingga mengembalikan hasil rentang usia, dan menjelaskan tahap mana yang sepenuhnya terjadi di perangkat pengguna?

Kamera pertama menghitung vektor pandangan, yang membantu menentukan ke mana pengguna melihat. Vektor pandangan ini kemudian diproses melalui SDK kami di mana mereka diubah menjadi fitur pelacakan mata, seperti kecepatan (seberapa cepat mata bergerak) dan fiksasi (di mana mata berfokus).

Setelah fitur-fitur ini dihasilkan, mereka diberikan ke algoritma ML dan AI kami untuk menentukan rentang usia pengguna.

Semua pemrosesan ini berbasis edge dan dapat dilakukan langsung pada perangkat pengguna atau, tergantung pada strategi penyebaran, di cloud. Tidak ada data pelacakan mata mentah yang disimpan; data tersebut dibuang segera setelah setiap output dihasilkan.

Sistem estimasi usia dapat berperforma berbeda tergantung pada pencahayaan, kualitas kamera, kacamata, lensa kontak, kondisi mata, disabilitas, etnisitas, dan jarak pengguna ke perangkat. Bagaimana Anda menguji Theia melintasi variabel-variabel ini, dan bukti apa yang akan diterima pengembang mengenai akurasi untuk populasi dan lingkungan yang berbeda?

Memang akurasi estimasi usia bervariasi tergantung pada kondisi. Untuk menyediakan model jaminan usia kepada populasi umum, HarmonEyes menguji, memvalidasi, dan melaporkan hasil secara transparan sehingga Theia digunakan secara bertanggung jawab. Ini mencakup memperluas dan menggeneralisasi model kami dengan menggunakan dataset yang lebih besar dan lebih beragam.

• Kami menyediakan panduan tentang tingkat akurasi dan jika, misalnya, tingkat sampling data yang rendah memengaruhi latensi output jaminan usia.
• Pertimbangan dan pemantauan real-time untuk banyak aspek kualitas data.

Bagaimana Theia akan melindungi diri dari upaya mengelak seperti video rekaman sebelumnya, foto, wajah sintetis, saudara yang lebih tua menyelesaikan pemeriksaan, atau pengguna yang sengaja mengubah pandangannya, dan apakah deteksi keaslian (liveness) akan dibangun langsung ke dalam kit pengembangan perangkat lunak?

Semua model jaminan usia HarmonEyes akan menyertakan deteksi keaslian dan pemeriksaan spoofing. Gerakan mata bersifat unik bagi setiap individu dan HarmonEyes dapat menentukan apakah gerakan mata untuk sebuah akun cocok dengan orang yang membuat akun tersebut, atau merupakan orang lain, misalnya saudara yang lebih tua.

Tidak ada model estimasi usia yang akan sempurna, terutama bagi pengguna yang berada dekat dengan ambang batas hukum. Bagaimana seharusnya pengembang menangani hasil yang tidak pasti, dan apakah Anda membayangkan Theia digunakan sebagai pemeriksaan utama, sinyal risiko, atau bagian dari proses berlapis yang meningkatkan beberapa pengguna ke metode verifikasi lain?

Tidak ada model estimasi usia yang sempurna. Kami menyediakan tingkat kepercayaan bersama setiap hasil. Tingkat akurasi dan kepercayaan ini mungkin cukup untuk mengonfirmasi jaminan usia. Namun, misalnya jika tingkat kepercayaan untuk pengukuran tertentu berada di bawah ambang tertentu, hal itu dapat digunakan untuk memicu verifikasi sekunder. Model jaminan usia kami dapat digunakan sebagai salah satu dari beberapa metode untuk memvalidasi usia individu, di mana beberapa metode harus lulus. Akhirnya, toleransi risiko dan apakah kasus penggunaan memerlukan usia spesifik, dibandingkan rentang usia, atau bahkan ambang usia (misalnya 16 tahun atau lebih muda) akan menentukan apakah solusi tersebut merupakan pemeriksaan utama atau proses berlapis.

HarmonEyes menyatakan bahwa Theia memproses informasi di edge dan menghapus data pelacakan mata setelah output diberikan. Bagaimana pengembang, auditor, atau regulator dapat secara independen memverifikasi arsitektur tersebut, dan bagaimana perusahaan akan meningkatkan modelnya tanpa mengumpulkan data pelacakan mata mentah dari aplikasi yang diterapkan?

Proses pengembangan model kami, dan perbaikan model selanjutnya, dilakukan dalam pipeline pelacakan mata milik kami yang proprietari. Kami tidak menggunakan data pelanggan untuk ini — kami menggunakan data yang sudah ada (dan terus bertambah) yang telah terverifikasi.

Ini memungkinkan kami menyampaikan solusi kami di edge (tanpa cloud) bila diinginkan. Pada lingkungan berbasis edge ini, komputasi dan penyimpanan biasanya terbatas dan tidak ada kemampuan untuk menyimpan data di perangkat. Kami menyampaikan output jaminan usia setiap detik — dan kebijakan kami adalah menghancurkan data pelacakan mata setiap detik (setelah setiap output diberikan).

Kami menyadari bahwa klaim arsitektur hanya sepercayaan sejauh kemampuan untuk mengkonfirmasinya secara eksternal. Kami sedang mengejar sertifikasi dan attestasi pihak ketiga yang dirancang untuk memungkinkan pengembang, auditor, dan regulator memverifikasi bahwa data pelacakan mata tidak dikumpulkan atau disimpan dalam aplikasi yang diterapkan.

Inggris sedang mengembangkan kriteria untuk pemeriksaan yang sangat efektif, sementara Uni Eropa menekankan sistem bukti-usia anonim yang mengungkapkan sesedikit mungkin informasi pribadi. Bagaimana HarmonEyes akan menunjukkan bahwa estimasi usia fisiologis memenuhi persyaratan yang muncul ini daripada sekadar memperkenalkan bentuk pengawasan biometrik yang berbeda?

Setiap model yang kami kirim dilengkapi dengan white paper yang mendokumentasikan metodologi pengembangan, akurasi model, dan keterbatasan yang diketahui, serta kami membuat Theia tersedia untuk pengujian langsung dan jarak jauh sehingga regulator atau auditor dapat mengevaluasi kinerja dunia nyata secara langsung.

Seiring jaminan usia beralih dari platform sosial individu menuju sistem operasi, toko aplikasi, dan infrastruktur tingkat perangkat, di mana Anda percaya Theia seharusnya berada dalam tumpukan teknologi tersebut, dan seperti apa adopsi yang bertanggung jawab di seluruh aplikasi konsumen, permainan, media sosial, dan layanan lain yang memiliki batasan usia?

Kami mengejar banyak jenis integrasi untuk kemampuan jaminan usia kami. Kami membayangkan Theia beroperasi dalam tumpukan teknologi privat perusahaan seperti platform media sosial; dalam infrastruktur perangkat, seperti sistem operasi; dalam infrastruktur perdagangan, seperti jaringan pembayaran; atau langsung pada tingkat aplikasi.

Bagi kami, adopsi yang bertanggung jawab berarti menyediakan kemampuan jaminan usia yang akurat dengan transparansi proses validasi, keragaman data dalam model, dan menyampaikannya dengan cara yang privat serta biaya penyebaran yang efektif.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi HarmonEyes.