Sistem Rekomendasi Jodoh Berbasis AI yang Hanya Menggunakan Gambar

Peneliti dari Inggris telah menggunakan jaringan saraf untuk mengembangkan sistem rekomendasi untuk mencocokkan pasangan kencan online yang hanya mempertimbangkan apakah dua pengguna tertarik dengan foto-foto profil masing-masing (bukan informasi profil seperti pekerjaan, usia, dll.), dan menemukan bahwa sistem ini lebih unggul daripada sistem yang kurang “dangkal” dalam hal mendapatkan kecocokan yang akurat.

Sistem yang dihasilkan disebut Temporal Image-Based Reciprocal Recommender (TIRR), dan menggunakan Recurrent Neural Networks (RNNs) untuk menafsirkan sejarah preferensi pengguna terhadap wajah yang ditemui saat browsing untuk mencari pasangan potensial.

Makalah tersebut berjudul – mungkin mengecewakan – Foto Adalah Semua yang Anda Butuhkan untuk Rekomendasi Timbal Balik dalam Kencan Online, dan berasal dari dua peneliti di Universitas Bristol, yang memperbaiki sistem serupa (disebut ImRec) yang dirilis oleh tim yang sama pada tahun 2020.

Dalam pengujian, sistem tersebut mencapai akurasi tertinggi dalam kemampuan untuk memprediksi kecocokan timbal balik antara pengguna, tidak hanya memperbaiki hasil penelitian tahun 2020, tetapi juga sistem rekomendasi berbasis konten lainnya yang mempertimbangkan informasi profil yang lebih rinci dan berbasis teks.

Dataset Kencan Dunia Nyata

TIRR dilatih dengan informasi pengguna yang disediakan oleh layanan kencan online yang tidak disebutkan namanya dengan ‘beberapa juta pengguna terdaftar’, yang hanya memungkinkan pengguna untuk berkomunikasi dengan satu sama lain setelah keduanya telah ‘menyukai’ profil masing-masing. Subset data yang digunakan mencakup 200.000 subjek, dibagi rata antara pria dan wanita, dan sekitar 800.000 preferensi pengguna yang dinyatakan di seluruh profil kencan.

Because layanan kencan online yang menyediakan data hanya mendukung kecocokan heteroseksual, hanya kecocokan pria/wanita yang dicakup dalam penelitian.

TIRR memperbaiki desain sistem rekomendasi timbal balik sebelumnya dalam bidang ini dengan langsung menghitung probabilitas kecocokan antara dua profil, berdasarkan hanya pada gambar profil. Sistem sebelumnya memprediksi dua preferensi searah dan kemudian menggabungkannya untuk mendapatkan prediksi.

Peneliti mengecualikan pengguna yang telah dihapus dari layanan kencan (atas alasan apa pun, termasuk keluar secara sukarela), dan mengecualikan profil yang tidak termasuk foto berbasis wajah.

Riwayat pengguna dibatasi hingga satu tahun ke belakang, untuk menghindari anomali potensial yang mungkin terjadi karena situs kencan mengubah algoritmanya dari waktu ke waktu. Mereka juga dibatasi hingga maksimal 15 preferensi pengguna, karena telah terbukti cukup untuk membuktikan desain model, sementara penggunaan preferensi yang lebih luas akan merusak kinerja dan meningkatkan waktu pelatihan.

Selain itu, beberapa pengguna yang lebih antusias atau jangka panjang memiliki riwayat dengan ribuan preferensi, yang mungkin berisiko menggeser bobot fitur yang diperoleh, dan lebih lanjut memperpanjang waktu pelatihan.

Jaringan Siamese

TIRR diformulasikan menggunakan jaringan Siamese, yang biasanya digunakan untuk ‘pembelajaran satu tembakan’.

Sebuah template jaringan Siamese, di mana jaringan saraf konvolusional paralel (CNN) berbagi bobot tetapi tidak berbagi data. Mereka juga berbagi fungsi kerugian yang berasal dari output masing-masing CNN, dan label kebenaran.  Source: https://arxiv.org/pdf/2108.11714.pdf

Jaringan tersebut dilatih menggunakan binary crossentropy, sebuah fungsi kerugian umum dalam jaringan saraf, dan yang peneliti temukan memberikan hasil yang lebih baik dibandingkan dengan kerugian kontrastif. Yang terakhir paling efektif dalam sistem yang mengevaluasi kesamaan antara dua wajah, tetapi karena ini bukan tujuan TIRR, ini adalah pendekatan yang berkinerja buruk dalam konteks ini.

Sangat penting bagi sistem untuk mempertahankan dan membangun informasi yang dikembangkan selama iterasi pelatihan berulang kali, dan jaringan Siamese di TIRR menggunakan jaringan LSTM (Long Term Short-Term Memory) untuk membuat keputusan ini, dan untuk memastikan bahwa fitur yang dianggap relevan tidak dibuang secara acak saat kerangka kerja membangun wawasannya.

Arsitektur jaringan Siamese khusus untuk TIRR.

Peneliti menemukan bahwa jaringan dilatih sangat lambat ketika semua data dimasukkan, dan kemudian membagi pelatihan menjadi tiga tahap menggunakan tiga subset data yang berbeda. Ada beberapa keuntungan tambahan dalam hal ini, karena eksperimen tahun 2020 sebelumnya telah menunjukkan bahwa pelatihan dataset pria dan wanita secara terpisah meningkatkan kinerja sistem rekomendasi timbal balik.

Pembagian sesi pelatihan terpisah untuk jaringan Siamese TIRR.

Pengujian

Untuk mengevaluasi kinerja TIRR, peneliti menyimpan sebagian data yang diperoleh dan menjalankannya melalui sistem yang telah mencapai kesempurnaan. Namun, karena sistem ini cukup baru, tidak ada sistem sebelumnya yang secara langsung analog untuk dibandingkan.

Oleh karena itu, peneliti pertama-tama menetapkan Kurva Karakteristik Penerima (ROC) sebagai baseline untuk jaringan Siamese, sebelum menggunakan Uniform Manifold Approximation dan Proyeksi untuk Pengurangan Dimensi (UMAP) untuk menipiskan vektor 128-dimensi untuk visualisasi yang mudah, dalam rangka menetapkan aliran yang konsisten dari “suka” dan “tidak suka”.

Di sebelah kiri, ROC jaringan Siamese sebagai indikator baseline kinerja; di sebelah kanan, visualisasi UMAP menunjukkan ‘suka’ dalam warna merah, ‘tidak suka’ dalam warna hitam.

TIRR diuji melawan sistem rekomendasi berbasis konten dan sistem rekomendasi timbal balik lainnya dengan cakupan serupa, termasuk karya sebelumnya peneliti ImRec (lihat di atas), dan RECON, sebuah RRS dari tahun 2010, serta algoritma filtering kolaboratif RCF (sistem rekomendasi kencan berbasis teks konten profil kencan pada tahun 2015) dan LFRR (proyek serupa dari tahun 2019).

Dalam semua kasus, TIRR dapat menawarkan akurasi yang lebih baik, meskipun hanya sedikit dibandingkan dengan LFRR, mungkin menunjukkan faktor-faktor yang berkaitan antara konten teks profil dan tingkat keatraktifan subjek foto profil.

Kesamaan yang hampir sempurna antara TIRR berbasis gambar dan LFRR yang lebih berbasis teks memungkinkan setidaknya dua kemungkinan: bahwa persepsi pengguna tentang keatraktifan visual dipengaruhi oleh konten teks profil; atau bahwa konten teks menerima perhatian dan pengakuan yang lebih besar daripada yang mungkin terjadi jika foto yang terkait tidak dianggap menarik.

Untuk alasan yang jelas, tim peneliti tidak dapat merilis dataset atau kode sumber untuk TIRR, tetapi mendorong tim lain untuk menduplikasi dan mengkonfirmasi pendekatan mereka.

n.b Gambar-gambar yang digunakan dalam ilustrasi utama berasal dari thispersondoesnotexist.com.