Peneliti Menggunakan AI untuk Mengeksplorasi Bagaimana Refleksi Berbeda dari Gambar Asli

Peneliti di Cornell University baru-baru ini menggunakan sistem pembelajaran mesin untuk mengeksplorasi bagaimana refleksi gambar berbeda dari gambar aslinya. Seperti dilaporkan oleh ScienceDaily, algoritma yang dibuat oleh tim peneliti menemukan bahwa ada tanda-tanda yang jelas, perbedaan dari gambar asli, bahwa sebuah gambar telah dibalik atau direfleksikan.

Profesor asosiasi ilmu komputer di Cornell Tech, Noah Snavely, adalah penulis senior studi ini. Menurut Snavely, proyek penelitian ini dimulai ketika para peneliti menjadi tertarik dengan bagaimana gambar berbeda dalam cara yang jelas dan halus ketika mereka direfleksikan. Snavely menjelaskan bahwa bahkan hal-hal yang tampak sangat simetris pada pandangan pertama dapat dibedakan sebagai refleksi ketika dipelajari. “Saya tertarik dengan penemuan yang dapat dibuat dengan cara baru untuk mengumpulkan informasi,” kata Snavely, seperti dilaporkan oleh ScienceDaily.

Para peneliti fokus pada gambar orang, menggunakan gambar tersebut untuk melatih algoritma mereka. Hal ini dilakukan karena wajah tidak tampak asimetris secara jelas. Ketika dilatih pada data yang membedakan gambar yang dibalik dari gambar asli, AI dilaporkan mencapai akurasi antara 60% hingga 90% pada berbagai jenis gambar.

Banyak dari tanda-tanda visual yang dipelajari AI untuk membedakan gambar yang dibalik sangat halus dan sulit untuk dikenali oleh manusia ketika melihat gambar yang dibalik. Untuk lebih memahami fitur yang digunakan AI untuk membedakan antara gambar yang dibalik dan asli, para peneliti membuat sebuah heatmap. Heatmap tersebut menunjukkan area gambar yang AI fokuskan. Menurut para peneliti, salah satu petunjuk yang paling umum digunakan AI untuk membedakan gambar yang dibalik adalah teks. Hal ini tidak mengejutkan, dan para peneliti menghapus gambar yang mengandung teks dari data pelatihan mereka untuk mendapatkan gambaran yang lebih baik tentang perbedaan yang lebih halus antara gambar yang dibalik dan asli.

Setelah gambar yang mengandung teks dihapus dari data pelatihan, para peneliti menemukan bahwa klasifikasi AI fokus pada fitur gambar seperti kancing baju, telepon seluler, jam tangan, dan wajah. Beberapa fitur ini memiliki pola yang jelas dan dapat diandalkan yang dapat digunakan AI, seperti fakta bahwa orang sering membawa telepon seluler di tangan kanan mereka dan bahwa kancing baju sering berada di sebelah kiri. Namun, fitur wajah biasanya sangat simetris dengan perbedaan yang kecil dan sangat sulit untuk dideteksi oleh pengamat manusia.

Para peneliti membuat sebuah heatmap lain yang menyoroti area wajah yang AI fokuskan. AI sering menggunakan mata, rambut, dan jenggot orang untuk mendeteksi gambar yang dibalik. Untuk alasan yang tidak jelas, orang sering sedikit memandang ke kiri ketika foto mereka diambil. Mengenai mengapa rambut dan jenggot merupakan indikator gambar yang dibalik, para peneliti tidak yakin tetapi mereka berspekulasi bahwa kecenderungan seseorang dapat dilihat dari cara mereka mencukur atau menyisir rambut mereka. Meskipun indikator ini dapat tidak dapat diandalkan, dengan menggabungkan beberapa indikator ini, para peneliti dapat mencapai kepercayaan dan akurasi yang lebih tinggi.

Lebih banyak penelitian diperlukan sepanjang garis ini, tetapi jika temuan ini konsisten dan dapat diandalkan, maka dapat membantu peneliti menemukan cara yang lebih efisien untuk melatih algoritma pembelajaran mesin. AI penglihatan komputer sering dilatih menggunakan refleksi gambar, karena ini adalah cara yang efektif dan cepat untuk meningkatkan jumlah data pelatihan yang tersedia. Memungkinkan bahwa menganalisis bagaimana gambar yang direfleksikan berbeda dapat membantu peneliti pembelajaran mesin memahami bias yang ada dalam model pembelajaran mesin yang mungkin menyebabkan mereka mengklasifikasikan gambar dengan tidak akurat.

Seperti dikutip oleh Snavely oleh ScienceDaily:

“Ini membawa pertanyaan terbuka bagi komunitas penglihatan komputer, yaitu, kapan sebaiknya melakukan flipping untuk meningkatkan dataset, dan kapan tidak? Saya berharap ini akan membuat orang lebih memikirkan pertanyaan-pertanyaan ini dan mulai mengembangkan alat untuk memahami bagaimana ini mempengaruhi algoritma.”