Peneliti Menggunakan AI untuk Mencari Tahu Bagaimana Refleksi Berbeda dari Gambar Asli

Peneliti di Cornell University baru-baru ini menggunakan sistem pembelajaran mesin untuk menyelidiki bagaimana refleksi gambar berbeda dari gambar aslinya. Seperti dilaporkan oleh ScienceDaily, algoritma yang dibuat oleh tim peneliti menemukan bahwa ada tanda-tanda yang jelas, perbedaan dari gambar asli, bahwa sebuah gambar telah dibalik atau direfleksikan.

Profesor asosiasi ilmu komputer di Cornell Tech, Noah Snavely, adalah penulis senior studi ini. Menurut Snavely, proyek penelitian ini dimulai ketika peneliti menjadi tertarik dengan bagaimana gambar berbeda dalam cara yang jelas dan halus ketika mereka direfleksikan. Snavely menjelaskan bahwa bahkan hal-hal yang tampak sangat simetris pada pandangan pertama dapat dibedakan sebagai refleksi ketika dipelajari. Saya tertarik dengan penemuan yang dapat dibuat dengan cara baru untuk mengumpulkan informasi, “kata Snavely, seperti dilaporkan oleh ScienceDaily.

Peneliti fokus pada gambar orang, menggunakan mereka untuk melatih algoritma mereka. Ini dilakukan karena wajah tidak tampak asimetris yang jelas. Ketika dilatih pada data yang membedakan gambar yang dibalik dari gambar asli, AI dilaporkan mencapai akurasi antara 60% hingga 90% di berbagai jenis gambar.

Banyak tanda-tanda visual dari gambar yang dibalik yang dipelajari AI sangat halus dan sulit untuk dibedakan oleh manusia ketika mereka melihat gambar yang dibalik. Untuk lebih baik memahami fitur yang digunakan AI untuk membedakan antara gambar yang dibalik dan asli, peneliti membuat heatmap. Heatmap menunjukkan wilayah gambar yang AI cenderung fokus. Menurut peneliti, salah satu petunjuk yang paling umum digunakan AI untuk membedakan gambar yang dibalik adalah teks. Ini tidak mengejutkan, dan peneliti menghapus gambar yang mengandung teks dari data pelatihan mereka untuk mendapatkan gambaran yang lebih baik tentang perbedaan yang lebih halus antara gambar yang dibalik dan asli.

Setelah gambar yang mengandung teks dihapus dari set pelatihan, peneliti menemukan bahwa klasifikasi AI fokus pada fitur gambar seperti kancing baju, ponsel, jam tangan, dan wajah. Beberapa fitur ini memiliki pola yang jelas dan dapat diandalkan yang dapat AI fokus, seperti fakta bahwa orang sering membawa ponsel di tangan kanan mereka dan bahwa tombol pada kancing baju sering berada di sebelah kiri. Namun, fitur wajah biasanya sangat simetris dengan perbedaan yang kecil dan sangat sulit untuk dideteksi oleh pengamat manusia.

Peneliti membuat heatmap lain yang menyoroti area wajah yang AI cenderung fokus. AI sering menggunakan mata, rambut, dan jenggot orang untuk mendeteksi gambar yang dibalik. Untuk alasan yang tidak jelas, orang sering melihat sedikit ke kiri ketika mereka memiliki foto yang diambil. Mengenai mengapa rambut dan jenggot adalah indikator gambar yang dibalik, peneliti tidak yakin tetapi mereka berspekulasi bahwa tangan seseorang dapat dinyatakan oleh cara mereka bercukur atau menyisir. Meskipun indikator ini dapat tidak dapat diandalkan, dengan menggabungkan beberapa indikator bersama-sama peneliti dapat mencapai kepercayaan dan akurasi yang lebih besar.

Lebih banyak penelitian sepanjang garis ini perlu dilakukan, tetapi jika temuan konsisten dan dapat diandalkan maka dapat membantu peneliti menemukan cara yang lebih efisien untuk melatih algoritma pembelajaran mesin. AI visi komputer sering dilatih menggunakan refleksi gambar, karena ini adalah cara yang efektif dan cepat untuk meningkatkan jumlah data pelatihan yang tersedia. Mungkin dengan menganalisis bagaimana gambar yang direfleksikan berbeda dapat membantu peneliti pembelajaran mesin memahami bias yang ada dalam model pembelajaran mesin yang mungkin menyebabkan mereka mengklasifikasikan gambar dengan tidak akurat.

Seperti Snavely dikutip oleh ScienceDaily:

“Ini memimpin pada pertanyaan terbuka untuk komunitas visi komputer, yang mana, kapan melakukan flipping untuk meningkatkan dataset, dan kapan tidak? Saya berharap ini akan membuat orang berpikir lebih tentang pertanyaan-pertanyaan ini dan mulai mengembangkan alat untuk memahami bagaimana ini mempengaruhi algoritma.”