Peneliti Menggunakan AI Untuk Menyelidiki Bagaimana Refleksi Berbeda Dari Gambar Asli

Para peneliti di Cornell University baru-baru ini menggunakan sistem pembelajaran mesin untuk menyelidiki bagaimana pantulan gambar berbeda dari gambar aslinya. Seperti dilansir ScienceDaily, algoritme yang dibuat oleh tim peneliti menemukan bahwa ada tanda-tanda, perbedaan dari gambar aslinya, bahwa gambar telah dibalik atau dipantulkan.

Profesor ilmu komputer di Cornell Tech, Noah Snavely, adalah penulis senior studi tersebut. Menurut Snavely, proyek penelitian dimulai ketika para peneliti menjadi tertarik dengan bagaimana gambar berbeda baik secara jelas maupun halus saat dipantulkan. Snavely menjelaskan bahwa bahkan hal-hal yang tampak sangat simetris pada pandangan pertama biasanya dapat dibedakan sebagai refleksi saat dipelajari. Saya tertarik dengan penemuan yang dapat Anda buat dengan cara baru mengumpulkan informasi, ”kata Snavely, menurut ScienceDaily.

Para peneliti berfokus pada gambar orang, menggunakannya untuk melatih algoritme mereka. Ini dilakukan karena wajah tidak tampak jelas asimetris. Saat dilatih pada data yang membedakan gambar terbalik dari gambar asli, AI dilaporkan mencapai akurasi antara 60% hingga 90% di berbagai jenis gambar.

Banyak ciri visual dari gambar terbalik yang dipelajari AI cukup halus dan sulit dilihat oleh manusia saat mereka melihat gambar terbalik. Untuk lebih menafsirkan fitur yang digunakan AI untuk membedakan antara gambar terbalik dan asli, para peneliti membuat peta panas. Peta panas menunjukkan wilayah gambar yang cenderung menjadi fokus AI. Menurut para peneliti, salah satu petunjuk paling umum yang digunakan AI untuk membedakan gambar terbalik adalah teks. Ini tidak mengherankan, dan para peneliti menghapus gambar yang berisi teks dari data pelatihan mereka untuk mendapatkan gambaran yang lebih baik tentang perbedaan yang lebih halus antara gambar terbalik dan asli.

Setelah gambar yang berisi teks dikeluarkan dari perangkat pelatihan, para peneliti menemukan bahwa pengklasifikasi AI berfokus pada fitur gambar seperti penelepon kemeja, ponsel, jam tangan, dan wajah. Beberapa dari fitur ini memiliki pola yang jelas dan andal yang dapat diasah oleh AI, seperti fakta bahwa orang sering membawa ponsel di tangan kanan dan kancing di kerah baju sering berada di sebelah kiri. Namun, fitur wajah biasanya sangat simetris dengan perbedaan yang kecil dan sangat sulit untuk dideteksi oleh pengamat manusia.

Para peneliti membuat peta panas lain yang menyoroti area wajah yang cenderung menjadi fokus AI. AI sering menggunakan mata, rambut, dan janggut orang untuk mendeteksi gambar terbalik. Untuk alasan yang tidak jelas, orang sering melihat sedikit ke kiri ketika mereka difoto. Adapun mengapa rambut dan janggut adalah indikator gambar terbalik, para peneliti tidak yakin tetapi mereka berteori bahwa sifat kidal seseorang dapat terungkap dari cara mereka mencukur atau menyisir. Sementara indikator-indikator ini tidak dapat diandalkan, dengan menggabungkan beberapa indikator bersama-sama, para peneliti dapat mencapai kepercayaan diri dan akurasi yang lebih besar.

Penelitian lebih lanjut mengenai hal ini perlu dilakukan, namun jika temuannya konsisten dan dapat diandalkan maka hal ini dapat membantu peneliti menemukan cara yang lebih efisien dalam melatih algoritme pembelajaran mesin. Computer vision AI sering kali dilatih menggunakan refleksi gambar, karena ini merupakan cara yang efektif dan cepat untuk meningkatkan jumlah data pelatihan yang tersedia. Ada kemungkinan bahwa menganalisis perbedaan gambar yang dipantulkan dapat membantu peneliti pembelajaran mesin mendapatkan pemahaman yang lebih baik tentang bias yang ada dalam model pembelajaran mesin yang mungkin menyebabkan mereka mengklasifikasikan gambar secara tidak akurat.

Seperti Snavely dikutip oleh ScienceDaily:

“Hal ini mengarah pada pertanyaan terbuka untuk komunitas visi komputer, yaitu, kapan boleh melakukan pembalikan ini untuk menambah kumpulan data Anda, dan kapan tidak boleh? Saya berharap ini akan membuat orang berpikir lebih banyak tentang pertanyaan ini dan mulai mengembangkan alat untuk memahami bagaimana algoritme bias.”