연구자들은 이미지의 반사와 원본 이미지의 차이를 조사하기 위해 AI를 사용했다

콘奈尔 대학교의 연구자들은 최근 기계 학습 시스템을 사용하여 이미지의 반사와 원본 이미지의 차이를 조사했다. ScienceDaily에 따르면, 연구팀이 개발한 알고리즘은 이미지의 반사가 원본 이미지와 다른 특징을 발견했다.

콘奈尔 테크의 컴퓨터 과학 부교수인 노아 스네블리(Noa Snavely)는 이 연구의 책임자였다. 스네블리는 이 연구가 이미지의 반사가 어떻게 다른지에 대한 호기심에서 시작되었다고 말했다. 스네블리는 처음에는 매우 대칭적인 것처럼 보이지만 실제로는 반사된 이미지와 원본 이미지를 구별할 수 있다고 말했다. “새로운 방법으로 정보를 얻을 수 있는 발견에 관심이 있습니다.”라고 스네블리는 말했다.

연구자들은 사람들의 이미지를 사용하여 알고리즘을 훈련시켰다. 이는 얼굴이 명확하게 비대칭적으로 보이지 않기 때문이다. 훈련 데이터에서 뒤집어진 이미지를 원본 이미지와 구별하는 데 성공한 AI의 정확도는 60%에서 90% 사이였다.

AI가 학습한 뒤집어진 이미지의 시각적 특징은 매우 미세하여 인간이 뒤집어진 이미지를 볼 때 구별하기 어렵다. 이러한 특징을 더 잘 이해하기 위해 연구자들은 히트맵을 생성했다. 히트맵은 AI가 집중하는 이미지 영역을 보여주었다. 연구자들은 AI가 뒤집어진 이미지를 구별하는 데 사용하는 가장 일반적인 단서는 텍스트였다고 말했다. 이는 예상된 결과였으며, 연구자들은 훈련 데이터에서 텍스트가 포함된 이미지를 제거하여 더 미세한 차이를 조사하기로 했다.

텍스트가 포함된 이미지를 훈련 데이터에서 제거한 후, 연구자들은 AI 분류기가 이미지의 특징에 집중하는 것을 발견했다. 이러한 특징에는 셔츠 단추, 휴대폰, 시계, 얼굴 등이 포함되었다. 일부 특징은 명확한 패턴을 가지고 있으며, AI는 이러한 패턴을 집중적으로 분석할 수 있었다. 예를 들어, 사람들은 일반적으로 오른손으로 휴대폰을 사용하며, 셔츠 단추는 왼쪽에 있었다. 그러나 얼굴 특징은 일반적으로 매우 대칭적이며, 차이를 감지하기 어렵다.

연구자들은 얼굴의 특징에 집중하는 또 다른 히트맵을 생성했다. AI는 사람들의 눈을, 머리카락을, 수염을 사용하여 뒤집어진 이미지를 감지했다. 사람들은 사진을 찍을 때 약간 왼쪽을 보는 경향이 있다. 그러나 머리카락과 수염이 왜 뒤집어진 이미지의 지표가 되는지는 연구자들이 명확하게 알지 못한다. 연구자들은 사람의 수염이나 머리카락을 다루는 방식이 왼손잡이 또는 오른손잡이를 나타낼 수 있다고 추측한다. 이러한 지표는 신뢰할 수 없을 수 있지만, 여러 지표를 결합하면 더 높은 신뢰도와 정확도를 달성할 수 있다.

이러한 연구는 더 진행되어야 하겠지만, 발견이 일관적이고 신뢰할 수 있다면, 연구자들은 기계 학습 알고리즘을 더 효율적으로 훈련시키는 방법을 찾을 수 있을 것이다. 컴퓨터 비전 AI는 종종 이미지의 반사를 사용하여 훈련 데이터를 늘리는 효과적인 방법이다. 그러나 반사된 이미지와 원본 이미지의 차이를 분석하면, 기계 학습 모델의 편향을 이해하고, 이미지 분류의 정확도를 높일 수 있을 것이다.

스네블리는 ScienceDaily와의 인터뷰에서 “컴퓨터 비전 커뮤니티에게 열린 질문은, 데이터셋을 보충하기 위해 이미지를 뒤집는 것이 언제 적절하고, 언제 부적절한지입니다. 이 문제에 대해 더 생각하고, 알고리즘의 편향을 이해하기 위한 도구를 개발하기를希望합니다.”라고 말했다.