새로운 도구는 연구자에게 GAN이 이미지에서 생략하는 것을 보여줄 수 있다

최근 MIT-IBM 왓슨 AI 연구소의 연구팀은 GAN이 이미지 생성을 요청할 때 이미지에서 생략하는 것을 표시하는 방법을 개발했습니다. 이 연구는 GAN이 생성할 수 없는 것을 보는 것이라고 명명되었으며 최근 컴퓨터 비전 국제 회의에서 발표되었습니다.

생성적 적대적 네트워크는 최근 몇 년 동안 더 강력하고 정교해졌으며 광범위하게 사용되고 있습니다. 상대적으로 작은 영역에 대한 이미지 렌더링은 매우 잘하지만, 더 큰 장면과 환경에 대한 이미지 생성에서는 잘 작동하지 않습니다. 많은 객체와 항목이 포함된 장면을 생성하라는 요청에는 종종 중요한 이미지 측면을 생략합니다.

MIT 뉴스에 따르면, 이 연구는 MIT 전기공학 및 컴퓨터과학부의 대학원생인 David Bau에 의해 부분적으로 개발되었습니다. Bau는 연구자들이 일반적으로 기계 학습 시스템이 주의를 기울이는 것과 특정 입력을 특정 출력으로 매핑하는 방법을 이해하는 데 집중한다고 설명했습니다. 그러나 Bau는 또한 기계 학습 모델이 무시하는 데이터를 이해하는 것이 종종同じ 정도로 중요하다고 설명했으며, 연구 팀은 자신의 도구가 연구자들이 무시되는 데이터에 주의를 기울이도록 영감을 줄 것이라고 희망합니다.

Bau의 GAN에 대한 관심은 GAN이 신경망의 블랙박스 특성을 조사하고 네트워크가 어떻게 추론할 수 있는지에 대한 직관을 얻을 수 있다는 사실에서 비롯되었습니다. Bau는 이전에 특정 인공 신경 클러스터를 식별할 수 있는 도구에서 일했으며, 책, 구름, 나무와 같은 실제 세계 객체를 나타내는 것으로 레이블을 지정했습니다. Bau는 또한 GAN을 사용하여 사진에서 특정 기능을 추가하거나 제거할 수 있는 GANPaint라는 도구에서 일했습니다. Bau에 따르면, GANPaint 애플리케이션은 GAN에 대한 잠재적인 문제를 보여주었으며, Bau가 이미지를 분석했을 때 명백해졌습니다. Bau는 MIT 뉴스에게 다음과 같이 말했습니다.

“나의 지도자는 항상 숫자를 넘어서 실제 이미지를 조사하도록 우리를鼓励했습니다. 우리가 조사했을 때, 현상은 바로 뛰어났습니다: 사람들이 선택적으로 삭제되고 있었습니다.”

기계 학습 시스템은 이미지에서 패턴을 추출하도록 설계되었지만, 관련 패턴을 무시할 수도 있습니다. Bau와 다른 연구자들은 다양한 실내 및 실외 장면에서 GAN을 훈련시켰지만, 모든 장면에서 GAN은 자동차, 도로 표지, 사람, 자전거 등과 같은 중요한 세부 사항을 생략했습니다. 이것은 생략된 객체가 장면에 중요했는지 여부에 관계없이 사실이었습니다.

연구 팀은 GAN이 이미지에 대한 훈련을 받을 때, GAN이 더 쉽게 표현할 수 있는 이미지 패턴, 즉 풍경이나 건물과 같은 큰 정지 객체를 포착하는 것이 더 쉽다고 가정했습니다. 그것은 자동차나 사람과 같은 더 어려운 패턴을 해석하는 것보다 이러한 패턴을 학습합니다. GAN이 이미지 생성에서 중요한 세부 사항을 생략하는 것은 일반적인 지식이지만, MIT 팀의 연구는 처음으로 GAN이 이미지 내에서 전체 객체 클래스를 생략하는 것을 보여주는 것입니다.

연구 팀은 GAN이 인간이 이미지에서 볼 때 중요하게 여기는 객체를 생략하는 경우에도 숫자 목표를 달성할 수 있다고 지적합니다. GAN으로 생성된 이미지가 자율 주행차와 같은 복잡한 시스템을 훈련하는 데 사용되는 경우, 이미지 데이터를 주의 깊게 조사해야 합니다. 왜냐하면 중요 객체가 이미지에서 생략될 수 있기 때문입니다. Bau는 자신의 연구가 모델의 성능을 정확도만으로 평가해서는 안 된다고 설명했습니다.

“우리는 네트워크가 무엇을 하고 무엇을 하지 않는지 이해해야 합니다. 우리가 원하는 선택을 하도록 하기 위해서입니다.”