연구자들, 새로운 AI 이미지 생성 제어 방법 개발

노스 캐롤라이나 주립 대학교의 연구자들은 자율 주행 자동차와 같은 분야에서 사용될 수 있는 새로운 인공지능 이미지 생성 제어 방법을 개발했습니다.

조건부 이미지 생성 및 기타 기술

조건부 이미지 생성은 사용자가 특정 조건을 요청할 수 있는 인공지능 시스템이 이미지 생성하는 것을 포함하는 인공지능 작업입니다. 최신 기술은 이미지 레이아웃에 대한 조건을 포함하여 사용자가 특정 위치에 나타날 객체 유형을 지정할 수 있도록 합니다.

대학의 연구자들이 개발한 새로운 최첨단 방법은 이러한 모든 기술을 기반으로 하며 사용자가 이미지에 대한 더 많은 제어를 가지면서도 일련의 이미지에 걸쳐 특정 특성을 유지할 수 있습니다.

Tianfu Wu는 연구 논문의 공동 저자이자 NC State의 컴퓨터 공학 조교수입니다.

“우리의 접근 방식은 매우 재구성 가능합니다,” Wu는 말합니다. “이전의 접근 방식과 마찬가지로 ours는 사용자가 특정 조건에 따라 이미지를 생성하도록 시스템을 허용합니다. 그러나 ours는 또한 이미지를 유지하고 추가할 수 있습니다. 예를 들어, 사용자는 산景을 생성하도록 AI를 사용할 수 있습니다. 사용자는 시스템에 산景에 스키어를 추가하도록 지시할 수 있습니다.”

요소 조작

새로운 방법을 사용하면 사용자가 요소를 조작하여 동일한 요소임을 식별할 수 있지만 여전히 어떤 방식으로든 이동하거나 변경할 수 있습니다. 이러한 예 중 하나는 AI가 스키어가 풍경을 가로지르면서 시청자에게 돌아보는 일련의 이미지를 생성하는 것입니다.

“이것의 한 가지 응용 분야는 자율 로봇이 특정 작업을 시작하기 전에 결과가 어떻게 보일지 상상하도록 도와주는 것입니다,” Wu는 말합니다. “또한 AI 훈련을 위한 이미지를 생성하는 데 이 시스템을 사용할 수 있습니다. 따라서 외부 소스에서 이미지를 컴파일하는 대신 이 시스템을 사용하여 다른 AI 시스템을 훈련하는 데 필요한 이미지를 생성할 수 있습니다.”

새로운 접근 방식은 COCO-Stuff 데이터셋과 Visual Genome 데이터셋으로 테스트되었으며 이미지 품질의 표준에 따라 이전의 최첨단 기술을 능가합니다.

“다음 단계는 이 작업을 비디오 및 3D 이미지로 확장하는지 확인하는 것입니다,” Wu는 말합니다.

새로운 접근 방식을 훈련하기 위해 연구자들은 계산 능력이 많이 필요한 4-GPU 워크스테이션에 의존해야 했습니다. 그럼에도 불구하고 시스템을 배포하는 것은 여전히 계산적으로 비용이 적게 듭니다.

“우리는 하나의 GPU가 거의 실시간 속도를 제공한다는 것을 발견했습니다,” Wu는 말합니다.

“우리의 논문 외에도 우리는 GitHub에서 이 접근 방식에 대한 소스 코드를 제공했습니다. 그렇지만 우리는 항상 산업 파트너와 협력할 준비가 되어 있습니다.”