고해상도 이미지의 다운사이징을 위한 기계 학습 방법

영국에서 수행된 새로운 연구는 이미지의 다양한 부분의 가치를 인식하여 이미지의 크기를 조정하는 기계 학습 방법을 제안했습니다. 이는 이미지의 모든 픽셀의 크기를 비례적으로 줄이는 기존의 방법과는 다릅니다.

이 접근법은 의료 이미지 Compression 시스템에 대한 관심이 증가하고 있는 상황에서 제안되었습니다. 의료 이미지의 경우, 고해상도 이미지를 임의로 다운샘플링하면 생명을 구하는 정보를 잃을 수 있습니다.

새로운 시스템의 대표적인 아키텍처. 변형 모듈은 이미지의 관심 영역에 해당하는 변형 맵을 생성합니다. 빨간 점의 밀도와 방향은 이러한 영역을 나타냅니다. 이 맵은 다운샘플링뿐만 아니라 비균일하게 업스케일링된 이미지 콘텐츠의 주요 관심 영역을 재구성하는 데 사용됩니다. 출처: https://arxiv.org/pdf/2109.11071.pdf

이 시스템은 이미지에 semantic segmentation을 적용합니다. 이는 이미지 내에서 인식된 엔티티를 포함하는ブロック을 나타내는 색상 블록으로, ‘로드’, ‘자전거’, ‘결절’ 등과 같은 엔티티를 인식합니다. 이러한 semantic segmentation 맵의 배치는 이미지의 어떤 부분이 과도한 다운샘플링을 피해야 하는지 계산하는 데 사용됩니다.

이 연구는 Learning to Downsample for Segmentation of Ultra-High Resolution Images라는 제목의 논문으로, University College London의 Centre for Medical Image Computing과 Microsoft Cambridge의 Healthcare Intelligence 부서의 연구자들이 공동으로 수행했습니다.

컴퓨터 비전 훈련의 상대적으로 저해상도 세계

컴퓨터 비전 시스템의 훈련은 GPU의 용량에 의해 크게 제한됩니다. 데이터셋은 많은 이미지를 포함할 수 있지만, 산업용 GPU도 VRAM이 24GB로 제한되어 있습니다. 또한 GPU 공급 부족으로 인해 가용성과 비용이 영향을 받습니다.

이것은 데이터가 GPU의 Tensor 코어를 통해 관리 가능한 배치로 제공되어야 함을 의미합니다. 컴퓨터 비전 훈련 워크플로는 일반적으로 8-16개의 이미지를 포함합니다.

명백한 해결책은 없습니다. VRAM이 무한하고 CPU 아키텍처가 GPU에서 처리량을 처리할 수 있다면, 매우 높은 배치 크기는 세부적인 변환보다 높은 수준의 특징을 파생시키는 경향이 있습니다. 이는 알고리즘의 유용성에 중요할 수 있습니다.

입력 이미지의 해상도를 증가시키면 ‘潜在 공간’에 데이터를 맞추기 위해 더 작은 배치 크기를 사용해야 합니다. 반대로, 이는 모델이 ‘이상’하고 과적합될 가능성이 있습니다.

추가 GPU를 사용하는 것도 도움이 되지 않습니다. 다중 GPU 설정은 훈련 시간을 가속화할 수 있지만, 훈련 결과의 무결성을 손상시킬 수 있습니다.

지능형으로 조정된 이미지

컴퓨터 비전 데이터셋의 이미지에서 가장 관련성이 높은 섹션은 새로운 방법으로 자동으로 조정될 수 있습니다. 이는 ML 파이프라인에 맞추기 위해 매우 높은 해상도의 이미지를 다운샘플링할 때 발생합니다.

이것은 lossy 아티팩트 문제와는 별개의 문제입니다. 여기서 이미지의 품질은 자동으로 조정되는 파이프라인에서 손실됩니다. 압축 코덱이 너무 많은 정보를 버리기 때문입니다.

LOSSLESS 이미지 형식(예: LZW 압축을 사용한 PNG)으로 저장하는 것만으로도 다운샘플링에서 제거된 정보를 회복할 수 없습니다. 예를 들어, MRI 스캔을 256×256 또는 512×512 픽셀 해상도로 다운샘플링하는 경우입니다.

さらに, 프레임워크의 요구 사항에 따라, 사각형 소스 이미지를 네트워크 처리를 위한 진정한 정사각형 입력 형식으로 생성하기 위해 블랙 보더가 추가될 수 있습니다. 이는 사용 가능한 데이터 공간을 줄이고 잠재적으로 중요한 데이터를 제거할 수 있습니다.

UCL과 Microsoft의 연구자들은 조정 과정을 더 지능적으로 만들기 위해 제안합니다. 이는 파이프라인의 일반적인 단계를 사용하여 관심 영역을 강조하고, 이미지에서 관심 영역을 식별하여 해석 부담을 줄입니다.

이 방법은 2019년에 제안된 방법과 유사합니다. 이 방법은 객체의 경계에서 품질을 집중시키는 것을 목표로 합니다.

2019년 연구: ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al. 출처: https://arxiv.org/pdf/1907.07156.pdf

새로운 연구는 의료 이미지의 경우, 관심 영역이 경계에서 집중되는 것은 아니라는 점을 강조합니다. 예를 들어, 암 영역을 주석으로 표시한 경우, 이러한 영역은 이미지의 더 широк은 영역 내에서 쉽게 버려질 수 있는 세부 정보로 나타날 수 있습니다.

학습 가능한 다운샘플러

새로운 연구는 변형 모듈이라고 하는 학습 가능한 다운샘플러를 제안합니다. 이는 평행 세그멘테이션 모듈과 함께 공동으로 훈련되며, 세그멘테이션에 의해 식별된 관심 영역에 대한 정보를 받을 수 있습니다. 따라서 다운샘플링 과정에서 이러한 영역을 우선적으로 처리할 수 있습니다.

저자들은 Cityscapes, DeepGlobe 및 Prostate Cancer Histology 데이터셋과 같은 여러 데이터셋에서 시스템을 테스트했습니다.

세 가지 접근 방식: 왼쪽, 기존의 ‘일괄’ 다운샘플링; 중간, 2019년 논문에서 제안된 ‘최적 경계’ 접근 방식; 오른쪽, 새로운 시스템의 아키텍처, 세그멘테이션 계층에서 엔티티 인식을 사용하여 정보를 제공합니다.

2019년에 제안된 분류기와 유사한 접근 방식이 있습니다. 그러나 현재 논문의 저자들은 이 방법이 의료 이미지 컨텍스트에서 중요한 영역을 놓치지 않도록 충분히 규제되지 않는다고 주장합니다.

결과

새로운 시스템의 변형 모듈은 작은 CNN입니다. 세그멘테이션 계층은 HRNetV2-W48을 사용하는 깊은 CNN 아키텍처입니다. Pyramid Scene Parsing Network(PSP-net)은 CityScapes 테스트를 위한健全性 확인 계층으로 사용되었습니다.

저자들은 새로운 프레임워크를 사용하여 여러 데이터셋을 테스트했습니다. 여기에는 일괄 다운샘플링, 2019년의 최적 경계 방법, 및 새로운 접근 방식이 포함됩니다.

저자들은 새로운 방법이 ‘임상적으로 가장 중요한 클래스를 식별하고 구별하는 데 명확한 이점’이 있다고 보고합니다. 이는 15-20%의 정확도 향상을 보입니다. 또한 이러한 클래스 간의 거리는 종종 ‘건강에서 암까지의 임계값’으로 정의됩니다.

세 가지 방법에 대한 클래스별 IoU 분석: 왼쪽, 표준 리샘플링; 중간, 최적 경계; 오른쪽, 새로운 접근 방식. CityScapes는 64 x 128으로 다운샘플링되었으며, PCaHisto는 80 x 800으로 다운샘플링되었으며, DeepGlobe는 300 픽셀 사각형으로 다운샘플링되었습니다.

보고서는 새로운 방법이 ‘다운샘플링 전략을 학습하고 정보를 더 잘 보존하며 더 나은 트레이드오프를 가능하게 함’을 나타냅니다. 새로운 프레임워크는 ‘다운샘플링에서 제한된 픽셀 예산을 효율적으로 학습하여 분할 정확도에서最高의 전체 리턴을 달성할 수 있음’을 결론으로 내립니다.

이 기능의 주요 이미지 출처는 thispersondoesnotexist.com입니다. 3:35 pm GMT+2에 텍스트 오류로 업데이트되었습니다.