AI 기초
Albumentations란? 컴퓨터 비전을 위한 이미지 증강
Unite.AI를 Google의 선호 소스에 추가
Albumentations는 이미지 증강을 위한 오픈 소스 파이썬 라이브러리입니다. 이는 세분화 마스크, 경계 상자, 키포인트와 같은 관련 타깃을 이미지와 정렬된 상태로 유지하면서 무작위 기하학 및 광학 변환을 적용합니다.
증강은 불변성에 대한 가정입니다: 선택된 변형이 작업 레이블을 변경하지 않아야 함을 모델에 알려줍니다. 빠른 라이브러리는 실험을 용이하게 하지만, 변형이 적절한지는 도메인 지식과 검증을 통해서만 판단할 수 있습니다.
핵심 요점
- 확률적 변형을 조합하여 재현 가능한 학습 파이프라인을 구성합니다.
- 이미지와 공간 타깃을 함께 변환하고, 경계 상자와 키포인트 규칙을 명시적으로 검증합니다.
- 무작위 증강은 학습 데이터에만 적용하고, 손대지 않은 검증 또는 테스트 분포에는 적용하지 않습니다.
- 강한 증강이 특정 경우에 도움이 되면서 다른 경우에 해를 끼칠 수 있으므로 클래스별 및 하위 그룹별 영향을 측정합니다.
Albumentations 파이프라인 작동 방식
파이프라인은 이미지와 명명된 타깃을 받아들여, 각 변형의 확률에 따라 샘플링하고, 업데이트된 출력 사전을 반환합니다. 기하학 변형은 자르기, 회전, 뒤집기 또는 왜곡이 가능하고, 광학 변형은 색상, 대비, 흐림 또는 노이즈를 변경할 수 있습니다.
이 라이브러리는 증강에 집중하면서도 학습 스택과 통합됩니다. 컴퓨터 비전의 경우, 이러한 분리는 모델 프레임워크와 독립적으로 데이터 정책을 벤치마크할 수 있게 합니다.
레이블을 기하학적으로 정확하게 유지하기
이미지를 변경하는 자르는 작업은 마스크도 동일하게 자르고, 영향을 받은 경계 상자와 키포인트를 업데이트하거나 제거해야 합니다. 좌표 형식, 레이블 필드, 최소 가시성, 클리핑 및 필터링 규칙을 설정한 뒤, 학습 전에 배치를 시각화합니다.
보간 방법은 타깃에 따라 다릅니다: 이미지에는 bilinear 보간을 사용할 수 있지만, 클래스 마스크는 일반적으로 범주 값을 만들지 않도록 nearest-neighbor 보간이 필요합니다. 잘못된 타깃 처리로 데이터셋이 조용히 손상될 수 있습니다.
배포 환경에서 사용할 변형 선택하기
수평 뒤집기는 야생 동물 사진에는 적합할 수 있지만 텍스트, 도로 표지판, 의료 좌우 구분, 비대칭 장비에는 부적절합니다. 색상 변형은 조명 견고성을 높일 수 있지만, 색상이 의미를 가질 때 진단적 특징을 없앨 수 있습니다.
가능한 잡음 변형부터 시작하고, 한 번에 하나의 변형군을 추가하며 어려운 예시를 검사합니다. 선택을 과적합 가설에 연결하고, 합성 다양성이 항상 더 좋다고 가정하지 않습니다.
재현성 및 평가
라이브러리 버전, 파이프라인 구성, 확률, 랜덤 시드 전략, 전처리 순서 및 정규화를 기록합니다. 무작위성은 학습 샘플을 다양하게 해야 하지만 실험은 실행 수준에서 재현 가능해야 합니다.
검증 및 테스트 이미지들은 대표성을 유지하고, 결정적 전처리를 제외하고는 증강되지 않아야 합니다. 정확도, 보정, 클래스별 오류, 견고성을 비교합니다. 혼동 행렬은 증강이 오류를 감소시키기보다 이동시킬 때를 보여줄 수 있습니다.
구성, 확률 및 타깃
Compose는 각 변형에 확률을 부여한 일련의 변형을 적용합니다. OneOf 또는 SomeOf는 대안 중에서 샘플링하고, 중첩된 확률이 실제 분포를 결정합니다. 따라서 효과적인 증강 정책은 확률적 프로그램이며, 이를 기록하고 개별 확률을 따로 읽기보다 샘플링 빈도를 검토합니다.
추가 타깃을 사용하면 여러 이미지나 마스크가 기하학을 공유할 수 있어 스테레오 쌍, 전후 이미지, 다중 주석 등에 유용합니다. 경계 상자 지원은 Pascal VOC, COCO, YOLO 또는 Albumentations 좌표와 같은 선언된 형식이 필요합니다. 키포인트 형식은 각도나 스케일을 포함할 수 있으며, 변형은 이러한 의미를 보존해야 합니다.
자르기는 모든 타깃을 제거할 수 있습니다. 재샘플링, 배경 예시 유지, 혹은 필터링 중 어떤 방식을 선택할지 결정해야 하며, 각 선택은 클래스 분포를 바꿉니다. 탐지 및 세분화 파이프라인은 폐기된 상자, 가시 비율, 빈 샘플을 기록해 숨겨진 레이블 손상을 드러내야 합니다.
작업별 정책 설계
분류는 클래스가 보이는 한 자르기, 색상 변형, 흐림, 가림을 허용하는 경우가 많습니다. 탐지는 객체와 상자를 함께 변형해야 합니다. 세분화는 정확한 마스크 기하학이 필요합니다. 포즈 추정은 키포인트를 유지해야 하며, 뒤집기 후 좌우 레이블 교환이 필요할 수 있습니다.
의료 영상은 뒤집기, 과도한 색상 변형, 정량적 강도를 바꾸는 보간을 금지할 수 있습니다. 원격 탐사는 방향, 계절, 센서 밴드, 지리적 규모를 고려해야 합니다. 문서 분석은 가독성과 레이아웃을 유지해야 합니다. 도메인이 불변성을 정의하고, 라이브러리는 이를 실행할 뿐입니다.
MixUp, CutMix, Mosaic, 복사-붙여넣기와 같은 혼합 방법은 복합 레이블을 만들며 Albumentations가 아닌 데이터 로더나 프레임워크에서 발생할 수 있습니다. 이들와 기본 변형, 정규화, 배칭 간 상호작용을 테스트해야 합니다. 강력한 정책은 최종 정확도가 향상되더라도 수렴을 늦추거나 보정을 변경할 수 있습니다.
성능, 디버깅 및 실험 설계
증강은 다른 경로를 사용하지 않는 한 CPU에서 실행됩니다. 데이터 로더 처리량, 워커 수, 디코드 비용, 메모리 복사, GPU 유휴 시간을 측정합니다. 더 빠른 변형은 의미를 바꾸지 않을 때만 가치가 있습니다. 저장소와 재현성이 허용될 경우 불변 디코드 또는 전처리 단계는 캐시합니다.
원본 및 변형 샘플의 그리드를 모든 타깃 오버레이와 함께 시각화합니다. 좌표 라운드 트립, 마스크 값, 형태, dtype, 결정적 재생에 대한 자동 테스트를 추가합니다. 올바른 범위에서 시드를 설정하고, 모든 워커에서 동일한 증강이 다양성을 의도치 않게 감소시킬 수 있음을 유의합니다.
고정된 기준선(증강 없음, 타당한 기본 변형, 그 다음 강력한 정책)에 대해 소실 실험을 수행합니다. 시드를 반복하고 분산을 보고합니다. 깨끗한 데이터, 관련 손상, 하위 그룹을 별도로 평가합니다. 정책은 외부 테스트에서 이점이 유지되고 변형된 이미지가 도메인 전문가에게 신뢰될 때만 유지합니다.
Albumentations 파이프라인 설계 및 검증
배포 후 예상되는 변동(카메라 각도, 자르기, 스케일, 조명, 압축, 흐림, 날씨, 가림, 센서 노이즈)부터 시작합니다. 레이블을 보존하고 해당 메커니즘에 맞는 변형을 선택합니다. 수평 뒤집기는 동물에는 유효하지만 텍스트, 교통 방향, 비대칭 해부학에는 부적합합니다. 강한 색상 변형은 이미지가 여전히 그럴듯해 보여도 진단적으로 중요한 정보를 파괴할 수 있습니다.
Albumentations는 변형을 조합하고 올바르게 구성되면 이미지, 마스크, 경계 상자, 키포인트에 공간 변화를 일관되게 적용합니다. 좌표 형식, 최소 가시성, 보간, 마스크 처리 방식을 명시적으로 선언합니다. 주석이 겹친 수백 개의 증강 샘플을 시각화하고, 빈 케이스와 경계 케이스를 테스트하며, 디버깅을 위해 무작위 파라미터를 저장합니다. 증강 전에 데이터를 피사체 또는 장면별로 분할하여 관련 이미지가 학습과 테스트에 섞이지 않게 합니다.
증강 없음, 간단한 증강, 제안된 정책을 손대지 않은 테스트 세트와 현실적인 스트레스 세트에서 비교합니다. 학습 손실뿐 아니라 클래스별 정확도, 위치 지정, 보정, 실패 사례를 추적합니다. 과도한 증강은 실제 분포에 과소 적합될 수 있고, 약한 증강은 단축 학습을 촉진할 수 있습니다. 파이프라인을 모델과 함께 버전 관리하고, 평가 실행에 시드를 고정하며, 검증이나 추론 시 무작위 학습 변형을 적용하지 않도록 합니다(테스트 시 증강을 의도적으로 평가하는 경우 제외).
탐지와 세분화의 경우, 좌표 클리핑, 최소 상자 면적, 키포인트 가시성, 범주형 마스크에 사용되는 보간을 확인합니다. 클래스 ID에는 일반적으로 nearest-neighbor 보간이 필요하고, bilinear 보간은 잘못된 레이블을 만들 수 있습니다. 데이터 로더도 프로파일링하십시오: 과도한 변형은 CPU 증강을 학습 병목으로 만들 수 있습니다. 에포크와 워커 간에 의도된 무작위성을 유지하는 결정적 변형만 캐시합니다.
실용 구현 체크리스트
개념을 제한된 테스트 가능한 워크플로우로 전환합니다: 샘플 로드 → 선택 → 변형 → 타깃 정렬 → 학습 → 검증. 책임자를 지정하고, 데이터와 의존성을 문서화하며, 간단한 기준선을 설정하고, 수용 및 중단 기준을 정하고, 대표적인 실패를 테스트하며, 범위 확대 전에 모니터링, 롤백, 검토 절차를 정의합니다. 버전과 가정을 기록해 다른 팀이 결과를 재현하고 변경 사항을 이해할 수 있도록 합니다.
출시 전에, 시스템을 구축·운영·보안·영향받는 사람들과 문서화된 준비 검토를 수행합니다. 정상 케이스, 경계 조건, 의존성 실패, 오용을 테스트하고 증거와 미해결 위험을 보존합니다. 릴리스를 승인하고, 임계값을 변경하며, 출력을 재정의하거나 운영을 중단할 수 있는 사람을 정의합니다. 실제 데이터가 도착한 후 결정을 재검토하십시오. 기술적으로 성공한 파일럿이 더 큰 규모에서 신뢰할 수 있는 성능을 보장하지는 않기 때문입니다.
- 이미지: 기하학, 색상, 흐림 및 노이즈.
- 타깃: 마스크, 상자, 키포인트 및 레이블.
- 증거: 시각적 QA 및 보류 평가.
자주 묻는 질문
이미지 증강이 새로운 정답을 생성합니까?
아니요. 레이블이 유효하다는 가정 하에 변형된 학습 예시를 생성합니다. 비현실적이거나 잘못 레이블된 변형은 노이즈를 도입합니다.
검증 이미지에 증강을 적용해야 합니까?
모델에 필요한 결정적 리사이징과 정규화를 사용하되, 평가 분포는 고정된 상태로 유지합니다. 테스트 시 증강은 별도의 추론 방법이며 명시적으로 보고해야 합니다.
주요 참고 문헌
