AI 기초
이미지 분류는 어떻게 작동하나요?
Unite.AI를 Google의 선호 소스에 추가
이미지 분류는 전체 이미지에 대한 레이블을 예측합니다. “어떤 제품 카테고리가 표시되었나요?” 또는 “이 스캔에 목표 물체가 포함되어 있나요?”와 같은 질문에 답합니다. 그러나 개별 객체를 찾거나 픽셀 단위로 윤곽을 그리지는 않습니다.
현대 시스템은 일반적으로 컨볼루션 신경망이나 비전 트랜스포머를 사용하며, 종종 사전 학습된 가중치로 초기화됩니다. 신뢰할 수 있는 성능은 여전히 라벨, 샘플링, 데이터 증강, 캘리브레이션 및 실제 배포 환경에서의 테스트에 달려 있습니다.
핵심 요약
- 분류는 전체 이미지에 레이블을 붙이고, 탐지는 객체 박스를 그리며, 세분화는 픽셀 수준 영역을 할당합니다.
- 사전 학습 및 전이 학습은 데이터 요구량을 줄일 수 있지만, 도메인 불일치가 이점을 상쇄할 수 있습니다.
- 전체 정확도는 클래스 불균형, 허위 단축 경로 및 부정확한 캘리브레이션을 숨길 수 있습니다.
- 이미지 품질, 촬영 장치, 지리적 요인 및 워크플로우 변화는 모두 분포 변화를 초래할 수 있습니다.
픽셀에서 점수로
이미지는 크기가 조정되거나 자르고, 정규화된 뒤 텐서로 변환됩니다. 데이터 증강은 플립, 크롭 또는 색상 변환과 같이 레이블을 보존하는 변환을 적용할 수 있습니다. 백본은 픽셀을 특징으로 매핑하고, 분류 헤드는 로짓을 생성하여 이를 상대적인 클래스 점수로 변환합니다.
선택한 전처리는 배포 환경과 일치해야 합니다. 관련 객체를 제거하는 중앙 크롭이나 정규화 불일치는 훈련된 가중치가 변하지 않아도 성능을 저하시킬 수 있습니다.
CNN과 비전 트랜스포머
컨볼루션 신경망은 로컬 필터와 공유 가중치를 사용해 공간적 특징을 구축합니다. 잔차 연결은 매우 깊은 CNN을 최적화하기 쉽게 만들었습니다. 비전 트랜스포머는 이미지를 패치로 분할하고 어텐션을 사용해 패치 간 관계를 모델링합니다.
아키텍처 비교 시 훈련 데이터, 증강, 연산량 및 해상도를 동일하게 제어해야 합니다. 공개 벤치마크에서 최고 성능을 보인 모델이 엣지 디바이스, 작은 데이터셋 또는 설명 가능성 요구에 최적일지는 보장되지 않습니다.
전이 학습 및 데이터 설계
전이 학습은 더 큰 소스 데이터셋으로 학습된 가중치에서 시작합니다. 팀은 백본을 고정하고, 후속 레이어를 미세 조정하거나 전체 모델을 업데이트할 수 있습니다. 미세 조정은 일반적으로 낮은 학습률과 누수 방지 검증 세트를 필요로 합니다.
라벨은 눈으로 추론 가능한 내용을 설명해야 합니다. 진단이 이미지에 나타나지 않는 환자 이력에 의존한다면, 분류기는 전체 임상 결정을 학습할 수 없습니다. 중복 이미지, 동일 영상의 프레임, 동일 피험자의 이미지들은 동일한 분할에 포함되어야 합니다.
측정 지표, 불확실성 및 단축 경로
Top-1 정확도는 가장 높은 점수를 받은 클래스가 정답이어야 함을 의미하고, top-k 정확도는 k개의 최고 점수 중에 정답 클래스가 포함되는 경우를 허용합니다. 클래스별 정밀도, 재현율 및 혼동 행렬은 불균형 오류를 드러냅니다.
모델은 의도된 객체 대신 배경, 워터마크, 촬영 장비 또는 프레이밍을 활용할 수 있습니다. 반사실 테스트, 하위 그룹 분석 및 중요도 도구는 단축 경로를 발견하는 데 도움이 되지만, 설명 히트맵이 인과적 추론을 증명하는 것은 아닙니다.
배포 모니터링
운영 단계에서는 손상된 파일, 예상치 못한 차원, 흐림, 조명, 카메라 모델 및 새로운 클래스를 점검해야 합니다. 신뢰도는 배포 환경과 유사한 데이터로 캘리브레이션해야 하며, 범위 외 입력은 거부하거나 검토해야 합니다.
라벨 지연 및 오류 비용 변화를 모니터링하는 것이 필수적입니다. 입력 통계상 안정적으로 보이는 모델도 픽셀과 라벨 간 관계가 변하면 실패할 수 있습니다.
이미지 분류 데이터셋 구축
이미지 분류는 전체 이미지에 하나 이상의 라벨을 부여합니다. 이는 객체를 위치시키는 탐지와 픽셀에 라벨을 지정하는 세분화와 차별화됩니다. 클래스 범위, 계층 구조, 다중 라벨 규칙, 배경 또는 알 수 없는 카테고리, 그리고 어떤 증거가 보여야 하는지를 정의합니다. 배포 환경을 대표하는 카메라, 촬영 장소, 조명, 시점, 거리 및 피사체를 수집합니다. 증강 전에 피사체, 장면, 세션 또는 소스별로 데이터를 분할합니다; 인접 비디오 프레임이나 파티션 간 중복된 제품 이미지가 있으면 심각한 누수가 발생합니다.
주석 지침에는 가림, 모호한 객체, 다중 클래스, 저품질 및 포기 상황을 포함해야 합니다. 합의 정도를 측정하고 체계적인 불일치를 검토합니다. 클래스 균형만으로는 커버리지를 보장하지 못합니다: 질병 클래스가 하나의 장치만 포함하거나 야생동물 클래스가 하나의 배경만 포함할 수 있습니다. 메타데이터와 근접 중복을 검사하고, 독립적인 획득으로 만든 보호된 테스트 세트를 유지합니다. 합성 데이터와 웹 스크래핑은 다양성을 확대할 수 있지만, 라이선스, 출처, 스타일 및 라벨 문제를 야기하며 이는 실제 이미지에서 측정되어야 합니다.
모델, 학습 및 평가
전통적인 방법은 설계된 디스크립터와 분류기를 결합하고, 현대 시스템은 컨볼루션 네트워크나 비전 트랜스포머를 사용하며, 종종 전이 학습을 활용합니다. 크기 조정 및 크롭 선택은 어떤 정보가 남는지를 결정합니다. 증강은 유효한 변화를 반영하고 라벨을 보존해야 합니다. 작업에 적합한 손실 함수를 최적화하고, 가중치 부여 또는 샘플링을 통해 불균형을 신중히 처리하며, 검증 데이터에서 체크포인트를 선택합니다. 간단한 베이스라인과 비교하고 증강, 해상도, 사전 학습 초기화를 제거해 어느 부분에서 성능 향상이 발생했는지 파악합니다.
클래스별 정밀도, 재현율, F1, 혼동 행렬, 관련 시 top-k 정확도, 캘리브레이션 및 상황별 성능을 보고합니다. 흐림, 압축, 조명, 크롭, 가림, 디바이스 및 지원되지 않는 클래스 입력을 테스트합니다. 신뢰도 임계값을 설정해 불확실한 사례를 검토로 라우팅할 수 있으며, 소프트맥스 확률은 특히 도메인 변 shift 상황에서 보장된 신뢰도가 아닙니다. 반사실 배경 및 가림 테스트는 단축 학습을 드러냅니다. 안전 관련 사용에서는 최악의 실패와 false positive·negative의 영향을 평가합니다.
배포 및 모니터링
디코드, 색상 변환, 방향, 정규화, 모델 및 라벨 맵을 하나로 패키징합니다. 내보낸 혹은 양자화된 아티팩트를 대상 디바이스에서 검증하고 종단 간 지연 시간, 메모리, 전력 및 처리량을 측정합니다. 이미지 품질, 입력·출력 분포, 캘리브레이션, 확인된 라벨 및 센서 상태를 모니터링합니다. 특히 얼굴, 위치, 주변 인물에 대한 이미지 보관을 최소화하고 보안합니다. 손상되거나 범위 외 입력에 대한 대체 방안을 제공하고 모델 버전을 롤백합니다. 분류는 정의된 이미지 수준 질문에 답하며, 지원되지 않는 위치 추정, 신원 확인 또는 의도 주장으로 확대해서는 안 됩니다.
실제 예시: 재활용 재료 분류
한 시설에서는 컨베이어 위의 물품을 촬영하고 재료 클래스, 오염 여부 및 알 수 없는 항목을 라벨링합니다. 이미지는 수집 일자와 객체 배치별로 분할되어 조명, 젖은 표면, 구김, 겹침 및 빈 벨트를 포함합니다. 작은 CNN과 사전 학습 모델을 색상 및 형태 규칙과 비교합니다. 클래스별 재현율, 잘못된 분류, 캘리브레이션, 처리량 및 카메라와 재료 상태별 결과가 선택에 영향을 줍니다.
생산 파이프라인은 카메라 노출과 벨트 타이밍을 확인한 뒤, 불확실한 항목을 강제로 특정 클래스에 할당하지 않고 일반 스트림으로 보냅니다. 양자화 추론은 정확한 하드웨어에서 검증됩니다. 모니터링은 입력 품질, 클래스 비율, 거부된 항목 및 샘플링된 수동 감사를 추적하며, 새로운 포장이 등장하면 데이터 업데이트를 검토합니다. 모델은 물리적 가드가 있는 제한된 분류기를 제어하고, 센서 또는 모델 오류 시 재료를 조용히 오분류하는 대신 메커니즘을 안전 상태로 복구합니다.
구현 증거 및 운영 준비성
생산 결정을 내리기 위해서는 성공적인 시연 이상의 것이 필요합니다. 의도된 사용자, 운영 환경, 입력·출력, 의존성, 소유자 및 각 주요 실패의 결과를 정의합니다. 튜닝 전에 재현 가능한 베이스라인과 버전 관리된 평가 세트를 구축합니다. 일반적인 사례, 경계 조건, 형식이 잘못되었거나 누락된 입력, 분포 변 shift, 의존성 중단, 오용 및 서비스가 부족할 가능성이 높은 그룹이나 환경을 테스트합니다. 작업 품질을 캘리브레이션·불확실성, 지연 시간, 처리량, 자원 비용, 접근성, 프라이버시 및 보안과 함께 측정합니다. 모든 변환 및 임계값을 기록해 독립적인 검토자가 결과를 재현하고 매력적인 프로토타입과 증거를 구분할 수 있도록 합니다.
출시 전에 릴리스, 예외, 변경, 롤백 및 폐기에 대한 권한을 지정합니다. 단계적 롤아웃을 사용하고 안전한 대체 방안을 유지하며, 의도적으로 삽입한 실패를 통해 모니터링을 검증합니다. 운영 텔레메트리는 불필요한 민감 데이터를 수집하지 않으면서 입력 품질, 출력 동작, 모델·규칙 버전, 의존성 상태, 인간 개입 및 확인된 결과를 보여야 합니다. 알림 임계값과 대응 담당자를 정의하고, 오프라인 성능이 지속될 것이라 가정하지 말고 배포 후 실제 증거를 검토합니다. 데이터 소스, 사용자, 모델, 공급업체, 정책, 하드웨어 또는 목표가 변할 때마다 재평가합니다. 유지되는 시스템은 문서화된 복구, 사고 학습, 삭제 및 보존 절차와 함께 언제 비활성화하거나 교체해야 하는 명확한 시점을 필요로 합니다.
자주 묻는 질문
이미지 분류기가 여러 객체를 식별할 수 있나요?
다중 라벨 분류기는 어떤 카테고리가 존재하는지 판단할 수 있지만, 개별 인스턴스를 위치시키지는 못합니다. 객체 박스나 개수를 얻으려면 객체 탐지가 필요합니다.
왜 모델이 사람에게는 정상으로 보이는 사진에서도 실패할 수 있나요?
모델이 촬영 아티팩트, 텍스처 또는 변한 상관관계에 의존했을 수 있습니다. 작은 전처리 차이와 도메인 변 shift도 학습된 특징에 영향을 줄 수 있습니다.
주요 참고 문헌
