인공지능이 사진의 년도를 사람들의 나이로 추측할 수 있다

새로운 연구에 따르면 인공지능은 사람들의 얼굴을 사용하여 사진이 촬영된 년도를 추측할 수 있으며, 나이 추측과 알려진 출생 년도를 결합하여 현재 장면 기반 방법을 능가한다.

사진의 날짜를 추측하는 것은 이전보다 훨씬 더 어려워졌습니다. 이유는 헤어 스타일과 의류 패션의 변화가 이전보다 더 느려졌기 때문입니다. 이러한 시각적 스타일의 변화는 약 30년 전부터 끝났습니다. 따라서 헤어 스타일이나 의류를 보고 년도를 추측하는 것은 더 이상 쉽지 않습니다.

일부 시간 동안 이미지와 영화를 색상 해상도와 필름 스톡의 그레인 특성에 따라 날짜를 지정할 수 있었습니다. 포렌식 전문가가 아니더라도 오래된 영화를 많이 본 경우 문화적 단서(음악, 자동차, 패션, 주제 등)가 영화 스타일과 관련이 있음을 알 수 있습니다.

필름 스톡의 개선이 시간이 지남에 따라 피부 톤과 조명 스타일의 범위를 점진적으로 확대했음을 보여주는 일러스트레이션, 평면적인 전면 설정에서 더 자연스럽고 다양한 모습으로 이동했습니다. 출처

사진을 날짜를 지정하는 추가적인 기준은 흑백 여부였습니다. 디지털 사진의 보급으로 이 기준은 더 이상 필요하지 않게 되었습니다.

여러 가지 상업적 및 실험적인 시스템, 예를 들어 MyHeritage의 PhotoDater는 이러한 기준과 다양한 다른 기준을 사용하여 사진을 날짜를 지정하려고 시도합니다.

MyHeritage의 PhotoDater 구독 전용 서비스에서 사진 연대 추정의 예입니다. 출처

기타 특징적인 신호가 없으면, 예를 들어 스마트폰이나 시대별 기술이 없으면, 최근 15-25년 동안 촬영된 사진의 연대를 추측하는 가장好的 방법은 사진에 등장하는 사람이 유명인이나 아는 사람인 경우입니다. 그러면 그 사람의 나이를 추측할 수 있습니다.

얼굴 연령을 참조로 사용

컴퓨터 비전 분야와 다양한 다른 분야(예: 포렌식, 보관 처리, 저널리즘, 데이터셋 아키텍처 등)에서 사진의 연대를 결정하는 능력은 소중한 목표입니다. 많은 디지털 및 아날로그 컬렉션은 적절한 주석이나 메타데이터가 없거나 잘못된 메타데이터가 있습니다.

따라서 인공지능 시스템이 사진을 검토하여 우리가 역사적 컬렉션을 되돌아볼 때처럼 “아, 그 때였군”이라고 말할 수 있다면 유용할 것입니다. 그러나 이러한 접근법의钩은 무엇일까요?

체코 공화국에서 나온 새로운 연구 논문은 인공지능 기반 나이 인식 시스템과 얼굴 인식 시스템을 결합하여 초기 접근법을 제공합니다. 이 시스템은 알려진 사람들의 데이터베이스(이 경우 체코 영화 데이터베이스)에 연결됩니다.

1974년 ‘Joachim, Put It in the Machine’에서 가져온 스틸 이미지, 연대 지정 과정을 설명하기 위해 사용됩니다. 출처

시스템은 사진에서 알려진 개인을 감지하고, 사전 훈련된 모델을 사용하여 얼굴 나이를 추정한 다음, 각 사람의 출생 년도에서 그 값을 빼서 사진의 가능한 연대를 생성합니다. 여러 얼굴이 있는 경우, 연대 추정값을 집계하여 최종 예측을 생성합니다.

이 방법은 CSFD(Czecho-Slovak Movie Database)에서 수집된 이미지에 테스트되었습니다. 결과는 이 접근법이 같은 데이터에 훈련된 장면 기반 모델보다 일관된 정확도를 제공한다고 주장합니다.

이 체계는 중앙 데이터베이스가 필요합니다. 이 데이터베이스에는 широк한 개인 그룹에 대한 지식이 포함되어 있으며, 이 경우 체코 영화 데이터베이스와 같습니다. 그러나 확인된 출생 년도와 중앙 날짜 확인된 이벤트를 특징으로 하는 다른 컬렉션도 유사한 결과를 제공할 수 있습니다.

논문은 다음과 같이述합니다:

‘우리의 데이터셋은 단일 이미지 내의 여러 개인에 대한 주석을 제공하여 다중 얼굴 정보 집계를 연구할 수 있습니다. 우리는 시각적 증거를 공식적으로 결합하고, 경력 기반 시간적 사전 지식을 사용하여 사진 촬영 연도를 추론하는 확률적 프레임워크를 제안합니다.’

‘우리의 실험은 여러 얼굴에서 증거를 집계하는 것이 일관되게 성능을 개선하며, 접근법이 특히 여러 식별 가능한 개인이 포함된 이미지에서 강력한 장면 기반 기준선보다 훨씬 더 우수하다는 것을 보여줍니다.’

새로운 논문은 사진 연대 지정을 위한 얼굴 연령 집계라고 제목이 붙여졌으며, 체코 기술 대학의 두 연구자에 의해 작성되었습니다. 코드와 데이터의 후속 릴리스가 약속되어 있습니다.

방법

사진이 촬영된 연대를 추측하기 위해, 저자의 새로운 시스템은 각 감지된 얼굴을 살펴보고, 그것이 누구일지 추측합니다. 알려진 사람들의 데이터베이스를 사용하여, 사람의 출생 년도를 알 수 있습니다.

그런 다음, 시스템은 각 사람의 나이를 추정하고, 출생 년도에서 그 값을 빼서 사진의 가능한 연대를 추정합니다.

왼쪽: 시스템은 알려진 개인의 경력을 기반으로 타임라인을 구축합니다. 오른쪽: 얼굴 나이 추정과 결합하여 사진이 촬영된 최종 추정치를 생성합니다.

시스템은 각 얼굴의 독립성을 가정하고, 각 얼굴의 외모는 해당 身分과 사진의 날짜에만 의존한다고 가정합니다.

사진의 연대를 추측하기 위해, 시스템은 먼저 NIST의 cvut-002 모델을 사용하여 각 감지된 얼굴의 나이를 추정합니다. 이 모델은 ViT-B/16 아키텍처를 기반으로 하며, 사적 데이터셋에서 훈련되었습니다.

그런 다음, 시스템은 사람의 출생 년도가 알려지면, 나이 추정값을 사진의 연도로 변환하여 가능한 연도의 확률 분포를 생성합니다.

시스템은 또한 각 얼굴의 임베딩을 비교하여 알려진 身分과 일치하는지 평가합니다.

ArcFace는 2015年に発表されたインサイト페이ス 모델의중앙 기여 아키텍처입니다. 출처

시스템은 또한 임베딩의 유사성을 측정하여 身分과 일치하는지 평가합니다.

시스템은 또한 여러 가지 유형의 사전 지식을 정의하여 사진의 연대를 추측합니다.

시스템은 또한 알려지지 않은 身分을 처리하기 위해, 불확실한 얼굴을 무시할 수 있는 fallback 身分을 포함합니다.

모델의 성능은 알려지지 않은 身分의 수에 따라 달라집니다.

데이터 및 테스트

저자는 CSFD 데이터셋을 사용하여 새로운 데이터셋을 구축했습니다. 이 데이터셋은 여러 사람을 특징으로 하는 장면으로 구성되며, 각 얼굴은 身分과 년도에 의해 레이블이 지정됩니다.

영화 개봉 연도는 사진이 촬영된 연도를 추측하기 위해 사용되었습니다.

그런 다음, 각 얼굴은 알려진 身分 중 하나에 일치하도록 할당되었습니다.

그런 다음, 시스템은 각 얼굴의 임베딩을 비교하여 身分과 일치하는지 평가했습니다.

CSFD-1.6M 데이터셋의 통계

저자는 또한 자신의 데이터셋이 가장 가까운 비교 가능한 데이터셋인 IMDB-WIKI보다 우수하다고 주장합니다.

‘우리의 데이터셋은 단일 이미지 내의 여러 개인에 대한 주석을 제공하여 다중 얼굴 정보 집계를 연구할 수 있습니다. 우리는 시각적 증거를 공식적으로 결합하고, 경력 기반 시간적 사전 지식을 사용하여 사진 촬영 연도를 추론하는 확률적 프레임워크를 제안합니다.’

저자의 평가에서는 여러 버전의 연대 지정 시스템을 비교하여 성능을 평가했습니다.

시스템은 또한 여러 가지 유형의 사전 지식을 정의하여 사진의 연대를 추측합니다.

메트릭 및 데이터

평균絶対오차(MAE)는 실험의 중심 메트릭입니다.

데이터는 다섯 부분으로 나누어졌으며, 각 영화의 모든 이미지가 하나의 파티션 내에 유지되도록 주의했습니다.

세 개의 파티션은 훈련에 사용되었으며, 하나는 검증에 사용되었고, 하나는 테스트에 사용되었습니다.

이 다섯 개의 회전은 과적합을 방지하기 위해 적용되었습니다.

결과

결과 섹션은 여러 가지 성능 지표에 걸쳐 있습니다.

가장 중요한 결과는 단일 숫자가 아니라, 패턴입니다. 얼굴 집계 모델은 특히 두 개 이상의 알려진 身分이 있는 경우 강력한 장면 기반 기준선보다 성능이 우수합니다.

저자는 또한 자신의 데이터셋이 더 넓고, 다중 개인 장면을 특징으로 하는데 반해, 가장 가까운 비교 가능한 데이터셋인 IMDB-WIKI는 단일 얼굴만 레이블이 지정되어 있다고 주장합니다.

저자의 평가에서는 여러 버전의 연대 지정 시스템을 비교하여 성능을 평가했습니다.

시스템은 또한 여러 가지 유형의 사전 지식을 정의하여 사진의 연대를 추측합니다.

결론

새로운 논문은 컴퓨터 비전 문헌에서 가장 흥미롭고 관련성이 높은 주제 중 하나를 다루고 있습니다. 이는 인류학 및 문화 연구와도 관련이 있습니다.

이 주제는 사진의 연대를 결정하는 능력입니다.

이 능력은 많은 디지털 및 아날로그 컬렉션에서 중요합니다.

저자의 새로운 시스템은 얼굴 인식과 나이 추정의 결합을 사용하여 사진의 연대를 추측합니다.

시스템은 알려진 사람들의 데이터베이스를 사용하여 사진에서 알려진 개인을 감지하고, 각 사람의 나이를 추정합니다.

그런 다음, 시스템은 각 사람의 출생 년도에서 나이 추정값을 빼서 사진의 가능한 연대를 추정합니다.

시스템은 또한 여러 가지 유형의 사전 지식을 정의하여 사진의 연대를 추측합니다.

저자의 평가에서는 여러 버전의 연대 지정 시스템을 비교하여 성능을 평가했습니다.

시스템은 또한 여러 가지 유형의 사전 지식을 정의하여 사진의 연대를 추측합니다.

이 연구는 사진의 연대를 결정하는 능력의 중요성을 강조합니다.

이 능력은 많은 디지털 및 아날로그 컬렉션에서 중요합니다.

저자의 새로운 시스템은 얼굴 인식과 나이 추정의 결합을 사용하여 사진의 연대를 추측합니다.

시스템은 알려진 사람들의 데이터베이스를 사용하여 사진에서 알려진 개인을 감지하고, 각 사람의 나이를 추정합니다.

그런 다음, 시스템은 각 사람의 출생 년도에서 나이 추정값을 빼서 사진의 가능한 연대를 추정합니다.

시스템은 또한 여러 가지 유형의 사전 지식을 정의하여 사진의 연대를 추측합니다.

이 연구는 사진의 연대를 결정하는 능력의 중요성을 강조합니다.

이 능력은 많은 디지털 및 아날로그 컬렉션에서 중요합니다.

저자의 새로운 시스템은 얼굴 인식과 나이 추정의 결합을 사용하여 사진의 연대를 추측합니다.

시스템은 알려진 사람들의 데이터베이스를 사용하여 사진에서 알려진 개인을 감지하고, 각 사람의 나이를 추정합니다.

그런 다음, 시스템은 각 사람의 출생 년도에서 나이 추정값을 빼서 사진의 가능한 연대를 추정합니다.

시스템은 또한 여러 가지 유형의 사전 지식을 정의하여 사진의 연대를 추측합니다.