운전 중 휴대폰 남용을 식별하는 방법: 편광 필터와 객체 인식

영국 연구자들은 도로변 시스템을 개발하여 운전 중 불법적인 휴대폰 사용을 자동으로 감지할 수 있는 방법을 제안했습니다. 이 시스템은 고전적인 광학 필터와 적외선 촬영을 사용합니다. 캡처 장비의 품질에 따라 이 시스템은 실제 세계에서 95.81%의 정확도를 달성할 수 있습니다.

연구자들의 모델 중 하나. 운전대 영역을 먼저 식별하고 고립하여 AI 지원 휴대폰 이미지 검색을 위한 수집 영역으로 사용합니다. 이 시스템은 장착된 휴대폰을 무시하고 운전자가 활발히 잡고 있는 장치를 찾습니다. 출처: https://www.youtube.com/watch?v=PErIUr3Cxvg

이 연구는 객체 인식과 추적을 통한 운전 중 휴대폰 사용 위반 식별이라는 제목으로 뉴캐슬 대학교 컴퓨팅 학부에서 수행되었습니다.

풍경 유리 반사 극복

운전 중 휴대폰 사용 감지를 위한 이전 접근 방식은 주행 중에 풍경 유리의 높은 반사성으로 인해 어려움을 겪었습니다. 특히 구름이 많은 경우에 더욱 어려웠습니다. 이러한 경우는 실제로 적외선 광원으로 해결할 수 없습니다. 자연광을 관통하기 위해 필요한 적외선 조명의 양이 너무 많기 때문입니다.

따라서 뉴캐슬 연구자들은 1812년부터 사용된 가장 오래된 기술, 즉 풍경 유리 표면의 반사를 제거하는 저렴한 물리적 편광 필터를 도로변 감시 카메라에 부착할 수 있다고 제안했습니다. 이 필터는 한 번 캘리브레이션하면 이후에 차량 내부를 명확하게 볼 수 있습니다.

위: 필터 없이 본 차량 풍경 유리. 아래: 카메라에 물리적 편광 필터를 부착한 후 본 풍경 유리. 출처: https://arxiv.org/pdf/2109.02119.pdf

전용 카메라에서 모바일 기반 센서로의 전환으로 인해 편광 필터의 존재는 주로 합리적인 품질의 선글라스에서만 남게 되었습니다. 여기서 착용자는 반사 제거 특성을 관찰할 수 있습니다. 이는 시야각을 기울이거나 반사 물체의 시야각을 변경하여 확인할 수 있습니다.

일광은 산소와 질소 분자에 의해 산란되며, 파란색 빛이 다른 파장보다 더广泛하게 산란됩니다. 이는 하늘의 색이 파란색임을 의미합니다. 파란색 빛은 편광되어 있으며, 선형 또는 원형 편광 렌즈를 사용하면 이 편광된 빛을 효과적으로 제거하여 반사를 제거할 수 있습니다.

이 논문은 담배 연기 유리가 이 방법을 방해하거나 무효화할 수 있음을 인정합니다. 그러나 이는 영국 법률로 제한되며, 미국에서는 주마다 규정이 다르므로 이 논문은 이를 주요 장애물로 간주하지 않습니다.

YOLO

이 논문에서 제안하는 시스템은 시민 인프라, 즉 정부가 설치한 도로변 감시 카메라와 같은 시스템에 통합될 것입니다. 비용에 대한 가능한 장애물에 대해 인식하고, 연구자들은 다양한 객체 인식 시스템 구성과 다양한 품질의 캡처 장비를 테스트했습니다. 또한 기존 카메라에 저렴한 편광 필터를 추가하여 모든 다른 시스템 측면을 원격으로 유지하는 최소 비용 시나리오를 제공했습니다.

네 가지 객체 인식 프레임워크가 테스트되었습니다: You-Only-Look-Once (YOLO) 버전 3과 4; SSD 기본 네트워크; Faster R-CNN; 및 CenterNet. 테스트에서 가장 정확한 결과는 YOLO V3을 사용하여 두 단계의 워크플로우를 통해 얻었습니다. 이 워크플로우는 먼저 운전대 영역을 식별한 다음 해당 공간에서 휴대폰을 찾습니다.

그러나 두 개의 네트워크를 통해 비디오를 실행해야 하므로 프레임 속도는 13.15fps로 비최적화됩니다. 이는 더 단순한 시스템에서 30fps에 가깝습니다. 결과의 품질은 입력 장비에 달려 있으며, 연구자들은 저가 카메라와 더 높은 품질의 장비 간에 입력을 나누었을 때, 더 나은 장비에서는 거의 96%의 정확도가 가능하다는 것을 발견했습니다. 반면에 더 저렴한 카메라에서는 74.35%의 정확도가 가능했습니다.

인식된 위반 제한

시스템을 경제적으로 실행 가능하게 만드는 것 외에도, 연구자들은 완전히 자동화된 시스템을 개발하고자 하며, 필요한 인간의 감독이 최소화되도록 시스템을 설계했습니다. 시스템은 자동으로 벌금을 부과하도록 설계되었습니다. 그러나 운전 중 휴대폰 사용에 대한 법률이 전 세계적으로 더 엄격해지고 있으며, 벌금이나 면허 취소 이상의 처벌이 가능하므로(예: 영국), 이러한 시스템의 배포에서는 여전히 인간의 검증이 필요할 수 있습니다.

비디오 내용의 전체를 고려하는 광류 및 기타 방법을 사용에도 불구하고, 객체 인식 알고리즘은 각 프레임을 ‘완전한 이야기’로 간주하며, 다음 프레임은 후속 프로젝트입니다. 따라서 이러한 시스템은 128개의 프레임의 위반 캡처 비디오에 대해 128개의 별도의 벌금을 부과하지 않도록 해야 합니다.

이를 피하기 위해 시스템은 객체 추적 알고리즘 Deep SORT를 포함합니다. 이는 각 위반 인식에 고유한 ‘사건 ID’를 추가하며, 하나의 캡처 시퀀스 내에서 프레임 간에 ID가 중복되지 않도록 합니다.

야간 감시 처리

야간 조건에서는 이전 연구 프로젝트에서와 같이 적외선 캡처를 기본으로 사용합니다. 연구자들은 850nm와 730nm의 적외선 파장을 테스트했으며, 730nm에서 가장 좋은 세부 사항이 캡처됨을 발견했습니다.

이 논문은 일광 조건에서 적외선 캡처를 사용할 수 있는 범위에 대한 추가 조사가 필요하다고 주장합니다.

데이터

더 경제적인 단일 단계 시스템을 위해, 연구자들은 구글 오픈 이미지 데이터셋에서 2,235개의 번호판 이미지와 2,150개의 주식 및 맞춤형 휴대폰 이미지를 사용했습니다. 운전자가 잡고 있는 휴대폰 이미지를 포함해야 했으므로, 1,700개의 휴대폰 이미지는 프로젝트를 위해 특별히 촬영되었습니다.

두 단계 시스템은 첫 번째 단계를 훈련하기 위해 487개의 운전대를 주석화해야 했으며, 이는 단일 단계 프로세스에서 사용된 데이터 외에 필요했습니다.

공식적인 도로 감시 인프라에 접근할 수 없기 때문에 모든 이미지는 유사한 조건을近似하기 위해 자원봉사자에 의해 촬영되었습니다.

트레이드 오프

최종 결과는 구현 비용에 대해 거래해야 하는 정확성 표준의 범위를 제공합니다. 더 나은 캡처 장비와 처리 결과는 가장 높은 정확성을 제공하며, 비교적 저렴한 기존 도시 감시 장비의 비용으로도 수용할 수 있는 정확성이 얻을 수 있습니다.

더 저렴한 ‘단일 단계’ 파이프라인은 약 75%의 정확도를 달성하며, 가장 낮은 구현 비용(예: 저렴한 편광 필터 부착)을 달성합니다. 더 복잡한 두 단계 시스템(운전대 영역을 먼저 분리한 후 운전자가 잡고 있는 휴대폰을 찾음)은 더 높은 정확도를 달성하지만, 예산에 따라 새 인프라에만 적합할 수 있습니다. 양쪽 경우에 캡처 장비의 품질도 변수입니다.

위에서 언급한 바와 같이, 연구자들의 프로젝트의 실행 가능성에 대한 인식은 시스템이 완전히 자율적으로 작동해야 한다는 가정에 의해 영향을 받는 것으로 보입니다. 이는 의문스러운 요구사항입니다.

다음은 프로젝트의 공식 비디오입니다. 구현 및 사용된 접근 방식에 대한 자세한 정보를 확인하십시오.