AI가 수화 인식을 그 어느 때보다 더 정확하게 만드는 방법

우리가 의사소통 장벽을 허물기 위해 생각할 때, 우리는 종종 다음에 초점을 맞춥니다. 언어 번역 앱 또는 음성 지원. 하지만 수화를 사용하는 수백만 명의 사람들에게 이러한 도구는 격차를 메우지 못했습니다. 수화는 손짓에 관한 것이 아니라 얼굴 표정과 신체 언어를 포함하는 풍부하고 복잡한 의사소통 형태이며, 각 요소는 중요한 의미를 지닙니다.

이것이 특히 어려운 이유는 다음과 같습니다. 주로 어휘와 문법이 다른 구어와 달리 전 세계의 수화는 의미를 전달하는 방식이 근본적으로 다릅니다. 예를 들어 미국 수화(ASL)는 구어 영어와 일치하지 않는 고유한 문법과 구문을 가지고 있습니다.

이러한 복잡성으로 인해 수화를 실시간으로 인식하고 번역하는 기술을 만들려면 동작하는 전체 언어 시스템을 이해해야 합니다.

인식에 대한 새로운 접근 방식

플로리다 애틀랜틱 대학교(FAU) 공과대학 및 컴퓨터과학부 연구팀은 새로운 접근법을 시도하기로 결정했습니다. 수화의 복잡성 전체를 한꺼번에 해결하려는 대신, AI를 통해 전례 없는 정확도로 미국 수화(ASL) 알파벳 제스처를 인식하는 중요한 첫 단계에 집중했습니다.

컴퓨터에게 손글씨를 읽는 법을 가르치는 것과 같지만, 29,820차원에서 움직이는 것으로 생각해 보세요. 이 팀은 놀라운 것을 만들었습니다. ASL 손짓을 보여주는 21개의 정적 이미지 데이터 세트입니다. 하지만 그들은 그저 사진을 수집한 것이 아닙니다. 그들은 각 이미지에 손의 XNUMX개 핵심 지점을 표시하여 손이 어떻게 움직이고 다른 신호를 형성하는지에 대한 자세한 지도를 만들었습니다.

박사과정 학생으로서 이 연구를 이끈 바데르 알샤리프 박사는 이렇게 설명합니다. "이 방법은 이전 연구에서 탐구되지 않았기 때문에 미래의 발전을 위한 새롭고 유망한 방향입니다."

기술 분석

이 수화 인식 시스템을 작동시키는 기술의 조합에 대해 자세히 알아보겠습니다.

미디어파이프와 YOLOv8

마법은 두 가지 강력한 도구인 MediaPipe와 YOLOv8의 원활한 통합을 통해 일어납니다. MediaPipe를 전문적인 손 감시자로 생각해보세요. 모든 미묘한 손가락 움직임과 손 위치를 추적할 수 있는 숙련된 수화 통역사입니다. 연구팀은 위에서 언급했듯이 각 손의 21개 정확한 지점을 식별하여 정확한 손 랜드마크 추적을 제공하는 뛰어난 능력 때문에 MediaPipe를 특별히 선택했습니다.

하지만 추적만으로는 충분하지 않습니다. 이러한 움직임이 무엇을 의미하는지 이해해야 합니다. 바로 여기서 YOLOv8이 등장합니다. YOLOv8은 패턴 인식 전문가로, 추적된 모든 포인트를 가져와서 어떤 문자나 제스처를 나타내는지 파악합니다. 연구에 따르면 YOLOv8은 이미지를 처리할 때 S × S 그리드로 분할하고, 각 그리드 셀은 경계 내에서 객체(이 경우 손 제스처)를 감지하는 역할을 합니다.

알샤리프 등, 프랭클린 오픈(2024)

시스템이 실제로 작동하는 방식

이 과정은 언뜻 보기보다 훨씬 더 정교합니다.

장면 뒤에서 무슨 일이 일어나는지 알려드리겠습니다.

손 감지 단계

간판을 만들 때 MediaPipe는 먼저 프레임에서 손을 식별하고 21개의 핵심 지점을 매핑합니다. 이는 무작위적인 점이 아니라 손가락 끝에서 손바닥 바닥까지 손의 특정 관절과 랜드마크에 해당합니다.

공간분석

그런 다음 YOLOv8은 이 정보를 가져와 실시간으로 분석합니다. 이미지의 각 그리드 셀에 대해 다음을 예측합니다.

• 손짓이 나타날 확률
• 제스처 위치의 정확한 좌표
• 예측의 신뢰도 점수

분류

이 시스템은 "바운딩 박스 예측"이라는 것을 사용합니다. 손짓 주위에 완벽한 직사각형을 그리는 것을 상상해 보세요. YOLOv8은 각 박스에 대해 다섯 가지 중요한 값을 계산합니다. 중심, 너비, 높이에 대한 x 및 y 좌표, 신뢰도 점수입니다.

알샤리프 등, 프랭클린 오픈(2024)

이 조합이 왜 그렇게 잘 작동하는지

연구팀은 이러한 기술을 결합하여 단순히 각 기술의 합보다 더 큰 무언가를 만들어냈다는 것을 발견했습니다. MediaPipe의 정밀한 추적 기능과 YOLOv8의 고급 객체 감지 기능이 결합되어 놀랍도록 정확한 결과를 도출했습니다. 98%의 정확도와 99%의 F1 점수에 해당합니다.

이것을 특히 인상적으로 만드는 것은 시스템이 수화의 복잡성을 처리하는 방식입니다. 일부 수화는 훈련되지 않은 눈에는 매우 유사해 보일 수 있지만, 시스템은 미묘한 차이점을 알아차릴 수 있습니다.

기록적인 결과

연구자들이 새로운 기술을 개발할 때, 가장 큰 의문은 항상 "실제로 얼마나 잘 작동하는가?"입니다. 이 수화 인식 시스템의 경우, 그 결과는 인상적입니다.

FAU 팀은 시스템에 대한 엄격한 테스트를 실시했고, 다음과 같은 결과를 얻었습니다.

• 시스템은 98%의 확률로 표지판을 정확하게 식별합니다.
• 그것은 그 앞에 있는 모든 표지판의 98%를 포착합니다.
• 전반적인 성능 점수는 인상적인 99%에 도달했습니다.

알샤리프는 "저희 연구 결과는 저희 모델이 미국 수화 언어의 제스처를 매우 적은 오류로 정확하게 감지하고 분류할 수 있는 능력을 가지고 있음을 보여줍니다."라고 설명했습니다.

이 시스템은 다양한 조명, 다양한 손 위치, 심지어 다른 사람이 서명하는 상황에서도 일상 상황에서 잘 작동합니다.

이 획기적인 기술은 수화 인식의 한계를 뛰어넘습니다. 기존 시스템은 정확도 면에서 어려움을 겪었지만, 연구팀은 MediaPipe의 손 추적 기술과 YOLOv8의 감지 기능을 결합하여 특별한 기술을 개발했습니다.

"이 모델의 성공은 전이 학습의 신중한 통합, 꼼꼼한 데이터셋 생성, 그리고 정밀한 튜닝 덕분입니다."라고 연구 공동 저자 중 한 명인 모하마드 일리아스는 말합니다. 이러한 세부 사항에 대한 집중은 시스템의 놀라운 성능으로 이어졌습니다.

이것이 커뮤니케이션에 의미하는 바

이 시스템의 성공은 의사소통을 더 접근 가능하고 포괄적으로 만드는 흥미로운 가능성을 열어줍니다.

연구팀은 단순히 글자를 인식하는 데 그치지 않습니다. 다음 주요 과제는 시스템이 훨씬 더 다양한 손 모양과 제스처를 이해하도록 가르치는 것입니다. 수화의 'M'과 'N'처럼 손 모양이 거의 똑같아 보이는 순간들을 생각해 보세요. 연구진은 시스템이 이러한 미묘한 차이를 더욱 잘 포착할 수 있도록 노력하고 있습니다. 알샤리프 박사는 이렇게 말합니다. "중요한 것은 이 연구 결과가 시스템의 견고성뿐만 아니라 실제 실시간 응용 분야에 활용될 수 있는 잠재력을 보여준다는 것입니다."

현재 팀은 다음 사항에 집중하고 있습니다.

• 일반 장치에서 시스템을 원활하게 작동시키기
• 실제 대화에 충분히 빠르게 대응할 수 있도록 만들기
• 어떤 환경에서도 안정적으로 작동하도록 보장합니다.

FAU 공학 및 컴퓨터 과학 대학의 스텔라 바탈라마 학장은 더 큰 비전을 공유합니다. "이 연구는 미국 수화 인식을 개선함으로써 청각 장애인과 난청인의 의사소통을 향상시킬 수 있는 도구를 만드는 데 기여합니다."

이 기술이 소통의 격차를 즉시 메워주는 병원 진료실이나 수업에 참석하는 모습을 상상해 보세요. 바로 그것이 이 기술의 진정한 목표입니다. 모든 참여자의 일상적인 상호작용을 더욱 원활하고 자연스럽게 만드는 것입니다. 실제로 사람들이 서로 연결될 수 있도록 돕는 기술을 개발하는 것입니다. 교육, 의료, 일상 대화 등 어떤 분야에서든 이 시스템은 소통의 장벽이 점점 더 낮아지는 세상을 향한 한 걸음을 의미합니다.