혀는 어디에? AI 연구진, 얼굴 애니메이션에서 빠진 해부학적 요소를 다루다

2026년에 놓친 연구: 연구계의 연구 성과와 발표량은 해마다 11월과 12월의 마지막 몇 차례 학회 일정에 맞춰 함께 오르내립니다. 이렇게 간헐적으로 찾아오는 기근을 넘기기 위해, 2026년에 거의 선정될 뻔했지만 경쟁이 더 치열한 투고 기간에 다른 연구에 밀려난 흥미로운 논문 몇 편을 살펴봅니다.

최근까지는 아마추어든 전문가든 딥페이크 제작자에게 재구성된 사람에게 혀가 있는지 여부는 더 시급하게 해결해야 할 문제에 비해 그리 중요하지 않았습니다. 혀는 얼굴의 여러 특징 가운데서도 가장 변덕스럽기 때문입니다. ‘중얼거리는’ 사람에게서는 전혀 보이지 않고, 대부분의 일상적인 상황에서도 간헐적으로만 관찰됩니다.

따라서 혀가 필요한 상황에서도 AI 재구성 결과에는 혀가 없습니다. 아마추어가 확산 모델 기반 재구성만으로도 놀라운 수준의 사실감을 구현하고, AI로 만든 사람을 평가하는 우리의 안목이 갈수록 까다로워지는 지금, 이 문제를 다뤄야 할 때인지도 모릅니다.

문제를 혀로 핥아 풀다

7월, 호주와 중국의 학술 협력은 AI 워크플로에서 혀 시뮬레이션이 부족한 문제를 해결할 수 있는 파이프라인을 제시했다. TongueReenact라는 이름의 이 제안 프레임워크는 딥페이크 도구 상자에 있는 거의 모든 기법을 이 문제에 적용한다. 여기에는 가우시안 스플래팅, 매개변수 기반 인간 모델, 신경 방사장(NeRF), 확산 기반 비디오 생성이 포함된다(미안하지만 GAN, 이번에는 빠졌어).

위쪽은 아래의 TongueReenact 렌더링에 특성이 전이되는 실제 구동 영상입니다. 출처

논문이 발표된 뒤 프로젝트에서 약속한 코드가 공개되지 않은 것으로 보이고, 아직 보충 동영상도 공개되지 않았지만, 이 연구는 중요한 이정표입니다. 의료 분야 밖에서 AI 기반 재구성에 혀를 다룬 최초의 연구인 데다, 제안된 해결책을 구현하는 데 필수적인 주석 데이터의 심각한 부족 문제까지 다루기 때문입니다.

연구진은 기존의 다양한 프레임워크와 데이터를 참신하게 활용해 SegmentAnything 기반의 혀 분할 프레임워크를 만들고, 새로 분할한 데이터에 사용할 의사 라벨을 생성했습니다.

논문에서는 다음과 같이 설명합니다.

‘[We] 얼굴 재연에서 정체성이 다른 사람 간 혀 움직임을 전이하는 최초의 프레임워크를 제시한다. 소스 프레임과 구동 동영상이 주어지면, 이 방법은 얼굴 움직임과 혀의 조음 동작을 모두 소스 인물의 정체성에 전이한다.

‘이 연구의 핵심 통찰은 혀 합성을 일반적인 인페인팅 문제로 다뤄서는 안 된다는 점이다. 혀의 위치는 소스 얼굴의 기하 구조에 맞게 정밀하게 정해져야 하며, 그 기하 구조 자체도 구동 프레임마다 달라진다.’

시스템은 먼저 3D 가우시안 스플래팅과 얼굴 모델 FLAME을 사용해 구동 인물의 얼굴 움직임을 소스 얼굴에 전이합니다. 그 결과 올바른 자세와 표정을 갖춘 애니메이션 얼굴이 만들어지지만, 여전히 혀는 없습니다.

TongueReenact 워크플로. 위쪽: 혀 이미지를 찾아 분할한 뒤, 탐지 모델을 학습시키기 위해 수동으로 다듬습니다. 아래쪽: 구동 동영상의 얼굴 움직임을 소스 얼굴에 전이한 다음, 확산 모델이 알맞은 위치에 빠진 혀를 생성합니다.

이어서 Stable Diffusion 모델을 사용해 빠진 혀를 생성합니다. 이때 구동 동영상에 나타난 혀의 모습과 재구성된 얼굴의 기하 구조를 조건으로 삼습니다.

얼굴 재구성에서 이러한 결손을 해결해야 하는 이유에 대해 저자들은 다음과 같이 설명합니다.*

‘웃음, 혐오감, 놀라움과 같은 표현이 강한 동작에서는 [the tongue]가 입 안에서 보이는 영역을 온전히 차지할 수 있다. 그러나 기존의 재연 및 아바타 시스템은 대부분 입 안을 아무 무늬도 없는 빈 공간으로 모델링하거나, 혀를 완전히 제약 없이 둔다.

‘이러한 무시는 우연이 아니다. 혀는 독특하게도 순간적으로만 나타나는 구조다. 가만히 있을 때는 완전히 감춰져 있고, 말할 때는 간헐적으로 드러나며, 강렬한 표정을 지을 때는 갑자기 두드러진다. 따라서 얼굴의 나머지 부분에 적용되는 정적 매개변수 모델링으로는 근본적으로 다루기 어렵다.

‘우리가 간과된 이 문제를 해결하려는 이유도 바로 여기에 있다.’

테스트에서 새 방법은 다섯 가지 경쟁 얼굴 애니메이션 시스템보다 상당히 뛰어난 성능을 보였으며, 혀의 위치와 크기를 측정하는 주요 지표에서 가장 근접한 경쟁 방법보다 정확도가 100% 넘게 높았다. 다만 새로운 분야를 개척하면서 이런 종류의 테스트를 설계하기는 어렵고, 기존 프레임워크는 이 새로운 과제를 거의 다루지 않았거나 전혀 다루지 않았다는 점은 인정해야 한다.

새로운 접근법을 자세히 살펴보자.

방법

일반적인 얼굴 영상에서 혀를 식별할 수 있는 시스템을 개발하기 위해, 사람 머리를 여러 시점에서 촬영한 NERSemble 데이터셋과 고품질 얼굴 동영상 16,000개 이상이 포함된 VFHQ 데이터셋에서 합성한 프레임을 함께 사용했다:

재생하려면 누르세요흥미롭게도 ‘혀’가 돋보이는 Nersemble 프로젝트 사이트의 방사장 재구성 사례다. 하지만 여기서 보이는 혀는 일반적인 기하 형상으로 취급되며, 별도의 도메인은 갖지 않는다.출처 

각 이미지에서 입의 위치를 찾는 데 MaskGAN 얼굴 파싱 모델을 사용했다. 그런 다음 TongueSAM 의료용 감지기로 혀가 있을 가능성이 높은 영역을 식별하고, 이를 SegmentAnything에 전달해 보이는 혀의 초기 윤곽선(즉, 의사 레이블)을 생성했다.

얼굴 표정 평가가 아닌 의료 분석용으로 제작된 TongueSAM 데이터셋의 샘플. 출처

생성된 마스크는 혀가 얼마나 보이는지에 따라 세 그룹으로 나눴다. 잘못된 사례는 제외하고, 유망한 마스크는 주변 입술과 치아, 기타 구강 조직으로부터 혀를 구분할 수 있도록 수동으로 수정했다. 이렇게 개선한 주석을 사용해 BiSeNet 이미지 분할 네트워크를 학습시켰다.

이후 모델을 추가 NERSemble 피험자와 VFHQ 합성 프레임에 적용하고, 추가 학습에 앞서 사람이 예측 결과를 확인하고 수정했다. 이 과정은 이전에 보지 못한 피험자에 대한 성능이 안정화될 때까지 반복됐다:

기존 데이터를 ‘혀 도메인’ 데이터로 가공하는 파이프라인.

혀를 합성할 때는 BiSeNet이 식별한 구강 영역을 약간 확장한 뒤 확산 모델에 전달했다. 이에 따라 입 모양이 변해도 생성된 혀가 초기 분할 영역 밖으로 뻗어 나올 수 있는 공간을 확보했다.

생성은 Stable Diffusion 이미지 변형의 잠재 공간에서 수행했다. 재구성된 얼굴 기하 구조와 입력 프레임에 보이는 혀에서 각각 별도의 가이던스 정보를 얻었으며, 식별된 입과 혀 영역만 다시 생성했다.

생성 파이프라인. 왼쪽 위 사분면의 DINO V2 참조는 GAGAvatar(아래 참조)의 사용을 나타내며, GAGAvatar는 DINO V2 외관 특징을 FLAME과 함께 사용한다.

데이터와 테스트

BiSeNet은 앞서 설명한 데이터 처리 단계에서 파생된 두 가지 출력 클래스, 즉 배경과 혀를 대상으로 학습했다. 단일 NVIDIA A40 GPU(비디오 메모리 48GB)에서 512x512px 이미지를 사용해 배치 크기 4로 50,000회 반복 학습했으며, 학습률은 10^-3이었다. 학습 데이터는 앞서 언급한 NERSemble 및 VFHQ 프레임으로 구성됐다.

재연 부분에는 사전 학습된 GAGAvatar 가우시안 스플래팅 백본을 사용했다. VAE와 CLIP 인코더를 고정한 상태로 Stable Diffusion Image Variations 체크포인트도 사용했다. 그런 다음 NERSemble 데이터로 가이던스 인코더와 노이즈 제거 UNET을 85,000회 반복 학습했으며, 배치 크기는 8, 입력 크기는 512×512였다. 추론에는 DDIM 단계 20회를 사용했다(현재의 많은 확산 모델에서 이는 높은 횟수로 간주되며, 세부 묘사를 살리도록 설계된 만큼 불가피한 절충이 따른다).

비교 대상으로 테스트한 아바타 프레임워크는 GPAvatar, 호평받는 LivePortrait, X-NeMo, X-Portrait였다. 각 프레임워크는 정체성이 서로 다른 VFHQ 소스·입력 쌍 9,000개를 대상으로 평가했다.

사용한 지표는 학습된 지각적 이미지 패치 유사도(LPIPS), 혀 존재율(혀가 감지된 프레임의 비율), 혀 IoU(생성된 혀 영역과 입력 혀 영역이 겹치는 정도), 혀 면적 유사도(생성된 혀의 크기가 입력 혀의 크기와 얼마나 비슷한지)였다.

TongueReenact과 경쟁하는 얼굴 재현 프레임워크 5종을 비교한 테스트 결과입니다. TongueReenact은 혀 관련 지표 4개 모두에서 가장 우수한 결과를 기록했으며, 화살표는 점수가 낮을수록 또는 높을수록 바람직한지를 나타냅니다.

초기 비교 결과에 대해 저자들은 다음과 같이 밝혔습니다.

‘우리 방법은 혀 전이 지표 4개 모두에서 가장 우수한 성능을 보였습니다. Tongue IoU는 0.3582, Tongue Area Similarity는 0.4338로, 가장 근접한 경쟁 방법보다 두 배 이상 높은 수치입니다. 이는 혀 움직임을 훨씬 더 정확하게 전이한다는 점을 확인해 줍니다.

‘Tongue Presence가 0.7891이라는 결과는 기존 방법들이 혀를 전혀 생성하지 못하는 경우가 많은 것과 달리, 우리 방법이 눈에 보이는 혀의 조음 동작을 안정적으로 합성한다는 점을 한층 더 입증합니다.’

원 논문에 제시된 방대한 정성적 사례 가운데 몇 가지 주요 장면입니다. 여기서는 새로운 접근법과 기존 경쟁 방법 5종을 비교합니다. 이들 방법 중 어느 것도 혀를 생성하도록 설계되지 않았습니다. 더 많은 사례와 고해상도 이미지는 원 논문을 참조하세요.

현재 추가 동영상 자료가 없어 직접 평가하기는 어렵지만, 저자들은 시간적 일관성을 확인하기 위해 T-LPIPS를 사용해 시스템을 테스트하기도 했습니다.

시간적 일관성 테스트 결과입니다.

저자들은 다음과 같이 설명합니다.

‘전체 모델은 플로 지터(0.218543 대 0.622901)와 플로 크기(0.513165 대 1.254073)를 크게 낮췄습니다. 이는 기하 구조를 기준으로 삼는 노이즈 제거가 부드럽고 안정적인 혀 움직임을 만들어 낸다는 점을 확인해 줍니다.

‘T-LPIPS가 더 낮다는 결과는 혀 합성이 시간적 일관성을 해치지 않는다는 점도 확인해 줍니다.’

결론

불쾌한 골짜기 효과는 최신 확산 기반 비디오 모델 일부에 의해 점차 극복되고 있다. 그러나 새로운 심리적 장벽이 나타나기 시작하고 있다. 사람들이 AI 생성 콘텐츠를 자신이 시청하는 콘텐츠의 품질 이외의 이유로 부정적으로 평가하는 현상이다.

이런 변화는 정성적 평가를 더욱 복잡하게 만들 수 있습니다. 다만 사용자가 AI 결과물에는 낮은 점수를 주고 싶어 하면서도 실제 결과물의 점수를 낮출까 봐 우려하는 ‘블라인드’ 테스트에 기반한 지표가 AI의 사실감을 평가하는 일종의 ‘그림자’ 척도를 만드는 데 도움이 될 수도 있습니다.

따라서 머리카락, 감정 시뮬레이션, 시선, 그리고 이제는 혀의 움직임처럼 정체성을 드러내는 부차적 특성을 AI로 재현하려는 연구가 활발히 진행되고 있지만, 당분간은 실효성이 크지 않을 수 있습니다.

* 저자가 본문에 삽입한 인용 표기를 하이퍼링크로 바꾼 것은 필자입니다.

최초 게시일: 2026년 11월 11일 수요일