얼굴 애니메이션의 수학: FACS, 블렌드셰이프, FLAME

얼굴 애니메이션 연구의 핵심은 표정을 단순히 복사하는 것이 아니라 관측된 얼굴 운동을 다시 조합할 수 있는 파라미터로 바꾸는 데 있다. 대표적인 축은 해부학적 움직임을 기술하는 FACS 계열 표현, 메시 변형을 선형 결합하는 블렌드셰이프, 정체성과 표정을 저차원 공간으로 분리하는 3D Morphable Model이다.

FACS와 액션 유닛

FACS는 행복·분노 같은 감정 이름을 직접 예측하지 않고 눈썹 안쪽 올림, 입꼬리 당김처럼 관찰 가능한 근육 작용 단위(Action Unit)로 표정을 분해한다. 같은 미소라도 강도와 비대칭을 별도 채널로 다룰 수 있다는 장점이 있다. 그러나 AU는 관찰 체계이지 곧바로 3D 변형 해답은 아니다. 리그에서는 한 AU를 여러 블렌드셰이프·조인트·코렉티브 조합으로 매핑해야 하며 캐릭터 비율에 맞춘 재해석이 필요하다.

블렌드셰이프의 선형 모델

중립 메시를 B0, 표정 타깃의 정점 변위를 ΔBi, 가중치를 wi라 하면 얼굴은 B(w)=B0+ΣwiΔBi로 근사할 수 있다. 계산이 빠르고 아티스트가 채널을 직접 편집할 수 있지만 선형 결합만으로는 근육의 미끄러짐, 피부 접힘, 볼륨 보존을 충분히 표현하지 못한다. jawOpen과 smile이 동시에 켜질 때 입꼬리가 찌그러지는 것처럼 채널 상호작용도 생긴다. 실무에서는 조합 코렉티브, in-between, 비선형 드라이버를 추가한다.

3DMM과 FLAME

3D Morphable Model은 얼굴 형상을 평균 얼굴과 기저 벡터의 결합으로 표현하고 정체성·표정·자세를 분리하려 한다. FLAME은 머리, 목, 턱의 관절 모델과 표정 공간을 결합해 영상 추적 결과를 애니메이션 가능한 메시 파라미터로 만든다. 단일 영상에서도 최적화할 수 있지만 조명, 가림, 빠른 움직임, 과장된 표정과 학습 데이터 편향에 민감하다. 수치 오차가 낮아도 배우의 타이밍과 연기 의도가 보존되었다고 단정할 수 없다.

신경 렌더링으로의 확장

NeRF와 3D Gaussian 기반 아바타는 전통 메시가 놓치는 피부 반사, 치아 주변의 복잡한 외관, 표정에 따른 미세 주름을 학습한다. 대신 잠재 표현이 불투명하면 아티스트가 특정 입꼬리나 눈꺼풀만 수정하기 어렵다. 시간적 떨림, 새로운 시점에서의 일관성, 데이터 권리와 배우 동의도 핵심 연구 과제다. 제작에서는 완전 자동 생성보다 추적 파라미터를 명시적 리그 채널로 변환하고 사람이 수정하는 하이브리드 방식이 통제하기 쉽다.

연구를 읽는 기준

논문을 비교할 때는 랜드마크 오차 하나만 보지 말아야 한다. 정체성 보존, 립싱크 정확도, 시간적 안정성, 새로운 시점 일반화, 실시간 성능, 편집 가능성을 함께 본다. 특히 데이터셋 내부 테스트 점수와 실제 제작 환경의 강한 조명·가림·다양한 얼굴 비율에서의 성능은 다를 수 있다.

읽을거리

FLAME 프로젝트: https://flame.is.tue.mpg.de/

RingNet: https://arxiv.org/abs/1905.06817

State of the Art on Neural Rendering: https://arxiv.org/abs/2004.03805

관련 공식 이미지 — FLAME 얼굴 모델과 파라미터 변형

출처: FLAME — Max Planck Institute for Intelligent Systems

FLAME 표정·자세 변화 예제

출처: FLAME 공식 프로젝트 (flame.is.tue.mpg.de)