인사이트
영상문법 · 애니 · 논문 · 연기 분석 · 언리얼 · AI 기술 — 매일 도식과 함께 정리합니다.
애니 논문: Everybody Dance Now: 포즈만 옮겨 춤을 전이하다
Everybody Dance Now: 포즈만 옮겨 남의 춤을 추게 만드는 기술 "Everybody Dance Now"는 Chan 외 연구진이 ICCV 2019에서 발표한 연구로, 잘 추는 사람의 춤 동작을 그대로 다른 사람의 모습으로 옮겨 그리는 방법을 소개합니다. 소스 영상에서 2D 포즈 스켈레톤을 뽑아내고, 그 스켈레톤을 조건으로 받는 조건부 GAN(p
애니 논문: SMPL: 파라미터 몇 개로 사람 몸을 표현하다
SMPL: 파라미터 몇 개로 사람 몸을 표현하다 개요 SMPL(Skinned Multi-Person Linear model)은 Loper 외 연구진이 2015년 SIGGRAPH Asia 에서 발표한 인체 모델입니다. 수천 벌의 3D 인체 스캔에서 학습한 통계 모델로, 체형 10여 개와 포즈 72개 남짓의 파라미터만 주면 정점 6,890개짜리 삼각 메시를 만
애니 논문: PFNN: 위상 함수 신경망으로 실시간 보행을 만들다
PFNN: 위상 함수 신경망으로 실시간 보행 생성 PFNN(Phase-Functioned Neural Network, 위상 함수 신경망)은 게임 캐릭터 애니메이션 분야에 새로운 접근을 제시한 연구입니다. Holden 등이 2017년 SIGGRAPH에서 발표한 이 방법은 캐릭터의 보행 동작을 지형에 맞춰 실시간으로 만들어 내는 데 초점을 둡니다. 핵심은 네트
천 시뮬레이션: 컴퓨터가 옷을 펄럭이게 만드는 법
출처: 천 시뮬레이션 천 시뮬레이션: 컴퓨터가 옷을 펄럭이게 만드는 법 애니메이션 영화를 보면 주인공의 망토가 바람에 휘날린다. 치마가 뛸 때마다 출렁인다. 그런데 그 옷은 진짜 천이 아니다. 컴퓨터 안에 있는 숫자 덩어리다. 그럼 그 숫자 덩어리는 어떻게 진짜 천처럼 움직일까? 그걸 연구하는 분야가 천 시뮬레이션(Cloth modeling) 이다. 먼저,
애니 논문: 군중 시뮬레이션
무엇이 군중 시뮬레이션일까요? 군중 시뮬레이션이란 마치 수많은 친구들이 공원에서 놀 때처럼, 많은 사람들이 함께 움직이는 모습을 컴퓨터로 만들어 보는 것입니다. 예를 들어, 런던의 코벤트 가든에서 거리 공연을 보는 사람들이 어떻게 움직이는지 컴퓨터로 보여줄 수 있어요. 이런 시뮬레이션은 영화나 비디오 게임에서 실제 같은 장면을 만들 때 쓰이거나, 건물 설계
애니 논문: AnimeInterp: 2D 애니메이션 중간 프레임 보간의 특수성
실사 영상에서 잘 돌아가던 프레임 보간 모델을 2D 애니메이션에 그대로 물리면, 결과가 눈에 띄게 무너진다. 사람 얼굴이 뭉개지고, 손이 두 개로 번지고, 배경은 멀쩡한데 캐릭터만 유령처럼 흐른다. Siyao 등이 CVPR 2021에서 발표한 AnimeInterp는 이 붕괴가 모델 성능 부족이 아니라 애니메이션이라는 매체의 구조적 특성 에서 온다고 본다.
애니 논문: Learned Motion Matching: 모션 매칭을 신경망으로 압축하다
게임 캐릭터를 자연스럽게 움직이려면 방대한 양의 모션 데이터가 필요하다. 걷고, 뛰고, 방향을 틀고, 멈추는 온갖 동작을 모션 캡처로 찍어 두면 수십 분에서 수 시간 분량의 애니메이션이 쌓인다. 모션 매칭(Motion Matching) 은 이 원본 데이터를 잘게 자르지 않고 통째로 들고 다니면서, 매 프레임 "지금 상황에 가장 잘 맞는 프레임"을 데이터베이
애니 논문: Robust Motion In-betweening: 키프레임 사이를 신경망이 채운다
키프레임 사이를 신경망이 채운다 — Robust Motion In-betweening 해부 애니메이터가 캐릭터의 동작을 만들 때 모든 프레임을 손으로 찍지는 않는다. 중요한 순간의 포즈, 즉 키프레임을 먼저 잡고 그 사이를 채우는 것이 전통적인 작업 방식이다. 이 "사이 채우기(in-betweening)"는 오랫동안 스플라인 보간 같은 수학적 도구가 담당해
애니 논문: Motion VAE: 잠재 공간에서 캐릭터를 조종하다
캐릭터 애니메이션에서 오랫동안 쓰인 방법은 모션 그래프 였다. 실제로 캡처한 짧은 동작 클립들을 노드로 두고, 자연스럽게 이어붙일 수 있는 지점끼리 간선으로 연결한 거대한 그래프를 만든다. 그리고 런타임에는 그래프 위를 걸어 다니며 클립을 골라 재생한다. 이 방식은 데이터에 있는 동작만큼은 진짜처럼 보인다. 하지만 그래프는 이산적(discrete)이라 클립
애니 논문: AMP: 적대적 모션 프라이어로 스타일만 뽑아내기
물리 기반 캐릭터에게 "달려라"라고 시키면 목표는 쉽게 준다. 앞으로 나아가는 속도에 보상을 주면 된다. 문제는 그 결과가 대부분 보기 흉하다는 것이다. 최적화는 목표를 채우는 가장 값싼 경로를 찾을 뿐이라, 팔을 기괴하게 휘젓거나 게처럼 질질 끄는 걸음으로도 "앞으로 가기"를 달성한다. 사람이 원하는 건 목표 달성만이 아니라 그럴듯하게 움직이는 것 인데,
애니 논문: DeepMimic: 강화학습으로 모션 캡처를 물리 시뮬레이션에 옮기다
모션 캡처로 찍은 백플립 데이터는 그 자체로는 그냥 좌표의 나열이다. 관절 각도가 프레임마다 어떤 값이었는지 적어 놓은 표에 가깝다. 이걸 그대로 재생하면 화면 속 캐릭터는 백플립을 한다. 다만 그 캐릭터는 밀면 밀리지 않고, 바닥이 기울어도 미끄러지지 않으며, 착지 순간에 무릎이 받아야 할 힘 같은 건 존재하지 않는다. 애니메이션은 있고 물리는 없다. 물
모션 매칭과 애니메이션 블렌딩: 그림이 부드럽게 움직이는 비밀
출처: 모션 매칭과 애니메이션 블렌딩 모션 매칭과 애니메이션 블렌딩: 그림이 부드럽게 움직이는 비밀 만화 영화 속 인물이 뛰어갈 때, 우리는 그 움직임을 자연스럽게 느낍니다. 하지만 사실 그건 그림 여러 장을 아주 빠르게 넘긴 것 일 뿐입니다. 오늘은 그 그림들 사이의 빈틈을 컴퓨터가 어떻게 메우는지 알아봅시다. 1. 애니메이션은 사실 '그림 넘기기'다 공
절차적 애니메이션: 컴퓨터가 스스로 그리는 움직임
출처: 절차적 애니메이션 절차적 애니메이션: 컴퓨터가 스스로 그리는 움직임 만화 영화 속 주인공은 어떻게 움직일까요? 옛날에는 사람이 그림을 한 장 한 장 그렸어요. 수천 장을 그려서 빠르게 넘기면 움직이는 것처럼 보였지요. 그런데 요즘 게임 속 캐릭터는 조금 달라요. 사람이 미리 다 그려 놓지 않아도, 컴퓨터가 그 자리에서 스스로 움직임을 만들어 내기도
물리 엔진: 컴퓨터 속 세상에 진짜 같은 힘을 불어넣는 마법 상자
출처: 물리 기반 시뮬레이션 물리 엔진: 컴퓨터 속 세상에 진짜 같은 힘을 불어넣는 마법 상자 공을 던지면 왜 떨어질까? 공을 하늘로 던져 보세요. 공은 위로 올라가다가 다시 내려옵니다. 왜 그럴까요? 지구가 공을 잡아당기기 때문이에요. 이것을 중력 이라고 부릅니다. 우리가 사는 세상에는 이런 규칙이 아주 많아요. 공은 굴러가다가 멈추고, 물은 아래로 흐르
블렌드 셰이프: 얼굴이 스르륵 바뀌는 마법
출처: 블렌드 셰이프 (모프 타겟) 블렌드 셰이프: 얼굴이 스르륵 바뀌는 마법 애니메이션 캐릭터가 웃다가 슬쩍 화를 냅니다. 그 사이 표정이 툭툭 끊기지 않고 부드럽게 흘러가요. 이런 부드러운 변신 뒤에는 블렌드 셰이프 라는 기술이 숨어 있어요. 다른 이름으로는 '모프 타겟'이라고도 불러요. 3D 캐릭터는 점으로 만들어져요 먼저 알아둘 게 있어요. 컴퓨터
애니 논문: 인버스 키네매틱스
출처: 인버스 키네매틱스 로봇 팔은 어떻게 사과를 잡을까? — 인버스 키네매틱스 이야기 친구야, 팔을 뻗어서 책상 위의 연필을 잡아 볼래? 쉽게 잡았지? 그런데 신기한 일이 하나 있어. 연필을 잡을 때, 너는 "어깨를 30도 돌리고, 팔꿈치를 45도 굽혀야지"라고 생각하지 않았어. 그냥 "연필을 잡자!"라고만 생각했는데, 어깨와 팔꿈치가 알아서 딱 맞게 움
애니 논문: 모션 캡처
출처: 모션 캡처 움직임을 그대로 담는 마법, 모션 캡처 사람이나 동물이 움직이는 모습을 컴퓨터 속으로 그대로 옮길 수 있다면 어떨까요? 바로 그 일을 해내는 기술이 모션 캡처 예요. 이름 그대로 "움직임(모션)을 잡는다(캡처)"는 뜻이랍니다. 모션 캡처가 뭐예요? 모션 캡처는 사람이나 물건이 어떻게 움직이는지 아주 정밀하게 기록해서 컴퓨터에 저장하는 방법
스켈레탈 애니메이션: 그림에 뼈를 넣어 움직이기
출처: 스켈레탈 애니메이션 (본과 스키닝) 스켈레탈 애니메이션: 그림에 뼈를 넣어 움직이기 여러분은 인형극을 본 적 있나요? 줄에 매달린 인형은 줄을 당기면 팔이 올라가고 다리가 움직여요. 컴퓨터로 캐릭터를 움직일 때도 아주 비슷한 방법을 써요. 바로 스켈레탈 애니메이션 이에요. 우리말로 하면 "뼈대 움직이기"랍니다. 우리 몸은 뼈와 살로 되어 있어요 잠깐
애니 논문: SkelMo: Universal Skeletal Motion Generation for 3D Rigged Shapes
움직이지 않는 3D 인형에게 춤을 가르치는 마법, 스켈모(SkelMo) 여러분, 게임이나 애니메이션 속 캐릭터가 어떻게 움직이는지 궁금한 적 있나요? 3D 캐릭터 안에는 사람처럼 뼈대 가 숨어 있어요. 이 뼈대를 움직여야 캐릭터가 걷고, 뛰고, 춤을 출 수 있지요. 그런데 뼈대를 하나하나 손으로 움직이는 건 정말 힘든 일이에요. 마치 인형극에서 줄을 수십