인사이트
영상문법 · 애니 · 논문 · 연기 분석 · 언리얼 · AI 기술 — 매일 도식과 함께 정리합니다.
영상 편집: 논문 — AutoTransition: 전환 효과를 추천하는 모델
AutoTransition: 영상 편집의 새로운 패러다임 Shen 외의 2022년 ECCV 논문 AutoTransition 은 영상 편집 분야에 혁신적인 접근법을 제시합니다. 이 모델은 클립 시퀀스와 배경음악을 동시에 분석하여 가장 효과적인 전환 효과를 추천합니다. 특히, 클립과 오디오의 복잡한 상호작용을 이해하고 이를 편집에 활용하는 능력은 영상 제작자들
애니 논문: SMPL: 파라미터 몇 개로 사람 몸을 표현하다
SMPL: 파라미터 몇 개로 사람 몸을 표현하다 개요 SMPL(Skinned Multi-Person Linear model)은 Loper 외 연구진이 2015년 SIGGRAPH Asia 에서 발표한 인체 모델입니다. 수천 벌의 3D 인체 스캔에서 학습한 통계 모델로, 체형 10여 개와 포즈 72개 남짓의 파라미터만 주면 정점 6,890개짜리 삼각 메시를 만
영상 편집: 논문 — TransNet V2: 샷 경계 검출과 페이싱 분석의 기초
TransNet V2: 샷 경계 검출과 페이싱 분석의 혁신 TransNet V2는 Souček와 Lokoč가 2020년에 제시한 첨단 기술로, 영상 편집 분야에서 특히 중요한 역할을 수행합니다. 이 모델은 컷·디졸브와 같은 샷 전환을 프레임 단위로 정밀하게 검출하는 데 초점을 맞춥니다. 이러한 검출 능력은 영상의 편집 리듬, 즉 샷 길이 분포를 분석하는 기
애니 논문: PFNN: 위상 함수 신경망으로 실시간 보행을 만들다
PFNN: 위상 함수 신경망으로 실시간 보행 생성 PFNN(Phase-Functioned Neural Network, 위상 함수 신경망)은 게임 캐릭터 애니메이션 분야에 새로운 접근을 제시한 연구입니다. Holden 등이 2017년 SIGGRAPH에서 발표한 이 방법은 캐릭터의 보행 동작을 지형에 맞춰 실시간으로 만들어 내는 데 초점을 둡니다. 핵심은 네트
영상 편집: 논문 — Match Cutting: 매치컷을 자동으로 찾아내기
Match Cutting 자동 탐지 기술: 영화 편집의 새로운 지평 Chen 외 연구진이 Netflix에서 발표한 Match Cutting: Finding Cuts with Smooth Visual Transitions 논문은 매치컷 후보를 자동으로 찾아내는 방법을 제시합니다. 이 기술은 두 샷을 프레임 구도, 모션, 캐릭터 동작 같은 기준으로 비교해 시각
영상 편집: 논문 — Learning to Cut by Watching Movies: 컷의 그럴듯함을 배우다
영화 편집의 새로운 패러다임: 컷의 그럴듯함을 학습하는 방법 최근 인공지능 기술의 발전은 영상 편집 분야에도 혁신적인 변화를 가져왔습니다. 특히 Pardo 외의 연구(ICCV 2021)는 편집된 영화 데이터를 통해 컷의 타당성을 학습하는 방법론을 제시하며, 이는 전통적인 편집 기법을 데이터 기반으로 확장시키는 중요한 발걸음이 되었습니다. 이 논문의 핵심 아
영상 편집: 논문 — Write-A-Video: 글을 고치면 영상이 편집된다
Write-A-Video: 텍스트 편집으로 영상 편집 자동화 Write-A-Video는 Wang 외 연구자들이 SIGGRAPH Asia 2019에서 제안한 혁신적인 영상 편집 기술입니다. 이 시스템은 사용자가 단순히 텍스트를 입력하면, 자동으로 해당 내용에 맞는 영상 클립들을 검색하고 최적화된 몽타주를 생성합니다. 이를 통해 텍스트 수정이 즉각적으로 영상
영상 편집: 논문 — Roughcut: 대사 중심 장면의 컴퓨테이셔널 편집
Roughcut: 대사 중심 장면의 자동 편집 기술 소개 Roughcut은 SIGGRAPH 2017년 논문에서 제시된 혁신적인 영상 편집 도구로, 여러 클립과 대본을 기반으로 편집자의 지시를 통해 자동으로 러프컷을 생성합니다. 이 기술은 특히 영화 편집에서 중요한 역할을 하는 '와이드 샷 시작'이나 '말하는 사람 초점'과 같은 편집 관용구를 효과적으로 구현
애니 논문: AnimeInterp: 2D 애니메이션 중간 프레임 보간의 특수성
실사 영상에서 잘 돌아가던 프레임 보간 모델을 2D 애니메이션에 그대로 물리면, 결과가 눈에 띄게 무너진다. 사람 얼굴이 뭉개지고, 손이 두 개로 번지고, 배경은 멀쩡한데 캐릭터만 유령처럼 흐른다. Siyao 등이 CVPR 2021에서 발표한 AnimeInterp는 이 붕괴가 모델 성능 부족이 아니라 애니메이션이라는 매체의 구조적 특성 에서 온다고 본다.
애니 논문: Learned Motion Matching: 모션 매칭을 신경망으로 압축하다
게임 캐릭터를 자연스럽게 움직이려면 방대한 양의 모션 데이터가 필요하다. 걷고, 뛰고, 방향을 틀고, 멈추는 온갖 동작을 모션 캡처로 찍어 두면 수십 분에서 수 시간 분량의 애니메이션이 쌓인다. 모션 매칭(Motion Matching) 은 이 원본 데이터를 잘게 자르지 않고 통째로 들고 다니면서, 매 프레임 "지금 상황에 가장 잘 맞는 프레임"을 데이터베이
애니 논문: Robust Motion In-betweening: 키프레임 사이를 신경망이 채운다
키프레임 사이를 신경망이 채운다 — Robust Motion In-betweening 해부 애니메이터가 캐릭터의 동작을 만들 때 모든 프레임을 손으로 찍지는 않는다. 중요한 순간의 포즈, 즉 키프레임을 먼저 잡고 그 사이를 채우는 것이 전통적인 작업 방식이다. 이 "사이 채우기(in-betweening)"는 오랫동안 스플라인 보간 같은 수학적 도구가 담당해
애니 논문: Motion VAE: 잠재 공간에서 캐릭터를 조종하다
캐릭터 애니메이션에서 오랫동안 쓰인 방법은 모션 그래프 였다. 실제로 캡처한 짧은 동작 클립들을 노드로 두고, 자연스럽게 이어붙일 수 있는 지점끼리 간선으로 연결한 거대한 그래프를 만든다. 그리고 런타임에는 그래프 위를 걸어 다니며 클립을 골라 재생한다. 이 방식은 데이터에 있는 동작만큼은 진짜처럼 보인다. 하지만 그래프는 이산적(discrete)이라 클립
애니 논문: AMP: 적대적 모션 프라이어로 스타일만 뽑아내기
물리 기반 캐릭터에게 "달려라"라고 시키면 목표는 쉽게 준다. 앞으로 나아가는 속도에 보상을 주면 된다. 문제는 그 결과가 대부분 보기 흉하다는 것이다. 최적화는 목표를 채우는 가장 값싼 경로를 찾을 뿐이라, 팔을 기괴하게 휘젓거나 게처럼 질질 끄는 걸음으로도 "앞으로 가기"를 달성한다. 사람이 원하는 건 목표 달성만이 아니라 그럴듯하게 움직이는 것 인데,
애니 논문: DeepMimic: 강화학습으로 모션 캡처를 물리 시뮬레이션에 옮기다
모션 캡처로 찍은 백플립 데이터는 그 자체로는 그냥 좌표의 나열이다. 관절 각도가 프레임마다 어떤 값이었는지 적어 놓은 표에 가깝다. 이걸 그대로 재생하면 화면 속 캐릭터는 백플립을 한다. 다만 그 캐릭터는 밀면 밀리지 않고, 바닥이 기울어도 미끄러지지 않으며, 착지 순간에 무릎이 받아야 할 힘 같은 건 존재하지 않는다. 애니메이션은 있고 물리는 없다. 물