관련 글 — 비디오 인페인팅은 레퍼런스 프레임에서 시작한다 · 같은 마스크, 다른 문제 · 범용 생성 모델은 왜 정밀 편집에서 흔들리는가

처음 이 글을 구상할 때는 좋은 reference frame 하나를 고르고, 그 frame을 image inpainting한 뒤 나머지 영상으로 잘 전파하면 된다고 생각했다. 실제 workflow도 그렇게 만들기 쉽다. object가 가장 적게 움직이고 background가 많이 보이며 blur가 없는 frame을 하나 고른다. 그 frame에서 OSOR이나 MaskFlow로 object를 지운다. 결과를 temporal propagation의 시작점으로 사용한다.

그런데 dynamic shot을 몇 개 돌려 보면 이 가정이 금방 깨진다. 한 frame에서 자연스러운 background가 영상 전체에서 맞는 background라는 보장은 없다. 카메라가 움직이면 parallax가 달라지고, 물이나 나뭇잎처럼 background 자체가 움직이면 같은 texture도 motion phase가 다르다. 앞쪽 물체와 뒤쪽 물체의 occlusion order도 시점마다 바뀐다. image inpainting이 그럴듯하게 만든 pixel을 정확히 전파할수록, 오히려 잘못된 장면이 시간축에서 안정적으로 반복될 수도 있다.

이번 글에서 reference frame을 다시 정의하려는 이유다. 좋은 reference는 대표 이미지 한 장이 아니다. target frame의 각 pixel과 region에 대해, 어느 시점의 어떤 관측을 믿을 수 있는지 정하는 temporal evidence에 가깝다.

Reference가 실제로 필요한 경우

Video Inpainting이 image 한 장보다 유리한 이유는 다른 frame이 추가 관측을 제공하기 때문이다. 제거할 object가 target frame에서는 벽을 가리고 있어도, 카메라나 object가 움직인 뒤에는 그 벽이 보일 수 있다. 이 경우 generative model에게 벽을 상상하게 할 필요가 없다. 이미 촬영된 pixel을 가져오면 된다.

reference의 효과가 큰 경우는 대체로 다음과 같다.

1. 큰 object가 background를 오래 가리는 경우 — 바로 옆 frame에는 정보가 없지만 더 먼 frame에서 background가 드러난다.
2. camera motion으로 disocclusion이 생기는 경우 — pan, dolly와 handheld motion 때문에 이전에는 가려졌던 영역이 새로 관측된다.
3. 생성으로 복원하기 어려운 고유 texture가 있는 경우 — 복잡한 그림, 간판, 반복되지 않는 벽 무늬와 set decoration은 실제 pixel이 generative prior보다 강한 근거다.
4. 편집 대상의 identity를 정해야 하는 경우 — removal이 아니라 object replacement나 insertion이라면 keyframe은 appearance와 geometry를 지정하는 visual condition이 된다.
5. mask가 큰 경우 — local spatial context만으로는 빈 영역의 구조가 결정되지 않지만, 다른 frame의 관측으로 ambiguity를 줄일 수 있다.

반대로 영상 어디에도 background가 나타나지 않는다면 reference는 없다. 억지로 가까운 frame을 고르는 것은 관측을 추가하는 일이 아니라 같은 가림을 다른 각도에서 반복하는 일이다. 물, 불, 연기, crowd처럼 state 자체가 계속 변하는 장면도 “정답 reference”라는 표현이 잘 맞지 않는다. 이때는 texture의 출처와 motion의 출처를 분리해서 봐야 한다.

한 장을 고르는 문제가 아니라 pixel별로 증거를 고르는 문제

video를 $X=\{x_t\}_{t=1}^{T}$, 각 frame의 mask를 $M=\{m_t\}_{t=1}^{T}$라고 하자. target frame $t$의 위치 $p$를 reference frame $r$로 보낼 수 있는 correspondence를 $W_{t\rightarrow r}(p)$라고 쓰겠다.

reference pixel이 유효하려면 적어도 네 조건이 맞아야 한다.

• reference 위치가 mask 밖에 있어 실제로 관측되어야 한다.
• forward/backward flow가 서로 모순되지 않아야 한다.
• 두 frame 사이에 occlusion이 없어야 한다.
• color, depth와 local appearance가 같은 surface라는 근거를 가져야 한다.

이를 하나의 confidence로 단순화하면 다음처럼 쓸 수 있다.

$$q_{r\rightarrow t}(p) = v_r(p_r)\, c_{\mathrm{flow}}(p,r,t)\, c_{\mathrm{occ}}(p,r,t)\, c_{\mathrm{app}}(p,r,t)\, c_{\mathrm{depth}}(p,r,t),$$

여기서 $p_r=W_{t\rightarrow r}(p)$이고, $v_r(p_r)$는 reference에서 그 pixel이 관측되었을 때만 1이다. 그러면 최적 reference는 frame 전체에 하나가 아니라 target pixel마다 달라진다.

$$r^\ast(t,p)=\arg\max_r q_{r\rightarrow t}(p).$$

같은 mask 안에서도 왼쪽 벽은 먼 과거 frame이 잘 보이고, 바닥은 바로 다음 frame이 더 선명할 수 있다. 어떤 region은 어느 frame에서도 보이지 않을 수 있다. 그 부분만 generative prior가 맡아야 한다.

이 관점에서 temporal distance는 reference score의 한 항일 뿐이다. 가까운 frame은 motion estimation이 쉽지만 여전히 object에 가려져 있을 가능성이 높다. 먼 frame은 clean background를 보여줄 수 있지만 pose, illumination과 parallax가 달라진다. “가장 가까운 clean frame” 같은 단일 heuristic으로는 두 경우를 동시에 처리하기 어렵다.

Reference 한 장을 image inpainting했을 때 생기는 부작용

한 frame을 골라 image inpainting하고, 이를 나머지 frame에 warp하는 방식은 static shot에서는 꽤 잘 동작한다. 문제는 reference가 틀렸을 때 failure가 한 장에 머물지 않는다는 점이다.

1. 공간적으로 맞지만 시간적으로 틀린 texture

나뭇잎, 물결, monitor 화면과 defocused light는 한 장에서 자연스러워 보여도 시간축의 phase가 있다. image inpainting은 그 frame의 주변 문맥에 맞는 정지 texture를 만든다. 이를 앞뒤로 전파하면 texture가 camera에 붙어 미끄러지거나, 주변은 움직이는데 채운 부분만 얼어 있는 것처럼 보인다.

2. Parallax와 depth ordering

camera translation이 있는 shot에서는 foreground와 background가 서로 다른 속도로 움직인다. 단일 homography나 부정확한 optical flow로 reference를 옮기면 깊이 경계에서 double edge와 tearing이 생긴다. 특히 제거 대상 앞에 또 다른 물체가 있으면, 뒤쪽 background를 생성하면서 앞쪽 물체는 그대로 유지해야 한다. 이것은 2D mask만으로는 표현하기 어려운 layer ordering 문제다.

3. 한 번의 hallucination이 전체 clip의 source가 됨

reference image에서 액자 선이 약간 휘거나 brick pattern이 잘못 이어졌다고 해보자. 그 frame만 보면 작은 오류다. 하지만 reference propagation이 성공하면 같은 오류가 모든 frame에 일관되게 들어간다. temporal consistency는 높아졌지만 scene fidelity는 낮아진다. flicker가 없다는 이유로 좋은 결과라고 평가하기 어려운 경우다.

4. 반복 warp가 blur를 누적함

frame을 하나씩 거쳐 color를 계속 resampling하면 sub-pixel interpolation error가 쌓인다. texture가 흐려지고 boundary가 번진다. 먼 frame의 정보를 쓰기 위해 chain이 길어질수록 이 문제가 커진다. reference 선택과 propagation method를 분리해 평가해야 하는 이유다.

5. Object 밖의 영향이 mask에 들어 있지 않음

사람을 지워도 그림자, reflection과 translucent trace가 남을 수 있다. 더 어려운 경우는 사람이 공을 차거나 물체와 충돌한 장면이다. object가 없었다면 공의 trajectory도 달라져야 한다. 이 영역은 clean reference를 찾는 문제만으로 해결되지 않는다. 무엇을 background로 복원해야 하는지 자체가 counterfactual이 된다.

이번에는 직접 VACE에 넣어봤다

논문 그림만 보고 있으면 reference의 장점이 꽤 크게 느껴진다. 그래서 같은 49-frame clip을 세 가지 조건으로 돌려봤다. 해상도는 432×240, frame rate는 24 fps다. 첫 번째는 mask sequence만 VACE에 넣었다. 나머지 두 개는 같은 mask에 OSOR 또는 MaskFlow로 만든 image-inpainted frame을 reference로 추가했다. 사용한 pipeline의 표기를 따라 이 글에서는 중앙 frame을 zero-based index 24라고 쓴다. 사람이 처음부터 세면 25번째 frame이다.

여기서 글의 제목으로 다시 돌아갈 수 있었다. 이 샘플은 DAVIS의 bmx-trees sequence이고, VACE clip의 index 24는 원본 sequence의 frame 40과 일치했다. 원본 RGB와 dense object mask를 다시 불러와 index 18–30의 frame을 24에 맞춰보니, frame 24에서 가려진 영역은 다른 시점에 실제로 드러난다.

아래 그림은 단순히 다른 frame의 같은 좌표를 잘라 붙인 것이 아니다. 각 frame을 reference 좌표로 homography warp하고, 그 frame의 object mask 바깥에 있는 pixel만 밝게 남겼다. 그러므로 두 번째와 세 번째 panel의 밝은 부분은 image model이 생성한 fill이 아니라 원본 video에 있던 known pixel이다.

이 장면에는 적어도 mask coverage만 놓고 보면 image generation이 꼭 필요하지 않았다. 그렇다고 먼 frame 하나를 골라 통째로 가져오면 되는 것도 아니다. 가까운 과거와 미래 frame이 가리는 위치가 다르고, camera motion 때문에 graffiti wall과 앞쪽 grass의 parallax도 다르다. 실제로 여러 known pixel을 모아 만든 가운데 아래 mosaic에도 흐림과 경계 오차가 남는다. 관측값이 존재한다는 것과 그 값을 target frame에 정확히 놓을 수 있다는 것은 다른 문제다.

그래서 “reference frame이 한 장이 아니다”라는 말은 비유가 아니다. 이 mask 안에서도 위쪽 graffiti는 과거의 가까운 frame이, 자전거 바퀴 주변과 grass는 미래 frame이 더 이른 시점에 드러낸다. 하나의 image-inpainted patch는 이 서로 다른 관측을 평균내거나 무시한 단일 sample이다. 반면 video pipeline이 필요로 하는 것은 pixel별 source, visibility와 alignment confidence다.

처음부터 끝까지 재생하면 세 결과의 정성적 차이는 크지 않았다. 이 clip은 mask가 비교적 작고 주변에 graffiti, 풀과 보도 경계가 충분히 남아 있다. VACE가 mask-only 조건에서도 배경을 만들 수 있는 케이스다. reference를 추가했다고 전체 clip의 구조가 눈에 띄게 좋아지지는 않았다.

대신 index 24만 천천히 보면 다른 차이가 보인다. reference를 준 두 결과는 해당 frame에서 각 image-inpainted 입력에 갑자기 가까워졌다가, 바로 다음 frame부터 다시 video model이 만든 시간축으로 돌아온다. 아래 GIF는 index 18–30을 원래 속도의 약 4분의 1로 늦추고, cyclist가 있던 주변만 같은 좌표로 crop한 것이다.

눈으로 본 “살짝 튄다”를 확인하기 위해 간단한 residual도 계산했다. 먼저 optical flow로 $t-1$과 $t+1$을 $t$에 맞춘 뒤 두 frame의 평균과 현재 frame 사이의 MAE를 구했다. object mask 경계에서 생기는 변화까지 포함하려고 mask를 15 pixel 확장한 영역에서 측정했다.

$$E_t = \frac{1}{|\Omega|} \sum_{p\in\Omega} \left| I_t(p) - \frac{ \widetilde{I}_{t-1\rightarrow t}(p) + \widetilde{I}_{t+1\rightarrow t}(p) }{2} \right|.$$

이 결과는 reference가 clip 전체를 지배했다는 뜻이 아니다. 오히려 영향은 상당히 국소적이었다. index 24 바깥에서는 reference-conditioned 결과와 mask-only 결과의 차이가 expanded mask 안에서도 대체로 3.2–4.2 사이였다. 그런데 index 24에서만 11.85로 뛰었다. VACE 내부의 정확한 conditioning 방식과 무관하게, 적어도 출력에서는 reference가 이 frame에 강한 anchor로 작용했다고 볼 수 있다.

OSOR와 MaskFlow의 차이는 temporal metric보다 frame의 질감에서 더 분명했다. 같은 mask 안에서 단순 Sobel gradient magnitude를 재보면 OSOR reference는 52.0, MaskFlow reference는 74.4였다. VACE의 index 24 출력도 각각 51.2와 74.3이었다. 절대적인 화질 점수로 쓸 수 있는 수치는 아니지만, 같은 scene의 같은 영역을 비교한 sharpness proxy로는 의미가 있다. OSOR에서 생긴 blur를 VACE가 복원해주지 않았고, MaskFlow의 상대적으로 날카로운 선도 그대로 남겼다.

그렇다고 이 clip 하나로 MaskFlow가 video reference로 더 낫다고 결론 내리기는 어렵다. 두 reference 경로의 temporal residual peak는 사실상 같았다. MaskFlow가 더 선명한 frame을 만들었어도 그 frame이 앞뒤 motion trajectory와 맞지 않으면 같은 지점에서 튈 수 있다. 반대로 OSOR의 blur는 보기에는 더 나빴지만 고주파가 적다는 이유로 어떤 metric에서는 안정적으로 보일 수도 있다. image quality와 temporal compatibility는 같은 축이 아니다.

이 실험에는 clean background ground truth도 없고 clip도 하나뿐이다. optical-flow alignment와 MAE 역시 perceptual evaluation을 대신하지 못한다. 다만 한 가지는 꽤 명확하다. 좋은 image reference를 만드는 것과 그 reference를 video 안에 자연스럽게 놓는 것은 별개의 문제다. reference frame을 거의 그대로 보존하는 것이 성공 조건이라면 index 24는 잘 맞았다. 하지만 목표가 연속된 motion이라면, 그 강한 보존이 바로 불연속의 원인이 됐다.

연구 흐름 1: 보이는 것은 생성하지 않고 전파한다

flow-guided Video Inpainting은 다른 frame의 valid pixel을 target으로 옮긴다. Deep Flow-Guided Video Inpainting은 먼저 hole 안의 flow를 완성한 뒤 pixel을 전파했고, E2FGVI는 flow completion, feature propagation과 content hallucination을 end-to-end로 묶었다. ProPainter는 image-domain global propagation과 feature-domain local propagation을 같이 사용하고, flow consistency check로 신뢰할 수 있는 영역만 옮긴다.

이 계열의 장점은 명확하다. 영상에 실제로 존재하는 pixel은 model이 다시 그리지 않는다. 반대로 optical flow가 틀리거나 mask가 너무 커서 correspondence를 찾을 수 없으면 blur와 incomplete fill이 생긴다. transformer가 긴 temporal context를 보게 만들 수는 있지만, frame 수가 늘수록 memory와 compute가 같이 커진다.

RGVI는 이 구조를 한 단계 더 명시적으로 분리한다. 먼저 video 내부의 known pixel을 전파하고, 여전히 비어 있는 reference frame을 큰 image generative model로 완성한다. 이후 생성된 reference를 전체 frame으로 전파하고 마지막 hole만 per-frame completion한다.

내가 생각했던 “좋은 image inpainting reference를 먼저 만든다”는 workflow와 가장 가까운 논문도 RGVI다. 다만 여기서 중요한 차이는 reference generation 이전에 video evidence를 최대한 모으고, propagation reliability를 검증한다는 점이다. 임의로 한 frame을 고른 뒤 바로 생성하는 것과 순서가 반대다.

연구 흐름 2: Reference로 채울 수 없는 영역만 diffusion에 맡긴다

large mask의 중심처럼 어느 frame에서도 correspondence를 얻지 못하는 영역은 결국 생성해야 한다. VipDiff는 flow로 reference frame의 valid pixel을 먼저 가져오고, 이 partial result를 reverse diffusion의 constraint로 사용한다. 관측된 부분은 diffusion이 따라야 할 조건이 되고, 비어 있는 부분은 image diffusion prior가 채운다.

이 방식도 생성된 첫 frame이 이후 frame의 evidence로 편입된다는 점은 주의해야 한다. 관측값과 model sample의 provenance가 같지 않다. production pipeline이라면 propagated pixel마다 “camera에서 관측된 값인지, 이전 단계에서 생성된 값인지”를 함께 기록하는 편이 안전하다. 생성 pixel을 실제 관측과 같은 confidence로 다시 전파하면 작은 hallucination이 긴 clip에서 굳어진다.

연구 흐름 3: Keyframe을 만들었으면 image가 아니라 motion context와 함께 전파한다

VideoRepainter는 사용자가 기존 image model로 keyframe을 편집한 뒤, image-to-video diffusion model이 그 변화를 나머지 frame으로 전파하도록 만든다. 이는 restoration보다 creative editing에 가깝지만 중요한 시사점이 있다. keyframe이 appearance를 정하더라도 나머지 frame은 단순 warp가 아니라 video prior로 motion과 temporal coherence를 다시 풀어야 한다는 것이다.

긴 video에서는 clip 단위 처리도 문제가 된다. AVID는 긴 영상을 overlapping clip으로 나누는 Temporal MultiDiffusion을 사용한다. 그런데 overlap을 평균내는 것만으로는 처음과 끝 사이 identity가 서서히 달라진다. 그래서 각 frame의 query가 video 중간 frame의 key/value를 추가로 보도록 하는 middle-frame attention guidance를 넣는다.

2026년 7월 공개된 MultiPaint는 text, image와 keyframe guidance를 dynamic frame masking으로 한 framework에 넣고, long video와 multi-object inpainting까지 범위를 넓힌다. reference가 하나의 별도 입력이 아니라, 어떤 frame을 condition으로 열어 둘지 정하는 scheduling problem으로 이동하고 있는 셈이다.

2026년의 변화: Background reference만으로는 부족하다

2026년 9월 2일까지 공개된 연구를 확인하면서 가장 크게 바뀐 부분은 mask의 의미였다. 기존 Video Inpainting은 대체로 object가 차지한 pixel을 hole로 보고 그 뒤를 채운다. 최근 연구는 object가 장면에 남긴 영향까지 지워야 한다고 본다.

Object-WIPER는 user mask와 “duck and its reflection” 같은 query token을 이용해 cross-attention과 self-attention에서 reflection, shadow, mirror image와 translucent effect의 token을 찾는다. video를 DiT의 structured noise로 invert한 뒤 foreground token만 다시 noise로 초기화하고, denoising 중에는 저장해 둔 background token을 복사해 scene fidelity를 유지한다.

EasyOmnimatte는 이 문제를 layered decomposition으로 본다. effect-sensitive DiT block과 alpha quality를 담당하는 block을 다른 expert로 학습해 foreground와 associated effect를 분리한다. SVOR은 abrupt motion에서 temporal mask downsampling이 object 일부를 놓치는 문제와 defective mask를 직접 다룬다. 둘 다 좋은 reference를 찾기 전에 “무엇을 지울 것인가”를 시간축에서 안정적으로 정의해야 한다는 방향이다.

더 멀리 가면 appearance 복원만으로 충분하지 않다. 2026년 4월 arXiv에 공개된 VOID는 object가 다른 물체와 충돌하거나 사람의 동작에 영향을 준 장면을 counterfactual generation으로 다룬다. 제거할 object가 존재하지 않았다면 이후 motion이 어떻게 달라졌을지를 video diffusion으로 다시 만든다. 이 논문은 아직 위의 CVPR paper와 같은 확정 conference 결과로 보지 않고 preprint로 구분해야 한다. 그래도 reference-based Video Inpainting의 경계를 명확히 보여준다. 실제로 촬영된 다른 frame 중에는 “그 물체가 애초에 없었던 세계”의 reference가 존재하지 않는다.

내가 workflow를 다시 만든다면

이 흐름을 실제 pipeline으로 옮기면 reference selection을 image inpainting 앞의 단일 단계로 두지 않을 것 같다.

먼저 mask sequence를 만든 뒤 object mask, shadow/reflection 후보와 occlusion layer를 분리한다. 그다음 target frame별이 아니라 target region별로 reference candidate를 찾는다. 단순 temporal distance 대신 visibility, forward-backward flow error, sharpness, photometric difference, parallax와 depth boundary를 score에 넣는다.

score가 높은 실제 관측 pixel은 우선 전파한다. 이때 여러 frame을 거쳐 RGB를 반복 warp하기보다 source-to-target correspondence를 누적하고 원본 source에서 한 번에 sample하는 편이 blur에 유리하다. 어느 reference에서도 보이지 않는 residual hole만 image 또는 video generative model에 보낸다.

생성 결과에는 관측 pixel과 다른 provenance를 붙인다. 생성 pixel을 다음 frame의 reference로 쓸 때는 confidence를 낮추고, 먼 구간의 독립 anchor와 모순되는지 다시 확인한다. dynamic texture나 큰 camera motion에서는 한 keyframe을 전체 clip에 쓰지 않고 shot을 motion regime별로 나눈 뒤 여러 anchor를 둔다.

마지막 평가는 frame quality에서 끝내지 않는다. 적어도 다음 항목을 따로 봐야 한다.

• known region의 pixel preservation
• mask 안의 spatial quality와 blur
• optical-flow warp error와 flicker
• 긴 구간에서의 texture/identity drift
• shadow, reflection과 foreground residue
• 최종 Video Inpainting에서 propagation이 안정적인지

첫 글에서 image inpainting quality는 최종 Video Inpainting 결과까지 봐야 한다고 썼다. 이번에는 그 말을 조금 수정하고 싶다. 좋은 reference image도 그 자체로는 답이 아니다. 어느 pixel이 실제 관측에서 왔고, 어느 부분이 생성되었으며, 그 evidence가 시간축에서 언제까지 유효한지를 함께 관리해야 최종 결과를 설명할 수 있다.

결론

static scene에서는 한 장을 잘 고르고 image inpainting한 뒤 전파하는 workflow가 여전히 실용적이다. 실패가 시작되는 지점은 그 방법을 dynamic video에도 같은 방식으로 적용할 때다. reference의 spatial quality만 확인하면 motion phase, parallax, occlusion과 장면의 causal change를 놓친다.

현재 연구는 flow propagation에서 transformer, diffusion과 DiT로 backbone을 바꾸는 것만이 아니라 역할을 다시 나누는 쪽으로 움직이고 있다. 실제로 보인 pixel은 propagation하고, 보이지 않은 residual만 생성한다. keyframe은 pixel source가 아니라 temporal condition으로 사용한다. object mask는 shadow와 reflection, 더 나아가 interaction region까지 확장한다.

그래서 Video Inpainting에서 필요한 것은 “가장 좋은 reference frame” 하나가 아니다. 관측과 생성을 구분하고, region마다 다른 시간의 evidence를 연결하며, 그 연결이 실패할 때만 generative prior로 넘어가는 routing이다. image inpainting은 여전히 중요하지만, dynamic video 안에서는 temporal context를 가진 여러 evidence 중 하나로 들어가야 한다.