ai papers
객체를 지운다는 것 — Image Inpainting에서 Video Object Removal까지
Junyoung Park · 2026-08-24 · 15 min
KOBA 2026 발표 Wrap-up — 이 글은 KOBA 2026 Conference에서 발표한 “Removing Distractions from Video: Generative AI-Based Video Object Removal”을 글로 다시 정리한 것이다. 발표에서 다룬 연구 흐름에 2026년 8월까지 공개된 OSOR, TurboClear, EffectLearner 등의 후속 연구를 보탰다.
관련 글 — AI는 세계를 기억하지 않는다 · GAN을 활용한 이미지 조작 · AnimateDiff 논문 리뷰
KOBA 발표를 준비할 때 처음 붙잡았던 질문은 결과가 얼마나 깨끗한가가 아니었다. 모델이 지금 어떤 문제를 풀고 있는가였다. 사진에서 사람 한 명을 지우는 작업은 겉으로 보면 mask 안을 채우는 Image Inpainting과 같다. 실제로는 그 사람 뒤에 가려졌던 배경을 만들고, 바닥의 그림자와 유리창의 반사까지 없애면서 나머지 장면은 그대로 두어야 한다.
요구를 끝까지 밀어붙이면 조금 이상해진다. 물체가 처음부터 없었다면 장면은 어떻게 보였을까. 영상이라면 그 물체와 충돌했던 다른 물체의 움직임도 달라져야 할까. 여기까지 오면 Object Removal은 픽셀 복원보다 counterfactual generation에 가깝다.
이 글에서는 고전 Inpainting부터 2026년의 Image·Video Object Removal까지 이어지는 논문을 따라간다. 연도만 나열하지는 않으려고 한다. 각 시기에 정답과 mask의 의미가 어떻게 달라졌는지, 논문이 보고한 성능 뒤에 어떤 평가 문제가 남는지도 함께 보려 한다.
Inpainting과 Object Removal의 정답은 다르다
일반적인 Image Inpainting은 손상된 이미지 와 채워야 할 영역 을 받아 완성 이미지 를 예측한다.
학습할 때는 완전한 이미지에 임의의 mask를 씌우고 원본을 정답으로 둔다. 모델이 해야 할 일은 가려진 영역에 원래 있던 픽셀을 되찾는 것이다. 사진의 scratch를 복구하거나 누락된 일부를 채우는 설정에는 잘 맞는다.
Object Removal에서는 입력과 정답이 다른 세계에 속한다. 입력 에는 지울 물체가 있고 정답 에는 없어야 한다.
Random mask로 학습한 모델에는 mask 안의 물체가 정답이었다. 추론할 때 그 물체를 잊고 뒤에 있었을 배경을 만들라고 요구하면 학습 목표와 사용 목적이 충돌한다. 생성 prior가 강해질수록 자연스러운 배경을 그릴 가능성은 커지지만, 지우려던 물체를 다시 만들거나 비슷한 물체로 바꾸는 실패도 생긴다.
같은 mask를 다루더라도 Inpainting은 원래 물체를 복원하고 Object Removal은 물체가 없는 배경을 만든다.
사용자가 준 object mask가 실제 수정 범위와 같지도 않다. 물체가 만든 그림자, 반사, 빛, 연기와 물결까지 지우려면 다음 영역을 추정해야 한다.
는 입력에 따로 표시되어 있지 않은 경우가 많다. 모델은 object mask를 단순한 편집 경계 대신, 이 물체와 연결된 흔적을 찾기 위한 query로 읽어야 한다. 이 차이가 최근 연구를 이해하는 출발점이다.
2000–2022: 빈 영역을 채우는 방법의 변화
초기 Inpainting에는 생성 모델이 없었다. Bertalmio et al.은 hole 경계에서 관측한 선과 색을 안쪽으로 전파했다. 작은 scratch에는 효과적이지만 큰 물체 뒤에 숨은 구조를 새로 만들 수는 없었다.
Criminisi et al.은 이미지 안에서 비슷한 patch를 찾아 복사했다. 구조가 강한 경계부터 채우는 우선순위를 두어 큰 물체를 지우는 결과도 보여주었다. PatchMatch는 유사 patch 탐색을 빠르게 만들었다. 반복되는 잔디나 벽에는 강했지만 필요한 배경이 이미지 어디에도 없다면 복사할 재료가 없었다.
Deep learning 이후에는 주변 문맥에서 보이지 않는 내용을 예측하기 시작했다. Context Encoders는 CNN과 adversarial loss를 사용했고, Generative Image Inpainting은 contextual attention으로 먼 위치의 feature를 가져왔다. Partial Convolution과 Gated Convolution은 valid pixel과 hole을 구분해 irregular mask를 다뤘다.
LaMa는 Fast Fourier Convolution으로 넓은 receptive field를 확보했고, MAT는 mask-aware transformer로 장거리 구조를 모델링했다. 같은 해 RePaint는 pretrained diffusion model의 sampling 과정에 관측 영역을 반복해서 조건으로 넣었다. Latent Diffusion Model이 제공한 강한 image prior와 text condition도 이후 편집 모델의 기반이 되었다.
| 시기 | 대표 방법 | 사용하는 정보 | 풀기 어려운 경우 |
|---|---|---|---|
| PDE 기반 복원 | Bertalmio et al. | hole 경계의 선과 색 | 넓은 영역과 새로운 semantic 구조 |
| Exemplar 기반 | Criminisi et al., PatchMatch | 같은 이미지의 유사 patch | 복사할 배경이 보이지 않는 장면 |
| CNN·GAN Inpainting | Context Encoder, Partial/Gated Conv | 학습 데이터의 문맥과 texture | 큰 hole의 전역 구조와 다양한 해답 |
| Transformer·Diffusion | LaMa, MAT, RePaint, LDM | 장거리 문맥과 생성 prior | 제거 대상의 재생성, 원본 보존, effect 제거 |
여기까지의 발전은 hole completion의 품질을 크게 올렸다. 다만 benchmark가 묻는 질문은 여전히 mask 안에 무엇을 자연스럽게 채웠는가였다. Object Removal은 무엇이 사라졌는지와 무엇이 바뀌지 않았는지까지 따로 물어야 한다. 잘 그리는 모델이 자동으로 잘 지우는 모델이 되지 않는 이유다.
2023–2025: 제거라는 Task를 따로 가르치다
Inst-Inpaint는 자연어 instruction으로 지울 대상을 지정했다. PowerPaint는 text-guided filling, object removal과 shape-guided generation을 task prompt로 구분했다. 같은 backbone을 사용하더라도 채우기와 지우기에 서로 다른 조건이 필요하다고 본 것이다.
2024년에는 제거 대상의 semantic을 억제하는 방법이 이어졌다. MagicEraser는 content initialization, prompt tuning과 attention refocus를 결합했다. CLIPAway는 foreground가 아니라 남길 background의 CLIP embedding을 조건으로 사용했다. 지울 대상을 강하게 encoding하면 denoising 중 그 semantic이 다시 나타날 수 있다는 관찰이다.
내가 이 시기의 연구에서 흥미롭게 본 부분은 mask 안의 픽셀을 대하는 태도다. 전통적인 pipeline은 mask 안을 지운 뒤 모델에 넣는다. 복원이라면 오염된 내용을 버리는 편이 자연스럽다. 제거에서는 그 픽셀이 무엇을 지워야 하는지 알려주는 가장 직접적인 evidence다.
SmartEraser는 Masked-Region Guidance로 내부 정보를 남겼다. 사용자가 mask를 넓게 그려도 실제 물체와 함께 가려진 주변을 구분할 수 있다. Erase Diffusion은 denoising path를 바꿨다. 일반 diffusion이 noise에서 물체가 포함된 원본으로 돌아가는 경로를 배웠다면, removal model에는 object가 background로 사라지는 경로가 필요하다고 보았다.
두 접근은 입력을 보되 출력에서는 잊어야 하는 제거의 모순을 드러낸다. 모델은 물체를 알아야 정확히 지울 수 있다. 너무 강하게 이해하면 다시 그릴 가능성도 커진다. Recognition과 generation을 어떻게 분리할 것인지는 지금도 남아 있다.
Counterfactual pair가 학습 데이터를 바꾸다
Random-mask reconstruction의 한계가 알려지면서 데이터 구성이 연구의 중심으로 들어왔다. ObjectDrop은 카메라와 장면을 고정하고 물체를 놓기 전과 치운 뒤를 촬영했다. 물체가 없는 실제 이미지를 정답으로 확보하면 shadow, reflection과 occlusion을 포함한 변화를 직접 감독할 수 있다. 논문은 이런 물리적 효과의 self-supervision이 본질적으로 어렵다고 지적한다.
RORem은 data engine을 반복했다. 초기 모델의 결과를 사람이 성공과 실패로 분류하고, 이 label로 discriminator를 학습한 다음 새로운 removal pair를 다시 선별했다. 세 차례의 human annotation을 거쳐 20만 개가 넘는 pair를 구성했다. 논문에서 초기 removal model의 성공률이 50%에 미치지 못했다는 대목도 중요하다. 생성 model로 pair를 많이 만든다고 곧바로 removal data가 되지는 않는다.
Paired data가 늘면 문제가 끝날까. 고정 카메라로 전후를 촬영해도 조명과 나뭇잎, 물결은 미세하게 달라진다. 합성 pair는 정확히 정렬되지만 object가 실제로 만들었을 shadow와 contact deformation을 놓친다. 실제 pair는 물리적으로 풍부하고 synthetic pair는 통제가 쉽다. 최신 dataset이 둘을 섞는 이유가 여기에 있다.
해답이 하나가 아니라는 문제도 있다. 가려진 영역에 원래 있던 바닥이 정답으로 존재하더라도 모델이 만든 다른 바닥 texture가 충분히 자연스러울 수 있다. PSNR과 LPIPS는 한 장의 paired target과 다르면 벌점을 준다. 반대로 reference-free 평가는 자연스럽지만 원래 장면과 무관한 hallucination을 놓칠 수 있다. 데이터가 좋아져도 평가가 무엇을 정답으로 셀지는 남는다.
2026: Object 바깥의 Effect까지 찾다
물체의 silhouette만 지우면 그림자가 떠 있고 반사에는 대상이 남는다. 사진은 깨끗해 보여도 장면의 관계가 틀린다. 최근 논문은 object mask를 effect mask로 확장하면서 이 문제를 다룬다.
ObjectClear는 Adaptive Target-Aware Attention으로 object와 effect 영역을 찾고, Attention-Guided Fusion으로 input과 생성 결과를 합쳤다. OBER dataset에는 고정 카메라로 촬영한 2,878개의 real pair와 10,000개의 synthetic pair가 들어 있다. ObjectDrop의 촬영 방식이 effect-aware removal을 위한 대규모 supervision으로 확장된 셈이다.
OmniPaint는 insertion과 removal을 분리된 object-oriented task로 학습했다. Object를 넣는 일과 지우는 일이 같은 Inpainting의 prompt 차이가 아니라는 주장이다. 이 관점은 EffectErase의 video insertion-removal reciprocal learning으로도 이어진다.
제거 영역에는 큰 변화가 필요하고 나머지 영역에는 거의 아무 변화도 없어야 한다.
이 구조를 식으로 쓰면 제거는 공간적으로 비대칭인 최적화 문제가 된다.
Effect 영역을 작게 잡으면 shadow와 reflection이 남는다. 크게 잡으면 정상 background를 다시 그리면서 원본이 바뀐다. 완전 제거와 정밀 보존은 같은 mask 경계에서 충돌한다. 최근 model이 attention, alpha map과 fusion을 함께 사용하는 이유다.
One-step Removal 경쟁
Diffusion model의 품질이 좋아져도 수십 번 denoising해야 한다면 interactive editing에는 부담이 된다. 2026년에는 effect-aware removal을 few-step 또는 one-step으로 줄이는 연구가 빠르게 이어졌다.
FlashClear는 Region-aware Adversarial Distillation으로 ObjectClear를 few-step model로 distill했다. FPAC은 foreground token을 우선 계산하고 feature를 cache한다. 논문은 OBER에서 ObjectClear 대비 최대 8.26배, OmniPaint 대비 122배의 speedup을 보고한다.
OSOR은 one-step latent restoration을 사용한다. 한 번의 복원에서는 경계를 여러 step에 걸쳐 고칠 수 없으므로 patch별 mask 점유율을 사용하는 occupancy-guided discriminator를 도입했다. 학습 1단계에서는 정확한 effect mask와 hard latent blending을 사용하고, 2단계에서는 불완전한 object mask로 alpha head가 실제 수정 영역을 예측한다. SAVP filtering으로 만든 CORNE에는 28만 개의 verified pair가 들어 있다.
TurboClear는 one-step SDXL model에 Region-Calibrated Distribution Matching과 Learnable Spatial Fusion을 넣었다. Effect region에는 teacher의 생성 분포를 distill하고 background에는 paired preservation loss를 건다. Removal stream과 identity stream을 gate로 합치는 구조다. 논문은 ObjectClear 대비 최대 40.04배, Flux 기반 OmniPaint 대비 최대 665배 적은 계산량을 보고한다.
| 논문 | 공개 시점 | Sampling | 핵심 설계 | Mask·effect 대응 |
|---|---|---|---|---|
| ObjectClear | 2025 preprint / CVPR 2026 | Multi-step | Target-aware attention, input-output fusion | Object-effect supervision |
| FlashClear | 2026.05 | Few-step | Region-aware distillation, asymmetric cache | Foreground 계산 집중 |
| OSOR | 2026.06 | One-step | Latent restoration, occupancy discriminator, alpha head | Incomplete-mask curriculum |
| TurboClear | 2026.08 | One-step | Region-calibrated distillation, spatial fusion | Effect mask를 학습 때만 사용 |
속도 수치는 조심해서 읽을 필요가 있다. 각 논문은 backbone, 해상도, hardware와 baseline 구현이 다르고 “최대” speedup을 보고한다. 같은 model 안의 ablation에는 유용하지만 서로 다른 표의 숫자를 한 줄로 세워 순위를 정하기는 어렵다. 전처리 segmentation, mask refinement와 후처리 합성 시간도 함께 재야 한다.
더 근본적인 의문도 있다. One-step model은 teacher의 긴 sampling path를 압축한다. Teacher가 effect를 놓치거나 background를 바꾸는 습관도 같이 배울 수 있다. 평균 품질뿐 아니라 rare effect, 거친 user mask와 out-of-domain scene에서 실패가 어디로 이동했는지 보고 싶다.
Object Removal을 무엇으로 평가할까
일반 Inpainting metric 하나로 removal을 평가하기는 어렵다. 적어도 세 가지 결과를 나눠 봐야 한다.
| 평가 대상 | 묻는 질문 | 가능한 측정 | 놓치기 쉬운 실패 |
|---|---|---|---|
| Removal | 대상과 effect가 사라졌는가 | Detector·segmenter score, semantic similarity | 비슷한 다른 물체로 교체 |
| Completion | 수정 영역이 자연스러운가 | LPIPS, FID, human preference | 장면과 맞지 않는 hallucination |
| Preservation | 나머지 픽셀이 유지됐는가 | Unmasked PSNR·SSIM·LPIPS | 경계 밖의 미세한 색·texture 변화 |
ReMOVE는 reference image가 없는 상황에서 object erasure와 background continuity를 함께 보려는 metric이다. 물체가 다른 대상으로 바뀐 결과와 실제로 사라진 결과를 구분하려 한다. OBER처럼 paired target이 있는 benchmark는 정확한 비교가 가능하지만 open-world photo에는 물체가 없었던 ground truth를 촬영할 수 없다. 이때 reference-free metric과 human evaluation이 필요해진다.
내가 가장 걸리는 부분은 effect mask의 정답이다. 그림자는 pixel difference로 비교적 찾기 쉽다. 물체 때문에 달라진 간접 조명이나 주변 사람의 pose는 경계가 없다. Model이 넓게 수정해 장면을 더 그럴듯하게 만들면 effect를 잘 찾은 것인지, 보존 조건을 어긴 것인지 판단이 갈린다. Object Removal benchmark는 품질 점수만 아니라 허용되는 intervention의 범위를 먼저 적어야 한다.
Video Inpainting의 두 재료
Video로 넘어가면 temporal consistency가 가장 먼저 떠오른다. 프레임마다 독립적으로 채우면 texture가 흔들리고 구조가 변한다. Flicker를 줄이는 것만으로 Video Object Removal이 풀리지는 않는다.
지운 영역의 픽셀은 Known Pixel과 Unknown Pixel로 나눌 수 있다. 현재 frame에서는 가려졌지만 다른 frame에서 background가 드러났다면 known이다. Optical flow나 feature correspondence로 관측된 정보를 옮길 수 있다. 영상 전체에서 한 번도 보이지 않은 영역은 unknown이다. 복사할 근거가 없으므로 generative prior가 만들어야 한다.
정렬된 frame의 mask를 라고 쓰면 모든 frame에서 계속 가려진 영역은 교집합이다.
다른 frame에서 한 번이라도 보인 영역은 전달할 수 있다. 모든 mask가 겹치는 영역은 생성해야 한다.
ProPainter는 flow completion, feature propagation과 mask-guided sparse video transformer를 결합했다. 관측된 픽셀을 안정적으로 전달하고 transformer로 긴 문맥을 보완하는 계열의 대표적인 방법이다.
Semantically Consistent Video Inpainting with Conditional Diffusion Models는 다른 frame 어디에도 없는 novel content를 propagation만으로 복원할 수 없다고 지적했다. DiffuEraser는 문제를 known pixel propagation, unknown pixel generation, temporal consistency로 명시해서 Stable Diffusion의 image prior와 video diffusion prior를 결합했다.
현실에서는 경계가 더 흐리다. 다른 frame에 보인 픽셀이라고 항상 확실한 known은 아니다. 조명이 바뀌거나 물결이 움직이고 non-rigid surface가 변하면 correspondence 자체가 불확실하다. Flow로 가져온 실제 픽셀과 모델이 생성한 픽셀 중 어느 쪽을 더 믿을지 confidence가 필요하다. Propagation도 noise가 다른 하나의 prior로 보는 편이 맞다.
Temporal consistency 역시 독립적인 품질 보증은 아니다. 잘못 만든 벽돌 무늬를 모든 frame에 똑같이 유지하면 flicker는 없지만 배경은 틀렸다. 실제 관측을 frame마다 정확히 복사해도 경계와 illumination이 맞지 않으면 영상이 어색하다. Video Inpainting은 propagation, generation과 temporal regularization을 함께 조율하는 문제다.
2025–2026: 영상 속 Effect를 추적하다
Video effect는 object와 함께 움직이지 않을 수 있다. 연기는 물체에서 떨어진 뒤에도 남고 물결은 바깥으로 퍼진다. Reflection은 카메라 각도에 따라 다른 방향으로 움직인다. Object mask를 시간축으로 잘 tracking해도 effect를 놓치는 이유다.
ROSE는 shadow, reflection, light, translucency를 포함한 paired data와 effect difference mask를 만들었다. 2026년의 연구는 이 문제를 mask robustness, semantic understanding과 multimodal condition으로 나누어 접근한다.
| 논문 | 공개 시점 | Effect를 찾는 단서 | 주요 초점 |
|---|---|---|---|
| SVOR | 2026.03 | Window mask union, diffusion-aware segmentation | 급격한 motion, defective mask와 flicker |
| UnderEraser | 2026.04 | Foundation model의 relation distillation | Shadow·reflection과 real-world benchmark |
| Object-WIPER | CVPR 2026 | Text-to-video DiT의 query·attention | Training-free object-effect localization |
| EffectErase | 2026.03 / CVPR 2026 | Removal-insertion reciprocal learning | 6만 paired video와 다섯 effect 유형 |
| GenEraser | 2026.05 | Text-mask MoE, Locator-Preserver 분리 | Open-world effect와 background 보존 |
| EffectLearner | 2026.08 | VLM Object-Effect Reasoner | 멀리 떨어지거나 복합적인 장기 effect |
SVOR은 temporal downsampling 때 window 안의 mask를 합치는 MUSE와 Denoising-Aware Segmentation을 사용한다. 사용자 mask가 흔들리거나 빠진 경우에도 target을 유지하려는 설계다. UnderEraser는 vision foundation model이 가진 object-effect relation을 video diffusion model로 distill하고, unmasked context를 framewise cross-attention으로 넣는다.
Object-WIPER는 pretrained text-to-video DiT의 attention으로 target과 effect를 찾는다. Inversion으로 얻은 structured noise에서 제거 token을 Gaussian noise로 바꾸고 background token은 보존한다. Training-free라는 장점이 있지만 pretrained video model이 가진 object-effect association에 성능이 묶인다.
EffectErase는 real과 synthetic을 합친 6만 paired video의 VOR dataset을 만들고 insertion을 removal의 역과제로 함께 학습한다. GenEraser는 text와 mask condition을 조율하고, effect를 찾는 Locator와 pixel을 보존하는 Preserver를 분리했다.
2026년 8월 공개된 EffectLearner는 VLM 기반 Object-Effect Reasoner를 앞에 둔다. Target-highlighted video를 보고 target, motion, effect와 제거 뒤의 예상 상태를 정리한 뒤 DiT Video Eraser에 전달한다. 미리 정한 effect category만 학습하기보다 spatially detached effect, weak correlation과 시간에 따라 변하는 복합 effect를 reasoning 대상으로 삼는다.
이 흐름을 보면서 mask의 역할이 바뀌었다는 생각이 들었다. 예전 mask는 “이 픽셀을 채워라”라는 연산 범위였다. 지금의 object mask는 “이 대상과 연결된 흔적을 찾아라”라는 질의에 가깝다. 실제 edit region은 model이 정한다. 완전 제거는 쉬워지지만 과도한 수정의 책임도 model 쪽으로 넘어간다.
Pixel 다음에는 물리적 인과가 남는다
Shadow와 reflection을 모두 지웠다고 물체가 없었던 영상이 완성되지는 않는다. 공이 받침대에 떨어져 튀어 올랐다면 받침대만 지운 뒤 공의 궤적을 그대로 둘 수 없다. 사람을 피하려고 자동차가 방향을 틀었다면 사람 없는 세계의 자동차도 다르게 움직였을 가능성이 높다.
VOID: Video Object Insertion and Deletion은 appearance editing을 physical interaction의 counterfactual로 넓힌다. 제거한 물체에 영향을 받은 영역을 찾고, downstream dynamics를 video diffusion model로 다시 생성한다. Kubric과 HUMOTO를 사용한 counterfactual data가 이 학습을 뒷받침한다.
받침대가 없다면 공은 허공에서 튀어 오르지 않는다. 제거한 물체가 운동의 원인이었다면 궤적도 바뀌어야 한다.
왼쪽은 물체가 없었던 세계의 분포다. 오른쪽은 관측된 영상의 hole을 채우는 분포다. 물체가 화면만 가렸다면 두 분포의 차이는 작다. 물체가 빛, 유체, 충돌이나 다른 행위자의 판단에 영향을 주었다면 배경 복원만으로는 부족하다.
평가도 더 어려워진다. 실제 영상에서 물체가 없었던 동일한 사건을 다시 촬영할 수 없다. Simulator는 정확한 counterfactual pair를 만들 수 있지만 real-world dynamics와 차이가 있다. 생성된 대안의 물리가 그럴듯한지, 원래 사건의 identity를 어디까지 유지해야 하는지도 정해야 한다. Causal removal은 Video Inpainting이 world model과 만나는 지점이면서 benchmark를 만들기 가장 어려운 지점이다.
연구 흐름에서 남은 질문
정답은 한 장인가
Paired capture는 강한 supervision을 주지만 occluded background의 가능한 복원은 하나가 아니다. 한 장의 ground truth와 pixel distance를 줄이는 평가가 생성 모델의 장점을 오히려 벌줄 수 있다. 그렇다고 reference-free realism만 보면 장면의 identity를 잃는다. Removal, plausible completion과 preservation을 분리해서 보고해야 한다.
Effect는 어디까지인가
Shadow와 reflection은 비교적 합의하기 쉽다. 물체 때문에 바뀐 조명, 유체와 다른 사람의 행동은 범위가 모호하다. Effect recall을 높일수록 정상 영역을 건드릴 위험이 커진다. 사용자가 허용한 intervention 범위와 model이 추론한 effect region을 따로 보여주는 interface가 필요해 보인다.
One-step의 실패는 어디로 갔는가
Sampling step이 줄면 평균 latency는 좋아진다. 대신 iterative correction이 사라진다. 논문 표의 평균 점수보다 boundary artifact, incomplete mask와 long-tail effect의 failure distribution이 궁금하다. Mobile이나 interactive setting에서는 segmentation과 compositing까지 포함한 end-to-end latency도 같이 봐야 한다.
Video model은 무엇을 보존해야 하는가
Pixel consistency, scene identity와 physical plausibility가 항상 같은 방향을 가리키지 않는다. 물체를 지우며 dynamics까지 바꾸면 temporal pixel correspondence는 일부러 깨야 한다. 미래의 평가는 흔들리지 않는가뿐 아니라 바뀌어야 할 움직임이 바뀌었는가를 물어야 한다.
마치며
Image Inpainting은 경계의 구조를 hole 안으로 퍼뜨리는 문제에서 시작했다. Patch를 복사하던 방법은 CNN과 Transformer를 거쳐 generative diffusion prior를 얻었다. Object Removal 연구는 여기에 removal-specific condition, counterfactual pair, effect supervision과 preservation path를 더했다. 2026년의 OSOR과 TurboClear는 이 복합적인 작업을 한 번의 sampling으로 줄이려 한다.
Video에서는 관측된 Known Pixel과 생성해야 하는 Unknown Pixel이 함께 존재한다. 두 종류의 pixel을 시간축에서 맞추는 것만으로도 어렵다. 최근 연구는 object가 남긴 shadow, reflection, light와 fluid effect를 찾고, 이제는 물체가 바꾼 downstream dynamics까지 다시 만들기 시작했다.
KOBA 발표 당시에는 Video Object Removal을 propagation과 generation이 결합된 문제로 설명했다. 최신 논문을 더해 정리하고 나니 그 설명만으로도 부족해 보인다. 제거는 보이지 않는 background를 생성하는 작업이면서 effect의 범위를 추론하는 작업이고, 경우에 따라서는 물체가 없었던 사건을 다시 시뮬레이션하는 작업이다.
좋은 Object Removal을 “흔적 없이 지우는 기술”이라고만 부르기 어려운 이유다. 모델은 더 복잡한 질문을 풀어야 한다. 그 물체가 없었다면 무엇이 달라졌고, 무엇은 그대로 남아야 하는가.
참고 논문
- Image Inpainting
- Region Filling and Object Removal by Exemplar-Based Image Inpainting
- PatchMatch
- Context Encoders
- Generative Image Inpainting with Contextual Attention
- Partial Convolutions
- Free-Form Image Inpainting with Gated Convolution
- LaMa
- MAT
- RePaint
- High-Resolution Image Synthesis with Latent Diffusion Models
- Inst-Inpaint
- PowerPaint
- ObjectDrop
- MagicEraser
- CLIPAway
- ReMOVE
- RORem
- SmartEraser
- Erase Diffusion
- ObjectClear
- OmniPaint
- FlashClear
- OSOR
- TurboClear
- ProPainter
- Semantically Consistent Video Inpainting with Conditional Diffusion Models
- DiffuEraser
- ROSE
- SVOR
- UnderEraser
- Object-WIPER
- EffectErase
- VOID
- GenEraser
- EffectLearner