AI는 세계를 기억하지 않는다 — 생성형 모델의 근사, 통제와 책임

관련 글 — 생성은 저렴하고, 판단은 비싸다

생성 모델로 이미지를 수정할 때 가장 자주 듣는 요청은 대개 간단하다. “나머지는 그대로 두고 이것만 바꿔주세요.” 인물의 표정은 유지한 채 안경만 지우거나, 같은 장면에서 제품의 색만 바꾸거나, 영상 속 특정 물체만 교체해달라는 식이다. 사람의 눈에는 수정할 부분과 남겨둘 부분이 분명히 나뉘어 보인다. 그런데 생성 모델에는 이 요청이 전체 이미지를 새로 만드는 것보다 더 어려울 때가 많다.

프롬프트를 여러 번 고치고 seed를 고정하고 mask의 경계를 다듬어도 예상하지 못한 곳이 함께 바뀐다. 얼굴의 인상이 미묘하게 달라지고 배경의 글자가 무너지며 한 프레임에서 괜찮던 질감이 다음 프레임에서는 흔들린다. 지난번에는 같은 방식으로 됐는데 이번에는 되지 않는 경우도 있다. 이런 장면을 보면 아직 모델이 충분히 크지 않거나 데이터가 부족해서라고 말하기 쉽다. 더 많은 데이터와 더 좋은 모델이 나오면 언젠가 사라질 문제처럼 보인다.

나는 이 문제가 단순히 현재 모델의 완성도가 낮아서 생긴다고 생각하지 않는다. 생성 모델이 세계를 배우고 결과를 만드는 방식 자체에 더 가까운 문제다.

세계는 파라미터 안에 저장되지 않는다

모델을 학습시킨다는 것은 세계를 그대로 저장하는 일이 아니다. 방대한 데이터에서 반복되는 모양과 관계, 개념과 조건부 가능성을 파라미터 안에 압축하는 일이다. 개별 학습 사례가 부분적으로 암기될 수는 있어도 모델 안에 원본 세계의 사본이 차곡차곡 보관되지는 않는다. 우리가 Generative Prior라고 부르는 것도 과거에 관측한 데이터로부터 무엇이 그럴듯한지를 정리한 압축된 기대에 가깝다.

$$\theta^\ast \approx \operatorname{Compress}(D_{\text{past}})$$

데이터셋이 아무리 커져도 이 관계는 달라지지 않는다. 데이터가 넓어지면 모델이 다룰 수 있는 범위와 근사의 정확도는 좋아진다. 하지만 학습한 것은 여전히 관측된 세계의 분포이지 세계 자체가 아니다. 기록되지 않은 사건, 아직 생기지 않은 개념, 데이터에서 중요하게 취급되지 않은 예외는 모델의 바깥에 남는다. 유한한 관측만으로 관측되지 않은 세계의 구조를 하나로 확정할 수도 없다. 같은 과거를 설명하면서도 미래에는 서로 다른 결과를 내는 가설이 얼마든지 존재하기 때문이다.

여기서 새로운 입력을 새로운 prior라고 부르기보다는 새로운 관측 또는 evidence라고 부르는 편이 더 정확하다. 이미 학습을 끝낸 모델은 새로 들어온 이미지와 문장을 기존의 표현 공간에서 해석한다. 그 입력을 조건으로 답을 만들 수는 있지만 대부분의 배포된 모델에서는 추론이 끝난 뒤 파라미터가 그대로 남는다. 이번에 본 낯선 세계가 다음 판단을 위한 지식으로 굳어지는 것은 아니다. 모델은 새로운 관측으로 일시적인 posterior를 만들지만 그 posterior를 이후의 prior로 계속 넘겨주지 못한다.

$$y \sim p_{\theta^\ast}(y \mid x_{\text{new}}), \qquad \theta^\ast_{\text{after}} = \theta^\ast_{\text{before}}$$

이 구분은 생성물의 새로움과 지식의 새로움을 나누어 생각하게 한다. 학습 데이터에 없던 이미지를 만들었다고 해서 모델이 새로운 방식으로 세계를 이해했다는 뜻은 아니다. 기존에 학습한 요소를 이전에 없던 형태로 조합할 수는 있다. 하지만 그 결과가 현실에서 어떤 의미를 가졌는지 스스로 확인하고 틀렸다면 내부의 규칙을 고쳐 다음 생성에 남기는 일은 별개다.

추상화 자체를 결함이라고 부를 수는 없다. 인간도 세상을 원본 그대로 기억하지 않는다. 무엇을 보았는지보다 무엇이 중요했는지를 남기고 경험하지 못한 상황에서는 이미 아는 규칙으로 추론한다. 모든 정보를 보존하지 않는 것은 지능의 약점이면서 동시에 지능을 가능하게 하는 조건이다. 세상의 모든 픽셀과 모든 순간을 저장해야만 이해라고 부를 수 있다면 인간도 세계를 이해한다고 말하기 어렵다.

더 신경 쓰이는 대목은 모델이 무엇을 잃었는지 모른다는 데 있다. 새로운 관측이 기존 규칙을 반박해도 표현 체계를 쉽게 고치지 못한다. 학습으로 확인한 지식과 빈틈을 메우려고 근사한 결과도 같은 문장과 이미지 안에 섞어 내놓는다. 모델은 세계의 지도를 만들지만 지도가 비어 있는 곳에도 그럴듯한 길을 그린다.

“이것만 바꿔주세요”가 어려운 이유

이미지와 비디오 편집에서는 이 한계가 눈에 보이는 형태로 나타난다. 완성된 사진 한 장에는 그 사진을 만든 과정이 들어 있지 않다. 피사체의 3D 구조, 가려진 영역, 조명의 배치, 렌즈와 카메라의 움직임, 편집 레이어와 mask가 하나의 픽셀 결과로 납작하게 합쳐져 있다. 모델이 그중 하나만 바꾸려면 먼저 보이지 않는 제작 상태를 추정해야 한다. 그러나 같은 이미지에 도달할 수 있는 제작 과정은 무수히 많고 모델이 복구한 상태가 원래 상태와 같다는 보장은 없다.

실사를 입력해도 그렇고 다른 모델이 만든 이미지를 다시 넣어도 마찬가지다. 모델은 입력과 정확히 대응하는 거울쌍을 꺼내 수정하지 않는다. 학습된 prior에서 입력을 설명할 만한 상태를 찾고 요청한 변화까지 포함해 다시 그린다. 안경, 눈, 얼굴의 정체성, 조명이 표현 공간에서 완전히 분리되어 있지 않다면 안경을 지우는 동안 눈매와 피부 질감도 함께 움직인다. 영상에서는 이 작은 차이가 프레임마다 새로 표본화되면서 떨림과 형태 변화로 커진다.

Mask, ControlNet, reference image, latent 고정, feature injection과 같은 방법은 이 문제를 상당히 줄여준다. 실무에서 유용하고 앞으로 더 정교해질 기술들이다. 다만 이 장치들이 하는 일을 보면 현재 모델의 한계도 드러난다. 모델이 모든 관계를 이해해서 나머지를 보존하는 것이 아니라, 바뀌면 안 되는 부분을 외부 조건으로 붙잡아 두는 경우가 많다. 자유롭게 생성하는 능력이 커질수록 보존해야 할 조건을 더 세게 걸어야 하는 역설이 생긴다.

콘텐츠 제작에서는 오히려 두 극단이 편하다. 처음부터 끝까지 사람이 만들거나, 변형을 어느 정도 허용한 채 결과 전체를 AI에 맡기는 방식이다. 가장 어려운 일은 그 사이에 있다. 이미 승인된 결과물의 특정 부분만 바꾸되 인물의 정체성, 미술 방향, 브랜드 규칙, 장면 연속성과 납품 규격은 그대로 지켜야 한다. 실제 포스트프로덕션은 대부분 이 중간 영역에 놓여 있다.

기존 제작 도구는 결과물만 남기지 않는다. 레이어, 트랙, keyframe, object ID, 색 관리와 버전 이력이 함께 남는다. 어떤 요소를 어느 단계에서 바꿨는지 추적하고 이전 상태로 돌아갈 수 있다. 반면 생성 모델은 제작 상태보다 그럴듯한 완성본을 내놓는 데 최적화되어 있다. 생성된 한 장의 이미지는 보기에는 완성되어 있어도 다시 손대기에는 납작한 결과물인 경우가 많다.

PoC의 성공과 서비스의 신뢰성

현장에서 중요한 질문은 최고 품질의 샘플을 만들 수 있느냐가 아니다. 원하는 품질을 반복할 수 있는지, 수정 요청을 받았을 때 다른 부분을 보존할 수 있는지, 실패했을 때 이전 상태로 돌아갈 수 있는지가 더 중요하다. 한 번 멋진 결과를 만드는 capability와 실제 조건에서 같은 약속을 지키는 reliability는 다르다.

$$\text{Capability}: \exists x,\ \operatorname{Success}(x) \qquad \text{Reliability}: P(\operatorname{Success} \mid x \sim D_{\text{real}})$$

PoC와 Demo는 주로 capability를 보여준다. 여러 번 생성한 결과 중 좋은 사례를 고를 수 있고 입력도 모델이 잘 처리하는 범위에 맞출 수 있다. 서비스는 그렇게 운영되지 않는다. 사용자는 모델이 보지 못한 입력을 가져오고 서로 충돌하는 조건을 요구하며 실패하면 왜 실패했는지 묻는다. 평균적으로 좋은 결과보다 긴 꼬리에서 발생하는 실패와 그 실패의 비용이 제품의 수준을 결정한다.

생성형 AI는 이 차이를 쉽게 가린다. 자연어로 무엇이든 요청할 수 있는 인터페이스는 그 자체로 범용적인 지능처럼 보인다. 입력창이 열려 있다는 사실과 시스템이 모든 요청을 수행할 수 있다는 사실이 혼동된다. 잘 만든 Demo와 몇 번의 놀라운 성공을 본 사용자는 AI를 여러 도구 중 하나가 아니라, 올바르게 부탁하기만 하면 무엇이든 해주는 존재로 받아들이기 쉽다.

AI를 만능 도구로 받아들일 때

그림을 그릴 때 유화 물감을 쓸 수도 있고 Illustrator를 쓸 수도 있다. 둘 중 하나가 실패했다고 해서 물감이나 소프트웨어가 약속을 어겼다고 생각하지는 않는다. 목적에 맞지 않으면 다른 재료와 방법을 고른다. 도구에는 적합한 작업과 적합하지 않은 작업이 있다는 사실을 자연스럽게 받아들여 왔기 때문이다.

AI 앞에서는 이 tolerance가 유난히 낮아진다. A 방식이 맞지 않으면 B 방식으로 넘어가기보다 같은 요청을 다시 적고 prompt를 바꾸며 모델이 결국 해내기를 기다린다. 서비스가 AI를 만능 해결책으로 소개했다면 사용자의 기대가 과도하다고만 말하기도 어렵다. 가능성은 넓게 약속하면서 실패는 확률의 문제라고 설명하는 순간, 기대와 책임의 범위가 어긋난다.

“저번에는 됐는데 이번에는 왜 안 되나요?”라는 질문이 들어온다. 개발자는 모델의 현재 역량이 여기까지이고 생성 과정이 확률적이며 내부가 Blackbox에 가까워 개별 결과의 원인을 정확히 설명하기 어렵다고 답한다. 이 말은 기술적으로 틀리지 않는다. 같은 prompt라도 seed와 sampling 조건에 따라 결과가 달라지고 어느 내부 표현이 특정 오류를 만들었는지 사람이 읽을 수 있는 인과관계로 복원하기는 어렵다.

이 답은 고객이 원하는 답이 아니다. 고객은 확률 모델의 작동 원리가 아니라 자신이 맡긴 업무가 왜 실패했고 이제 무엇을 해야 하는지를 묻는다. 모델의 내부를 설명할 수 없다는 말은 현상을 설명하지만 업무를 복구하지는 못한다. 개발자는 모델 대신 실패를 해명하고 서비스가 약속한 것과 기술이 실제로 보장하는 것 사이에서 클레임을 받는다.

책임질 수 없는 준행위자

이 장면에서 AI는 이상한 위치에 놓인다. 사람과 사람 사이의 업무에 작업자처럼 들어왔지만 자신의 불능을 설명할 수 없다. 성공하면 판단의 주체처럼 보이고 실패하면 확률적 도구로 물러난다. 업무의 일부를 수행하면서도 잘못을 인정하거나 손해를 부담하거나 다음 행동을 약속할 수 없다. 권한은 위임받았지만 책임은 위임받지 않은 준행위자에 가깝다.

결과에 대한 책임은 결국 사람에게 돌아온다. AI가 만든 이미지를 승인한 디자이너, 영상의 마지막 프레임을 확인한 QC 담당자, 모델을 서비스에 연결한 개발자, 도입을 결정한 조직이 책임의 어느 부분을 나누어 가진다. AI는 책임 사슬의 원인이 될 수는 있어도 책임의 주체가 될 수 없다. 자신의 판단에 대한 설명처럼 보이는 문장을 생성할 수는 있지만 그것이 실제 생성 과정을 추적한 증언이라는 보장도 없다.

Human QC가 붙는다고 이 문제가 저절로 해결되지는 않는다. 사람이 마지막에 있다는 사실과 사람이 충분히 판단했다는 사실은 다르다. 생성 속도가 빨라질수록 확인해야 할 결과물은 많아지고 검수 시간은 오히려 줄어들 수 있다. 오류를 찾을 전문성, 결과를 거부할 권한, 다시 만들 예산이 없는 사람에게 승인 버튼만 맡긴다면 Human-in-the-loop는 안전장치보다 책임의 외형에 가까워진다.

이 과정에는 눈에 잘 띄지 않는 검증 비용도 붙는다. AI가 10분 걸리던 생성을 10초로 줄여도 사람이 모든 프레임과 사실, 권리와 맥락을 다시 확인해야 한다면 전체 비용이 같은 비율로 줄지는 않는다. 생성 비용은 내려갔지만 검증 비용과 실패했을 때의 복구 비용은 남는다. AI가 더 많은 후보를 만들수록 사람이 판단해야 할 양도 늘어난다. 나는 이것을 생성형 AI가 부과하는 일종의 검증세라고 생각한다.

Blackbox라는 이유로 개발자와 서비스 제공자가 아무것도 설명할 수 없는 것은 아니다. 개별 출력이 왜 그 모양이 되었는지 완전히 해석하지 못해도 어떤 조건에서 실패율이 높아지는지는 측정할 수 있다. 모델과 seed, 입력, 설정과 수정 이력을 기록하고 허용할 수 없는 결과를 별도의 규칙과 평가기로 잡으며 실패했을 때 사람이 처리할지 기존 방식으로 돌아갈지도 정할 수 있다.

모델의 실패 원인은 불분명할 수 있다. 제품의 실패 경계까지 불분명해서는 안 된다. 서비스는 가장 잘 나온 결과만 보여주는 대신 무엇을 보장하지 않는지, 어느 정도의 변동이 생기는지, 어떤 작업에는 사용하지 말아야 하는지를 함께 말해야 한다. AI가 실패할 때 B 옵션으로 넘어가는 경로도 제품의 일부여야 한다. 이것은 기술에 대한 자신감이 부족해서가 아니라 확률적 기술을 서비스로 만드는 데 필요한 최소한의 계약이다.

검수하는 사람에게 책임을 맡긴다면 그에 맞는 권한도 주어야 한다. 결과를 거부할 수 있어야 하고 모델 사용을 중단하거나 다른 방법으로 바꿀 수 있어야 하며 판단에 필요한 시간과 정보를 받아야 한다. AI 도입의 목표가 Human QC를 마지막에 붙여 책임 소재만 분명히 하는 것이라면 자동화된 것은 작업이고 남겨진 것은 책임뿐이다.

완전한 거울 대신 수정 가능한 지도

더 근본적인 질문은 AGI와 World Model을 연구하는 방향에도 남는다. 우리는 더 많은 데이터를 학습하고 더 긴 context와 memory를 붙이며 환경에서 행동하는 모델을 만들어 세계 이해의 빈틈을 줄이려 한다. 이 시도들은 분명 의미가 있다. 하지만 어떤 크기의 모델도 세계 그 자체가 되지는 못한다. 세계는 계속 변하고 관측은 언제나 부분적이며 유한한 표현은 무엇인가를 버려야 한다.

완전한 거울을 만드는 것이 목표라면 우리는 끝나지 않는 문제를 풀고 있는 셈이다. 하지만 지능이 반드시 완전한 거울일 필요는 없다. 더 현실적인 목표는 자기 지도가 불완전하다는 사실을 다루는 모델이다. 새로운 관측으로 기존 표현을 고치고 무엇을 모르는지 드러내며 행동의 결과를 다시 학습하고 확인된 사실과 근사한 답을 구분할 수 있어야 한다.

현재의 생성 모델은 추상화하고 예측하는 데 강하지만 오류를 현실에서 확인하고 다음 prior로 남기는 순환은 약하다. 그 빈자리를 사람이 채운다. Prompt를 다시 쓰고 mask를 만들고 출력물을 비교한다. 틀린 부분을 수정하며 문제가 생기면 설명하고 책임진다. Human QC는 모델 바깥에 임시로 붙은 검수 단계가 아니라 아직 모델 안에 없는 세계 갱신 과정인지도 모른다.

AI를 사용하지 말자는 이야기는 아니다. 나 역시 AI를 연구하고 앞으로도 적극적으로 사용할 것이다. 다만 유화 물감과 Illustrator를 고르듯 생성형 AI도 목적과 실패 비용을 보고 선택해야 한다. 완전히 새로 만들어도 되는 작업에는 과감히 사용할 수 있고 작은 변화도 큰 책임으로 이어지는 작업에는 더 구조적인 도구와 사람이 필요하다. 때로는 AI를 쓰지 않는 것이 가장 기술적으로 성숙한 선택일 수도 있다.

AI는 신이 아니다. 실패의 책임을 대신 뒤집어쓸 대상도 아니다. 모델이 자신의 불능을 설명할 수 없다면 서비스를 만드는 사람은 그 불능이 드러나는 조건과 다음 선택지를 설명해야 한다. 결과를 승인하는 사람이 책임져야 한다면 실제로 거부하고 되돌릴 권한도 가져야 한다. 세계를 완벽하게 기억하지 못하는 모델을 쓰는 일보다 더 위험한 것은, 그 모델이 세계를 기억하고 있다고 믿은 채 사람 사이의 책임까지 맡기는 일이다.