ai papers

정답을 맞히면 추론도 좋아지는가 — RLVR의 가능성과 한계

Junyoung Park · 2026-08-21 · 12 min

관련 글 — DeepSeek-R1에 대한 고찰과 PPO, GRPO · DPO · LLM은 어떻게 학습되는가

최근 Reasoning model에 번역을 맡겨보면 이상한 순간이 있다. 수학 문제에서는 끈질기게 답을 고친다. 코드에서는 Test case가 통과할 때까지 다른 방법을 찾고 Agent 환경에서는 몇 번 실패해도 목표 상태에 도달한다. 그런데 번역에서는 이미 자연스러웠던 문장을 다시 만지다가 어색하게 만들거나 원문에 없던 설명을 덧붙이기도 한다.

처음에는 단순히 모델의 완성도 문제라고 생각했다. 하지만 수학과 코딩 Benchmark는 계속 올라가고 Agent가 처리할 수 있는 작업도 늘어나는데 가장 근본적인 언어 능력은 그만큼 좋아졌는지 확신하기 어려웠다. 모델의 능력을 하나의 점수로 생각해서 생긴 혼란인지도 모른다.

이 의문은 Reinforcement Learning with Verifiable Rewards, RLVR을 살펴보다가 더 커졌다. RLVR은 모델이 생성한 답을 자동으로 검증한다. 성공한 답변에 Reward를 주어 Policy를 학습한다. 사람이 모든 추론 과정을 작성하지 않아도 긴 추론과 자기 검토가 나타날 수 있다는 점은 분명 흥미롭다.

그런데 정답을 맞힌 것과 올바르게 추론한 것은 같은가. 검증기가 마지막 답만 본다면 중간 과정에 있던 오류와 우연, 불필요한 우회는 어떻게 구분할까. 수학과 코딩에서 얻은 이런 학습이 번역과 글쓰기 같은 일반 언어 능력에도 도움이 될까.

이 글에서 보려는 것은 RLVR이 잘하는 일과 그 경계다. 경계를 알아야 높은 Benchmark 점수를 일반적인 추론 능력의 향상으로 너무 빨리 번역하지 않을 수 있다.

RLVR은 알고리즘의 이름이 아니다

RLVR이라는 명칭은 Tülu 3에서 본격적으로 사용되었다. 이후 DeepSeek-R1이 큰 규모의 Reasoning RL 결과를 공개하면서 널리 알려졌다. 두 연구는 같은 종류의 보상을 사용하지만 Policy를 업데이트하는 방법은 다르다.

Tülu 3는 PPO를 사용했고 DeepSeek-R1-Zero는 GRPO를 사용했다. RLVR은 Reward의 출처를, PPO와 GRPO는 그 Reward로 Policy를 업데이트하는 방식을 가리킨다. 둘을 같은 학습법처럼 부르면 학습 신호와 업데이트 알고리즘의 차이가 사라진다.

가장 단순한 Verifier를 식으로 쓰면 이렇다.

r(x,y)=v(x,y) = \begin{cases} 1, & \text{응답 }y\text{가 입력 }x\text{의 검증을 통과한 경우} \\ 0, & \text{그 외} \end{cases}

수학에서는 최종 답의 일치나 수식의 동치성을 확인한다. 코드는 Compiler와 Unit test를 사용한다. Instruction following이라면 요구한 JSON 형식, 단어 수, 특정 항목의 포함 여부를 검사한다. SQL 실행 결과와 게임 점수, Agent가 도달한 환경 상태를 확인하는 프로그램도 Verifier가 된다. 형식 증명에서는 증명 검사기가 같은 역할을 맡는다.

Reward가 반드시 0과 1일 필요는 없다. Test case 열 개 중 일곱 개를 통과했다면 통과율 0.7을 Reward로 주고 여러 제약 중 만족한 비율을 사용할 수도 있다. RLVR의 기준은 정답 문자열의 Exact match가 아니라 사람이 매번 읽지 않아도 일관되게 계산할 수 있는 Reward인가에 있다.

Tülu 3는 GSM8K와 MATH의 정답, IFEval의 Instruction constraint를 검증하여 Reward를 주었다. 이 단계를 SFT와 DPO 뒤에 붙이자 목표로 삼은 수학과 지시 수행 성능이 올랐다. 직접 최적화하지 않은 일부 평가에서도 개선이 나타났다. 다만 모든 평가의 평균이 함께 오르지는 않았다. 처음부터 RLVR은 범용 Post-training 전체를 대체하는 방법보다 검증 가능한 능력을 마지막 단계에서 더 밀어 올리는 방법에 가까웠다.

SFT, DPO, RLVR이 보는 것

세 방법은 같은 답변을 보더라도 서로 다른 정보를 학습 신호로 삼는다.

학습 방식	주어진 신호	모델이 배우는 방향	남는 문제
SFT	사람이 작성하거나 선별한 답변	이 입력에는 이런 답을 생성한다	Dataset 밖의 실패를 직접 탐색하지 못한다
DPO	Chosen–Rejected preference pair	선택된 답을 상대적으로 더 선호한다	누구의 선호인지, 합의가 얼마나 강한지 압축된다
RLVR	답 또는 실행 결과의 검증 점수	검증을 통과하는 응답 확률을 높인다	검증기가 보지 못한 품질은 학습하기 어렵다

DPO의 Preference가 사람이 직접 Labeling한 결과라고 해도 그것이 곧 보편적인 선호는 아니다. 사실성이나 명백한 유해성에는 비교적 높은 합의가 있을 수 있지만 문체, 답변 길이, 유머, 거절의 범위와 가치 판단은 사람과 상황에 따라 달라진다.

Diverging Preferences는 실제 Preference data의 평가자 불일치가 단순한 Label noise만으로 생기지 않는다고 분석했다. 과제의 모호함과 Response style, 거절 여부에서 진짜 선호 차이가 발생했지만 일반적인 Reward model과 LLM judge는 이를 하나의 다수 의견으로 압축하는 경향을 보였다.

여러 평가자의 판단을 하나의 Chosen label로 집계하는 데이터에서는 51%가 고른 답과 모두가 고른 답이 똑같이 기록될 수 있다. 이때 DPO가 배우는 것은 인류의 보편적인 취향보다 해당 Annotator pool과 Guideline, 후보 답변 분포에서 관측된 Preference에 가깝다. 주관적인 문제에서도 Preference learning은 유용하다. 다만 사용자와 문맥을 조건으로 남기지 않고 하나의 평균 Reward로 압축하면 만족도의 상한이 생긴다.

RLVR은 평가자 간 선호 불일치를 프로그램으로 계산하는 Verifier로 바꾼다. 판정은 반복 가능해지지만 무엇을 검사할지 정하는 명세의 선택까지 객관화되지는 않는다. 적용 범위도 줄어든다. 결국 두 방법은 완전히 다른 문제를 푼다기보다 인간의 판단 비용과 검증기의 적용 범위 사이에서 서로 다른 값을 지불한다.

DeepSeek-R1-Zero가 실제로 보상한 것

DeepSeek-R1-Zero는 별도의 Cold-start SFT 없이 DeepSeek-V3-Base에 GRPO를 적용했다. Reasoning data에는 Neural reward model보다 Rule-based reward를 사용했다. 논문이 공개한 Reward는 크게 정확성과 형식으로 나뉜다.

R_{\text{rule}} = R_{\text{accuracy}} + R_{\text{format}}

수학 문제는 지정된 형식에 적힌 최종 답을 검사했다. 코딩 문제는 Compiler와 Test case로 결과를 평가했다. Format reward는 추론을 지정된 <think>...</think> Tag 안에 넣었는지 확인했다. R1-Zero가 풀이의 매 Step을 사람이 읽거나 Process Reward Model로 채점한 것은 아니다.

GRPO는 같은 Prompt에서 여러 응답을 Sample한 뒤 그 Group 안에서 Reward가 상대적으로 높았던 응답을 강화한다. 단순화하면 각 응답의 Advantage는 다음과 같다.

A_i = \frac{ r_i-\operatorname{mean}(r_1,\ldots,r_G) }{ \operatorname{std}(r_1,\ldots,r_G)+\epsilon }.

별도의 Critic model 없이 Group의 평균을 Baseline처럼 사용하는 셈이다. 같은 문제에서 일부 응답은 맞고 일부는 틀렸을 때 차이가 생긴다. 모두 틀리거나 모두 맞으면 그 Prompt가 주는 상대적인 학습 신호는 약해진다. Base model이 가끔이라도 성공하는 문제를 골라야 하는 이유도 여기에 있다.

Outcome scalar에서 계산한 Trajectory-level advantage는 해당 응답의 Token log-probability를 업데이트하는 데 쓰인다. 어느 Step이 정답에 기여했고 어느 Step이 우연히 살아남았는지는 별도의 Process signal이 없으면 분해되지 않는다.

직접 구성한 개념도다. Outcome verifier는 서로 다른 과정을 거친 두 정답에 같은 Reward를 줄 수 있다.

이 단순한 신호만으로도 R1-Zero의 응답에는 재검토, 접근법 변경, 검산과 더 긴 추론 같은 패턴이 나타났다. 하지만 이를 인간과 같은 목적성이나 자각으로 해석할 필요는 없다. 높은 Reward와 함께 나타난 Token trajectory가 더 자주 생성되도록 Policy가 바뀐 결과로도 설명할 수 있다.

완성된 DeepSeek-R1도 RLVR만으로 학습되지 않았다. Cold-start SFT, Reasoning RL, 약 60만 개의 Reasoning sample과 20만 개의 Non-reasoning sample을 이용한 SFT, 일반적인 Helpfulness와 Harmlessness까지 포함한 최종 RL을 거쳤다. 이 단계들은 R1-Zero의 가독성 저하와 Language mixing, 일반 Task의 약점을 완화하기 위해 도입되었다. 일반 Benchmark는 좋아졌지만 논문은 중국어와 영어 이외 언어의 Language mixing을 여전히 한계로 남긴다.

정답과 올바른 추론 사이

최종 답이 맞았다는 사실은 적어도 네 가지를 구분하지 못한다.

결과의 타당성

Verifier가 확인한 답이 정말 맞는가에 관한 문제다. 정답 형식 Parser가 취약하면 $\frac{12}{36}$ 과 $\frac{1}{3}$ 을 다르게 볼 수 있고 Unit test가 충분하지 않으면 잘못된 코드가 통과한다. Verifiable reward도 Verifier가 구현한 명세보다 강하지 않다.

서술된 과정의 타당성

풀이의 각 문장이 앞선 문장에서 올바르게 이어지는지 묻는다. 잘못된 부호를 두 번 사용해 우연히 정답이 나오거나 근거 없는 추측 뒤에 맞는 답을 붙일 수 있다. Outcome reward는 이런 풀이와 과정은 거의 맞았지만 마지막 계산에서 실수해 0점을 받은 풀이를 구분하지 못한다.

과정의 인과적 충실성

출력된 Chain-of-Thought가 실제로 최종 답을 결정하는 데 사용되었는지는 또 다른 문제다. CoT를 바꾸거나 일부 정보를 숨겼을 때도 같은 답을 낸다면 읽기 좋은 설명이 내부 계산의 충실한 기록이라고 단정하기 어렵다. Outcome Rewards Do Not Guarantee Verifiable or Causally Important Reasoning은 Qwen2.5 계열과 ReasoningGym 과제에서 RLVR로 Task accuracy가 올라가도 Reasoning token의 인과적 중요성과 풀이만으로 답을 도출할 수 있는 충분성이 안정적으로 함께 오르지는 않았다고 보고했다. 이 결과는 2026년 공개된 Preprint이므로 더 넓은 Model과 Task에서 확인할 필요가 있다.

과정의 최적성

논리적으로 맞는 풀이가 하나만 있는 것도 아니다. 가장 짧은 과정, 실수에 강한 과정, 사람이 검토하기 쉬운 과정, 계산 비용이 적은 과정은 서로 다를 수 있다. Length penalty를 강하게 주면 짧지만 비약적인 풀이가 나온다. 검산을 많이 보상하면 간단한 문제에도 긴 독백이 붙는다. 최적이라는 말에는 어떤 속성을 지키고 어떤 비용을 줄일지에 대한 Preference가 다시 들어온다.

Process Reward는 이 문제를 해결할까

가장 직접적인 방법은 각 Step을 평가하는 Process supervision이다. Let's Verify Step by Step은 수학 풀이의 각 단계에 사람이 Label을 달아 Process Reward Model을 학습했다. 여러 답변 중 하나를 고르는 Best-of-N 실험에서 PRM은 최종 결과만 학습한 Outcome Reward Model보다 더 신뢰성 있게 좋은 풀이를 골랐다.

이 실험은 PRM으로 Generator를 직접 강화학습한 결과가 아니라 생성된 답변을 PRM으로 Ranking한 결과다. 사람이나 LLM이 자연어 Step을 평가하면 세밀한 신호를 얻는다. 그 순간 Reward는 엄격한 의미의 Verifiable reward보다 학습된 판단에 가까워진다.

중간 상태 자체를 검증할 수 있다면 이야기가 달라진다. 형식 증명기는 한 줄씩 논리 규칙을 검사한다. Agent 환경에서는 Tool call 뒤의 상태를 확인한다. Verifiable Process Rewards는 Search oracle, Constraint solver, posterior 계산을 사용해 실패한 Trajectory 안의 올바른 행동과 성공한 Trajectory 안의 잘못된 행동을 분리하려 한다.

VPR 논문의 목적함수 자체가 아니라 Outcome, Step, 비용을 함께 고려할 때 생각할 수 있는 일반적인 예를 쓰면 다음과 같다.

R(\tau) = R_{\text{outcome}} + \alpha\sum_t R_{\text{step},t} - \beta C(\tau),

$R_{\text{outcome}}$ 은 최종 성공, $R_{\text{step},t}$ 는 단계의 타당성이나 진전, $C(\tau)$ 는 Token과 실행 비용을 나타낸다. 문제는 항을 추가할 때마다 새로운 측정 오류와 가중치 선택이 들어온다는 데 있다. VPR의 Tic-Tac-Toe oracle-quality ablation에서는 Search budget이 작은 중간 Verifier가 오히려 Base model보다 결과를 악화시켰다. Sparse reward를 Dense reward로 바꾸었다고 정보가 자동으로 정확해지는 것은 아니다.

현재 방법을 두 축에 놓으면 관계가 조금 더 선명해진다.

	응답·결과 단위	과정·Step 단위
프로그램으로 검증	전형적인 RLVR, Unit test, 환경 성공	형식 증명, 실행 가능한 중간 상태, VPR
사람·모델이 판단	DPO, RLHF, LLM-as-a-Judge	PRM, 단계별 Human feedback

왼쪽 위로 갈수록 싸고 명확하지만 Credit assignment가 거칠다. 오른쪽 아래로 갈수록 풍부한 정보를 주지만 판단 비용과 Reward hacking 가능성이 커진다. 모든 Task를 한 칸에 넣기보다, 실패 비용과 Verifier의 신뢰도에 따라 신호를 섞는 편이 현실적이다.

RLVR은 새로운 능력을 만드는가

R1-Zero의 결과만 보면 RL이 모델 안에 없던 추론 전략을 만들어낸 것처럼 보인다. 하지만 Base model이 이미 드물게 생성하던 성공 경로를 RL이 자주 선택하도록 만든 것인지, 이전에는 없던 경로를 새로 배운 것인지는 구분하기 어렵다.

이 논쟁에는 아직 합의가 없다. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?은 RLVR model의 Pass@1은 오르지만 큰 $k$ 에서 Base model의 Pass@k가 더 높아지는 사례를 근거로, 현재 RLVR이 기존 분포를 재가중하는 성격이 강하다고 주장했다. 반대로 Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs는 최종 답뿐 아니라 CoT의 타당성까지 세는 CoT-Pass@K를 제안하고 RLVR이 Reasoning boundary를 넓힐 수 있다고 반박했다. 후자의 과정 판정에도 Model judge가 들어가므로 무엇을 성공으로 셌는지가 결론에 영향을 준다.

더 이상한 결과도 있다. Spurious Rewards는 Qwen2.5-Math-7B에 무작위 Reward를 사용해도 MATH-500이 21.4 percentage point 올랐다고 보고했다. 정답 Reward로 얻은 29.1 point 상승에 가까운 폭이다. 이 효과는 Llama 3와 OLMo 2에서 재현되지 않았다. Qwen 모델에 이미 강하게 들어 있던 코드 기반 추론 패턴을 학습 알고리즘이 증폭했다는 해석이 가능하다.

핵심은 Model family와 Pre-training에 따라 RLVR의 역할이 달라질 수 있다는 점이다. 어떤 Model에서는 새로운 탐색보다 잠재된 행동의 Elicitation과 Self-distillation이 성능 향상의 큰 부분을 차지한다. 정확한 Reward가 얼마나 중요한지는 Base model의 사전 분포와 함께 봐야 한다.

수학을 잘하면 번역도 좋아질까

모델의 능력을 하나의 Scalar로 보면 수학 점수가 오른 만큼 언어 능력도 좋아질 것이라고 기대하게 된다. 실제 능력은 여러 방향을 가진 Vector에 가깝다.

\mathbf{c} = (c_{\text{math}},c_{\text{code}},c_{\text{agent}},c_{\text{translation}},c_{\text{writing}},\ldots).

하나의 학습이 여러 좌표를 함께 올릴 수도 있다. Tülu 3의 RLVR은 직접 최적화하지 않은 BigBenchHard, DROP, AlpacaEval 2에서도 작은 Point-estimate 개선을 보였다. 통계적 유의성은 보고되지 않았으므로 이는 전이 가능성과 양립하지만 그 자체로 전이의 증거는 아니다. 문제 분해와 검산, Instruction following처럼 Task 사이에 공유되는 행동은 전이될 수 있다.

그 전이는 저절로 보장되지 않는다. 수학과 코딩 Prompt만 반복해 최적화하면 출력 분포가 좁은 학습 분포 쪽으로 이동하고 일반 언어 데이터에서 쓰던 행동과 충돌할 가능성이 있다. 그러나 이 메커니즘만으로 RLVR이 언어 능력을 손상했다고 결론 내릴 수는 없다. Model과 Domain을 통제한 평가가 필요하다.

RLVR 이후 수학 코딩 에이전트와 번역 글쓰기 능력의 전이 여부를 나타낸 개념도

직접 구성한 개념도다. 능력은 하나의 점수가 아니며 검증 가능한 영역의 향상이 번역과 글쓰기로 전이될지는 별도로 측정해야 한다.

내가 Reasoning model의 번역에서 느낀 어색함에도 두 가지 설명이 있다. 학습 과정에서 다국어 표현 능력이나 문장 유창성이 실제로 손상됐을 가능성이다. 또는 언어 능력은 남아 있는데 간단한 번역에도 긴 추론과 재검토를 사용하는 Inference policy가 작업과 어긋나는 경우다.

Test-Time Scaling of Reasoning Models for Machine Translation은 12개 Reasoning model을 여러 번역 Benchmark에서 비교했다. 일반적인 Direct translation에서는 추론량을 늘려도 이득이 제한적이고 일관되지 않았다. 모델이 자연스럽게 멈추는 지점을 넘어 추론을 강요하면 번역 품질이 일관되게 떨어졌다. 다만 MetaphorTrans에 맞춰 Fine-tuning한 DRT 모델에서는 In-domain 번역이 모델 스스로 멈추는 추론 깊이까지 일관되게 좋아졌다. 이 관계는 WMT24-Literary 같은 Out-of-domain 과제에서 사라졌다. 초안을 만든 뒤 오류를 고치는 Post-editing에서도 추론이 안정적으로 도움이 되었다.

번역에서도 추론이 필요한 지점은 있다. 모호한 지시어, 긴 문맥, 전문 용어와 문화적 표현은 분명 숙고가 필요하다. 수학에서 효과적이었던 자유로운 Long CoT를 그대로 가져오기보다 초안 작성, 의미 보존 검사, Fluency 수정처럼 번역에 맞춘 절차가 낫다. 얼마나 오래 생각하는가보다 언제 무엇을 확인하고 멈추는가가 중요하다.

DeepSeek-R1이 Reasoning RL 뒤에 Translation과 Writing을 포함한 Non-reasoning data를 다시 학습한 이유도 같은 맥락에서 볼 수 있다. 마지막에는 일반 Preference reward도 섞었다. 실제 범용 모델의 Recipe는 RLVR 단독보다 SFT, Preference learning, Verifiable reward와 다양한 평가의 조합에 가깝다.

RLVR을 어디까지 믿을 것인가

RLVR이 특히 잘 맞는 영역은 분명하다. 답의 조건을 코드로 적고 Model이 여러 해법을 시도하며 Verifier가 실패에 일관된 신호를 주는 문제다. 수학과 코드만이 아니라 SQL, 형식 증명, 제약 계획, Tool use와 Simulator 안의 Agent도 여기에 들어간다.

열린 글쓰기와 조언, 가치 판단은 다르다. Reference answer를 하나 정하거나 LLM judge를 붙이면 Reward는 만들 수 있지만 검증 가능하다는 강점은 약해진다. Verifier를 넓히기 위해 Model의 판단을 들여오는 순간 RLVR과 RLHF/RLAIF의 경계도 흐려진다.

개인적으로 RLVR의 가장 큰 성과는 정확한 Feedback을 싸게 만들 수 있는 영역에서는 인간이 모든 성공 Trajectory를 쓰지 않아도 Policy가 많은 경로를 탐색하도록 학습할 수 있음을 보여준 데 있다. LLM 전체에 범용적인 목적성을 부여했다는 해석은 여기서 너무 멀리 간다.

동시에 그 성공은 무엇을 검증할 수 있는지에 묶여 있다. 최종 답만 검증하면 정답을 만드는 행동이 강화된다. 그 행동의 타당성, 충실성, 효율성은 별개의 문제로 남는다. Process reward는 경로를 더 많이 드러낸다. 그다음에는 Process verifier의 신뢰성을 증명해야 한다. 어려운 문제의 자리가 검증기 설계로 옮겨간 셈이다.

정답을 보상하면 모델은 정답을 더 자주 낼 수 있다. 그것만으로 모델이 더 좋은 방식으로 생각한다고 말할 수는 없다. RLVR을 일반 지능의 증거로 읽기 전에, Reward가 본 것과 보지 못한 것을 먼저 구분해야 한다.