BERT는 왜 생성 모델이 되지 못했나? LLaDA가 해결한 Variable Masking의 비밀
Variable Masking, Fisher Consistency, In-Context Learning, Reversal Curse -- LLaDA가 Diffusion으로 진짜 LLM을 만든 방법.
BERT는 왜 생성 모델이 되지 못했나? LLaDA가 해결한 Variable Masking의 비밀
Part 2에서 우리는 D3PM과 MDLM이 이산 공간에서 Diffusion을 정의하는 방법을 살펴봤습니다. [MASK] 토큰을 사용한 Absorbing State Diffusion이 텍스트에 가장 효과적이라는 것도 확인했습니다.
하지만 이전 연구들은 비교적 작은 규모에 머물러 있었습니다. "Diffusion으로 진짜 LLM을 만들 수 있는가?"라는 질문에 답한 것은 LLaDA(Large Language Diffusion with mAsking)입니다.
Nie et al. (2025)은 Masked Diffusion을 8B 파라미터까지 스케일링하고, LLaMA3 8B와 직접 비교하며, Diffusion LLM이 AR 모델의 핵심 능력 -- In-Context Learning, Instruction Following -- 을 갖출 수 있음을 보여줬습니다.
핵심 아이디어: Variable Masking Ratio
LLaDA의 가장 중요한 설계 결정은 variable masking ratio입니다.
BERT는 학습 시 입력의 15%를 고정적으로 마스킹합니다. 이 비율은 한 번 정하면 바뀌지 않습니다.
LLaDA는 학습 시 masking 비율을 0%에서 100% 사이에서 랜덤으로 뽑습니다. 어떤 배치에서는 5%만 마스킹하고, 어떤 배치에서는 95%를 마스킹합니다.
이것이 결정적으로 중요한 이유:
In-Context Learning: masking 비율이 매우 낮을 때 (예: 5%), 모델은 대부분의 토큰이 이미 보이는 상태에서 나머지를 예측합니다. 이것은 사실상 "주어진 context를 보고 빈칸을 채우는" 작업으로, In-Context Learning과 자연스럽게 연결됩니다.
관련 포스트
Paper of the Week #3 — FLOP이 절반이라고 시간이 절반은 아닙니다
정수 하나로 MoE expert 연산을 절반으로 줄이는 논문(arXiv 2609.04575)의 표 5를 A100 한 장에서 1점 안쪽으로 재현했습니다. 논문에 없는 속도를 쟀더니 HF transformers에서는 0, 지금 쓰는 순정 vLLM의 batch 1에서도 0, batch 8에서 1.35배였습니다. 재정규화 없이 학습된 OLMoE 대조군과 2호가 약속한 iso-cost 정산도 실었습니다.
논문은 절반에서 멈췄습니다. 4분의 1은 30점이 아니라 4점을 잃고, 재정규화 없이 학습된 모델이 이유를 알려줍니다
arXiv:2609.04575가 돌리지 않은 두 칸을 채웠습니다. Qwen3.6-35B-A3B에서 k₁=2·3, 그리고 재정규화 없이 학습된 OLMoE에 k₂ 기법을 통째로 적용한 결과입니다. 두 번째가 논문 메커니즘의 반증 시험입니다.
MoE expert를 절반만 켜는 정수 하나 — batch 1에서는 공짜가 아니었습니다
arXiv:2609.04575의 표 5를 A100 한 장으로 재현하고, 논문에 없는 처리량을 쟀습니다. HF transformers에서는 이득이 없고, 순정 vLLM의 batch 1에서도 없고, batch 8에서 1.35배입니다.