LLM 추론 실패 Part 1: 구조적 한계 -- 스케일링으로 못 고친다
Reversal Curse, Counting, Compositional Reasoning — Transformer 아키텍처에 뿌리를 둔 구조적 실패를 7개 모델로 실험합니다.
LLM 추론 실패 Part 1: 구조적 한계 -- 스케일링으로 못 고친다
LLM이 실패하는 이유를 분석하는 시리즈의 첫 번째 편입니다. 이번 글에서는 모델을 아무리 키워도, 데이터를 아무리 더 줘도 해결되지 않는 구조적(fundamental) 한계 세 가지를 다룹니다.
- Reversal Curse
- Counting Failures
- Compositional Reasoning Wall
이 실패들은 Transformer 아키텍처 자체에서 비롯됩니다. 프롬프트 엔지니어링이나 스케일링으로는 근본적으로 해결할 수 없습니다. Song, Han, Goodman (2025)의 서베이 논문을 바탕으로, 7개 모델을 직접 실험한 결과를 함께 정리합니다.
1. Reversal Curse
논문이 말하는 것
"A는 B다"를 학습한 모델이 "B는 A다"를 추론할 수 있을까? Song et al. (2025)는 이를 Reversal Curse라 부릅니다. Transformer의 next-token prediction(단방향 학습)은 "A → B" 방향의 가중치만 강화합니다. "B → A"는 별도로 학습하지 않으면 추론할 수 없습니다.
더 중요한 건, 이 문제가 Zipf의 법칙 때문에 스케일링으로 해결되지 않는다는 점입니다. 학습 데이터에서 "톰 크루즈의 어머니는 메리 리 파이퍼"라는 문장은 나올 수 있지만, "메리 리 파이퍼의 아들은 톰 크루즈"라는 문장은 훨씬 드뭅니다. 유명인의 이름이 주어일 때와 무명인의 이름이 주어일 때, 데이터 분포의 비대칭이 구조적으로 존재합니다.
관련 포스트
Claude 워터마크 직접 재현하기 — 로컬 모델에 SynthID-Text 걸고 탐지·공격 실험
Claude가 채택한 SynthID-Text를 Gemma 2 2B에 직접 적용해 실험했습니다. 키가 없으면 탐지가 왜 불가능한지, 몇 토큰부터 탐지되는지, 짧은 글에서 오탐이 왜 폭발하는지, 그리고 로컬 3B 모델 재작성 한 번에 워터마크가 어떻게 사라지는지를 숫자로 보여드립니다.
Claude 텍스트 워터마크, 원리부터 한계까지 — 토큰 하나 안 바꾸고 서명하는 법
Claude가 생성하는 모든 텍스트에 보이지 않는 워터마크가 들어갑니다. 글자를 추가하지 않고 어떻게 서명이 가능한지 — SynthID-Text의 시크릿 키, 토너먼트 샘플링, 탐지 원리와 한계까지 단계별로 풀어봅니다.
Reversal Curse를 깨는 Identity Bridge — ICML 2026, 이래도 되는데 되는 fix
언어 모델은 "Alice의 남편은 Bob"을 학습해도 "Bob의 아내는?"을 못 맞힙니다 — 유명한 reversal curse. ICML 2026 논문 하나가 학습 데이터에 이상한 자기참조 예제를 섞는 것만으로 이 문제를 해결합니다. 순진한 버전은 안 되고, 정교한 버전은 됩니다.