LLM 추론 실패 Part 2: 인지 편향 — 인간의 편향을 물려받다
Anchoring, Order Bias, Sycophancy, Confirmation Bias — RLHF와 편향된 학습 데이터에서 비롯되는 인지 편향을 실험합니다.
LLM 추론 실패 Part 2: 인지 편향 — 인간의 편향을 물려받다
LLM은 인간이 만든 텍스트로 학습합니다. 문제는, 인간의 편향까지 함께 물려받는다는 것입니다.
Part 1에서 Reversal Curse, 카운팅, Compositional Reasoning 등 아키텍처 자체의 구조적 한계를 다뤘습니다. 이번 Part 2에서는 견고성(Robustness) 문제를 다룹니다. 모델이 틀린 답을 내는 게 아니라, 질문 방식에 따라 답이 흔들리는 현상입니다.
구조적 한계는 모델을 키워도 해결되지 않습니다. 하지만 인지 편향은 다릅니다. 편향된 학습 데이터와 RLHF에서 비롯되므로, 원칙적으로는 개선 가능합니다. 문제는 현재 모든 모델에서 여전히 관찰된다는 점입니다.
7개 모델(GPT-4o, GPT-4o-mini, o3-mini, Claude Sonnet 4.5, Claude Haiku 4.5, Gemini 2.5 Flash, Gemini 2.5 Flash-Lite)을 대상으로 4가지 인지 편향을 실험했습니다.
1. Anchoring Bias
Anchoring Bias란?
처음 접한 숫자에 판단이 끌려가는 현상입니다. 인간 심리학에서 가장 잘 연구된 편향 중 하나입니다. 부동산 중개인이 먼저 비싼 매물을 보여주는 것, 협상에서 먼저 숫자를 제시하는 것 모두 Anchoring 효과를 노린 것입니다.
LLM에서도 같은 현상이 나타날까요?
실험 설계
관련 포스트
InternVL-U: 4B 파라미터로 이해+생성+편집을 동시에 -- 통합 멀티모달의 새 기준
Shanghai AI Lab의 InternVL-U. 4B 파라미터 단일 모델로 이미지 이해, 생성, 편집, 추론 기반 생성을 모두 수행. 디커플드 비주얼 표현으로 14B BAGEL을 GenEval과 DPG-Bench에서 능가.
Hybrid Mamba-Transformer MoE: 세 팀이 동시에 도달한 같은 결론 -- 2026년 LLM 아키텍처의 수렴
NVIDIA Nemotron 3 Nano, Qwen 3.5, Mamba-3가 독립적으로 75% 선형 레이어 + 25% 어텐션 + MoE 구조에 수렴. 88% KV-cache 절감, O(n) 복잡도로 긴 컨텍스트 처리.
Spectrum: 학습 없이 Diffusion 모델 3~5배 빠르게 -- 체비셰프 다항식의 마법
Stanford/ByteDance의 CVPR 2026 논문. 체비셰프 다항식 기반 feature forecasting으로 FLUX.1 4.79배, HunyuanVideo 4.56배 스피드업. Training-free로 어떤 모델에도 즉시 적용.