AI는 마음을 읽을 수 있을까? LLM의 상식과 인지 실패
Theory of Mind, Physical Common Sense, Working Memory — 텍스트만으로 학습한 LLM이 상식과 인지에서 어디서 실패하는지 실험합니다.
AI는 마음을 읽을 수 있을까? LLM의 상식과 인지 실패
사람은 물건이 떨어지면 아래로 간다는 걸 압니다. 누군가가 방을 나간 사이 물건이 옮겨졌으면, 돌아온 사람이 원래 자리를 찾아볼 거라는 것도 압니다. 어제 배운 내용이 오늘 수정되면, 수정된 버전을 기억해야 한다는 것도요.
이 모든 건 몸으로 세상을 경험하면서 쌓은 지식입니다. LLM은 이런 경험 없이 텍스트만으로 학습합니다. 텍스트에 "공은 아래로 떨어진다"고 쓰여 있으니 그 문장은 알지만, 공을 실제로 떨어뜨려본 적은 없습니다.
이번 글에서는 LLM 추론 실패 시리즈의 세 번째 주제로, 상식과 인지 영역의 세 가지 테스트를 다룹니다.
- Theory of Mind: 다른 사람의 믿음을 추적할 수 있는가
- Physical Common Sense: 직관에 반하는 물리 현상을 이해하는가
- Working Memory: 정보 업데이트를 정확히 추적하는가
7개 모델(GPT-4o, GPT-4o-mini, o3-mini, Claude Sonnet 4.5, Claude Haiku 4.5, Gemini 2.5 Flash, Gemini 2.5 Flash-Lite)을 대상으로 직접 실험한 결과입니다.
Theory of Mind: Sally-Anne에서 3rd-order belief까지
Theory of Mind이란
관련 포스트
Claude 워터마크 직접 재현하기 — 로컬 모델에 SynthID-Text 걸고 탐지·공격 실험
Claude가 채택한 SynthID-Text를 Gemma 2 2B에 직접 적용해 실험했습니다. 키가 없으면 탐지가 왜 불가능한지, 몇 토큰부터 탐지되는지, 짧은 글에서 오탐이 왜 폭발하는지, 그리고 로컬 3B 모델 재작성 한 번에 워터마크가 어떻게 사라지는지를 숫자로 보여드립니다.
Claude 텍스트 워터마크, 원리부터 한계까지 — 토큰 하나 안 바꾸고 서명하는 법
Claude가 생성하는 모든 텍스트에 보이지 않는 워터마크가 들어갑니다. 글자를 추가하지 않고 어떻게 서명이 가능한지 — SynthID-Text의 시크릿 키, 토너먼트 샘플링, 탐지 원리와 한계까지 단계별로 풀어봅니다.
Reversal Curse를 깨는 Identity Bridge — ICML 2026, 이래도 되는데 되는 fix
언어 모델은 "Alice의 남편은 Bob"을 학습해도 "Bob의 아내는?"을 못 맞힙니다 — 유명한 reversal curse. ICML 2026 논문 하나가 학습 데이터에 이상한 자기참조 예제를 섞는 것만으로 이 문제를 해결합니다. 순진한 버전은 안 되고, 정교한 버전은 됩니다.