Logit Lens에서 Tuned Lens까지: Transformer의 중간 사고를 읽는 법

Logit Lens에서 Tuned Lens까지: Transformer의 중간 사고를 읽는 법

대형 언어 모델(LLM)에게 "프랑스의 수도는?"이라고 물으면 "파리"라고 답합니다.

하지만 이 답은 어디서 만들어진 것일까요? 첫 번째 layer에서? 마지막 layer에서? 아니면 중간 어딘가에서 서서히 형성된 것일까요?

Mechanistic interpretability의 핵심 도구인 Lens 계열은 바로 이 질문에 답합니다. 모델의 중간 hidden state를 사람이 읽을 수 있는 형태로 "투영"하여, layer마다 모델이 무엇을 생각하고 있는지 직접 관찰하는 것입니다.

이 글에서는 가장 단순한 Logit Lens부터 학습 기반의 Tuned Lens까지, Transformer 내부를 읽는 방법의 발전 과정을 정리합니다.

1. Residual Stream: 정보의 고속도로

Lens를 이해하려면 먼저 Transformer의 구조를 다시 살펴볼 필요가 있습니다.

Transformer는 단순히 "layer를 쌓은 것"이 아닙니다. 핵심은 residual stream입니다.

$$h_0 \xrightarrow{+\text{Attn}_1} h_1 \xrightarrow{+\text{MLP}_1} h_2 \xrightarrow{+\text{Attn}_2} h_3 \rightarrow \cdots \rightarrow h_L \xrightarrow{\text{Unembed}} \text{logits}$$

각 layer의 attention과 MLP는 residual stream에 정보를 더하는 역할을 합니다. 즉, hidden state $h_l$은 이전 모든 layer의 기여가 누적된 결과입니다.