TransformerLens 실전: Activation Patching으로 모델 회로를 읽다
TransformerLens로 모델의 내부 activation을 직접 조작하여, 어떤 layer와 head가 답을 만드는 원인인지 추적한다. Activation patching의 원리와 실전 코드를 다룬다.
TransformerLens 실전: Activation Patching으로 모델 회로를 읽다
지난 글에서 Lens는 모델의 중간 사고를 읽는 창이라고 했습니다.
하지만 "읽기"만으로는 핵심 질문에 답할 수 없습니다:
모델이 그 정보를 정말로 '사용'하고 있는가?
어떤 layer의 hidden state에 "Paris"라는 정보가 있다고 해서, 그 layer가 최종 답을 만드는 데 실제로 기여하는지는 알 수 없습니다. 정보가 있되 사용되지 않을 수도 있기 때문입니다.
이를 확인하려면 visualization이 아니라 causal intervention이 필요합니다. 모델의 내부를 직접 조작하고, 출력이 어떻게 변하는지 관찰하는 것입니다.
1. TransformerLens: Interpretability의 수술 도구
TransformerLens는 Neel Nanda가 만든 mechanistic interpretability 라이브러리입니다. 핵심 기능은 Transformer의 모든 내부 activation에 hook을 걸어 읽고, 수정하고, 교체할 수 있다는 것입니다.
pip install transformer_lensHookedTransformer: Hook이 달린 모델
관련 포스트
InternVL-U: 4B 파라미터로 이해+생성+편집을 동시에 -- 통합 멀티모달의 새 기준
Shanghai AI Lab의 InternVL-U. 4B 파라미터 단일 모델로 이미지 이해, 생성, 편집, 추론 기반 생성을 모두 수행. 디커플드 비주얼 표현으로 14B BAGEL을 GenEval과 DPG-Bench에서 능가.
Hybrid Mamba-Transformer MoE: 세 팀이 동시에 도달한 같은 결론 -- 2026년 LLM 아키텍처의 수렴
NVIDIA Nemotron 3 Nano, Qwen 3.5, Mamba-3가 독립적으로 75% 선형 레이어 + 25% 어텐션 + MoE 구조에 수렴. 88% KV-cache 절감, O(n) 복잡도로 긴 컨텍스트 처리.
Spectrum: 학습 없이 Diffusion 모델 3~5배 빠르게 -- 체비셰프 다항식의 마법
Stanford/ByteDance의 CVPR 2026 논문. 체비셰프 다항식 기반 feature forecasting으로 FLUX.1 4.79배, HunyuanVideo 4.56배 스피드업. Training-free로 어떤 모델에도 즉시 적용.