Paper of the Week #1 — 150M 파라미터의 반란, 그리고 하네스의 주간

Paper of the Week #1 -- 150M 파라미터의 반란, 그리고 하네스의 주간

매주 화제가 된 논문 중 하나를 깊게, 나머지를 짧지만 밀도 있게 리뷰하는 Paper of the Week 첫 회입니다. 선정 기준은 단순합니다. 읽고 나면 무언가를 다르게 만들게 되는 논문. 인용수나 소속 기관이 아니라, 실무자가 가져갈 수 있는 아이디어가 있는지를 봅니다.

이번 주(2026년 8월 3~4주)를 관통하는 흐름부터 말씀드리면: 성능 향상이 모델 가중치가 아닌 곳에서 나왔습니다. 메인 픽은 150M 파라미터로 추론 벤치마크의 비용-정확도 곡선을 뚫은 모델이고, 나머지 세 편은 모두 "모델은 그대로 두고 실행 환경(하네스)을 바꿔서" 성능을 끌어올린 연구입니다. 우연이 아니라고 봅니다.

메인 픽: BDH-CQ -- 말하지 않고 생각하는 150M 모델

BDH-CQ: In-Context Learning with Recurrent Latent Reasoning (Engdahl, Kosowski, Chorowski et al., Pathway, 8/10) · HF ▲754

무엇을 했나

ARC-AGI-1 공개 평가셋에서 pass@2 29.5%를 태스크당 약 $0.0007에 달성했습니다. 정확도 자체는 프론티어 모델에 못 미치지만, 이 가격대에서 이 정확도는 기존 비용-정확도 파레토 프론티어 바깥의 점입니다. 모델 크기는 150M 파라미터. GPT-2 small 수준입니다.

어떻게 했나 -- "추론을 말로 하지 않는다"

이 논문의 핵심은 abstract의 한 문장에 있습니다.

Inputs presented at inference time continuously update the model's recurrent memory; the model then solves a query through iterative computation in a high-dimensional latent space, without verbalizing its intermediate reasoning.

현재 주류 추론 모델(o-계열, R1 등)은 chain-of-thought를 토큰으로 출력하면서 생각합니다. 생각의 매 단계가 텍스트 생성이므로, 생각이 길어질수록 비용이 토큰 수에 비례해 커집니다. BDH-CQ는 반대로 갑니다. 추론 시점에 들어온 예시들이 모델의 순환 메모리(recurrent state)를 계속 갱신하고, 문제 풀이는 이 상태 위에서 고차원 잠재 공간의 반복 연산으로 일어납니다. 중간 추론을 토큰으로 내뱉지 않으니 태스크당 $0.0007이 가능한 겁니다.

기반 아키텍처는 Pathway가 2025년 공개한 BDH(Baby Dragon Hatchling, arXiv:2509.26507)입니다. BDH는 트랜스포머와 뇌 모델 사이의 다리를 표방하는 구조로, 세 가지가 다릅니다.

• 어텐션이 행렬곱이 아니라 뉴런 간 국소 상호작용에서 창발합니다. 중앙화된 dense 연산 대신 scale-free 그래프 위의 지역 계산입니다.
• 단기 기억이 시냅스에 삽니다. 컨텍스트를 KV 캐시에 쌓는 대신, 헤비안(Hebbian) 학습 원리로 시냅스 가중치를 추론 중에 조정합니다. "In-context learning"이 문자 그대로 시냅스 가소성으로 구현됩니다.
• 활성이 희소하고 양수라서 해석 가능합니다. 원 논문은 특정 개념에 반응하는 단일의미(monosemantic) 시냅스가 자연 발생한다고 보고합니다.

BDH-CQ는 이 구조의 "시냅스에 사는 기억"을 ARC 같은 few-shot 추론에 밀어붙인 결과물입니다. ARC 태스크는 예시 몇 개를 보고 규칙을 유추해야 하는데, 예시가 순환 메모리를 갱신하는 구조와 정확히 맞물립니다.

왜 중요한가

세 가지 관점에서 봅니다.

1. 잠재 추론(latent reasoning) 진영의 실증 사례. "추론이 꼭 언어로 이뤄져야 하는가"는 작년부터 뜨거운 논쟁이고(COCONUT, recurrent depth 계열), 지금까지는 대형 모델의 CoT를 못 이겼습니다. BDH-CQ는 정면 대결 대신 비용 축에서 이겼습니다. 프론티어를 밀어낸 방향이 "더 정확하게"가 아니라 "같은 정확도를 1/100 가격에"라는 점이 전략적으로 영리합니다.
2. 테스트타임 컴퓨트의 다른 형태. 토큰을 더 뽑는 대신 잠재 공간에서 더 돈다 -- 반복 횟수가 곧 test-time compute가 됩니다. 토큰 기반 스케일링과 달리 이 비용은 어휘 크기·디코딩과 무관합니다.
3. 작은 모델의 존재 증명. 150M이 ARC에서 의미 있는 점수를 낸다는 것 자체가, ARC가 요구하는 능력이 "지식의 양"이 아니라 "적응의 메커니즘"임을 시사합니다.

주의 깊게 볼 부분

• 가중치와 모델 코드는 비공개입니다. 공개된 것은 ARC 스타일 태스크 생성기뿐이라, 29.5%는 현재 재현 불가능한 숫자입니다. 태스크 생성기를 공개했다는 건 학습에 합성 ARC 태스크를 썼다는 뜻으로 읽히는데, 그렇다면 "ARC 분포에 특화된 학습"의 효과가 얼마나 섞였는지가 핵심 질문입니다.
• pass@2 기준입니다. ARC 공식 규칙이긴 하지만 pass@1과 혼동하면 안 됩니다.
• ARC 하나로 보인 결과입니다. 이 메커니즘이 수학·코드 추론으로 이전되는지는 아직 아무도 모릅니다.

다행히 기반 아키텍처 BDH는 코드가 MIT로 공개되어 있고(pathwaycom/bdh), 171줄짜리 모델 정의와 학습 스크립트가 전부라 직접 굴려볼 수 있습니다. 저희가 A100 한 장에서 미니 BDH를 학습시켜 본 결과와 노트북은 글 말미에 있습니다.

짧은 리뷰 1: StateM -- $38로 9%p를 사는 방법

StateM: Reaching 95.3% on Terminal-Bench 2.1 via Harness Scaling (8/15) · HF ▲441

터미널 에이전트가 실패하는 방식은 대부분 모델이 멍청해서가 아닙니다. 상태를 잃어버리고, 절차를 건너뛰고, 일찍 포기합니다. StateM은 이걸 모델 바깥의 런타임으로 해결합니다: 지속 상태(durable states), 단계별 컨텍스트, 검증된 상태 전이, 그리고 복구 가능한 런북(runbook).

숫자가 논문의 주장입니다. 가중치를 하나도 안 바꾸고 GPT-5.5가 83.1→92.1%, DeepSeek-V4 Flash가 82.7→88.1%. 특히 DeepSeek 쪽은 적응 비용 $38, 실행 비용 $15로 이 향상을 얻었는데, GPT 기반 레퍼런스의 실행 비용은 $574입니다. "좋은 하네스 + 싼 모델"이 "맨몸의 비싼 모델"을 비용으로 압도한다는, 올해 가장 실무적인 데이터포인트 중 하나입니다.

주의할 점: 런북·절차가 벤치마크의 실행 구조에 얼마나 과적합됐는지가 관건입니다. 저자들도 BusinessBench 전이 실험에서 "실행 구조가 겹치는 태스크 계열에서만" 최대 10.04점 향상이라고 명시했습니다. 뒤집으면, 실행 구조가 다른 도메인엔 런북을 다시 써야 한다는 뜻입니다.

짧은 리뷰 2: EnvHarness -- 환경도 학습 대상이다

EnvHarness: Awakening Static Worlds for Agent Learning (8/20) · HF ▲263

에이전트 RL의 병목은 모델이 아니라 환경이 정적이라는 점입니다. 손으로 만든 환경은 에이전트가 성장해도 그대로라, 학습 신호가 금방 고갈됩니다. EnvHarness는 환경 로직을 건드리지 않고 플러그인 레이어로 환경의 거동을 재구성합니다. 흥미로운 건 자동화 도구 EnvRigger입니다: 에이전트 정책을 블랙박스로 관찰 → 약점 진단 → 그 약점을 찌르는 플러그인 합성 → 새 롤아웃으로 검증. 정책과 환경의 공진화를 파이프라인으로 만든 겁니다.

결과는 5개 벤치마크에서 held-out 최대 +9.0점, 실행 스텝 9.8% 감소. 숫자보다 프레임이 중요합니다 -- 환경을 "고정된 채점기"가 아니라 버전 관리되고 합성되는 학습 자산으로 다루기 시작했다는 것. 커리큘럼 러닝의 에이전트 버전이라고 볼 수 있는데, 커리큘럼을 사람이 아니라 진단 루프가 짭니다.

짧은 리뷰 3: Apodex 1.1 -- "AgentOS"라는 방향

Apodex 1.1: Scaling Agentic Intelligence for Complex Work (8/24) · HF ▲179

프론티어 랩들이 수렴 중인 방향의 전형입니다. 두 축으로 스케일합니다: 실행 환경의 범위·검증 가능성(파일시스템·검색·코드 실행), 그리고 에이전트 간 조율(작업 분해, 병렬 분배, 비동기 결과 병합, 재계획). 이 전체를 "AgentOS"라 부르는 통합 하네스가 상태와 문서를 추적합니다.

주목할 스펙은 35B짜리 Mini 버전이 로컬 배포 가능한 형태로 언급된다는 점입니다. 장기 작업 에이전트가 프론티어 API 전유물이 아니게 될 조짐입니다. 다만 벤치마크가 자체 리포트 중심이고 외부 검증이 아직 없다는 점, "working capability"라는 프레임 자체가 측정 기준을 자기 정의한다는 점은 걸러 읽어야 합니다.

이번 주를 관통하는 흐름: 가중치는 상수, 하네스는 변수

네 편을 나란히 놓으면 그림이 보입니다.

작년까지 "성능 = 더 큰 모델 + 더 많은 CoT 토큰"이었다면, 이번 주 논문들은 전부 모델 주변부에서 성능을 캐냈습니다. 실무 함의는 명확합니다. 지금 에이전트 시스템이 안 돌아간다면, 모델을 바꾸기 전에 상태 관리·절차·환경부터 의심하라는 것. StateM의 $38짜리 9%p가 그 증거입니다.

직접 돌려보기: 미니 드래곤 부화시키기

BDH-CQ는 비공개지만 기반 아키텍처 BDH는 171줄 코드로 공개돼 있습니다. A100 한 장에서 25M 파라미터 BDH를 tiny Shakespeare로 직접 학습시켜 봤습니다. 결과만 요약하면:

• 14분 학습으로 셰익스피어풍 텍스트 생성까지 도달합니다 (토크나이저 없이 바이트 단위)
• 논문의 해석 가능성 주장의 전제인 희소 활성을 실측했습니다: 검증 배치에서 활성값 16억 개 중 79.8%가 정확히 0
• 25M 모델이 1.1MB 데이터에 과적합하는 지점(스텝 ~600, val loss 1.47)도 그대로 보입니다

전 과정은 첨부된 노트북에서 셀 단위로 재현하실 수 있습니다.

다음 주 PoW #2에서 뵙겠습니다. 다뤘으면 하는 논문이 있다면 알려 주세요.

참고 자료

• BDH-CQ: In-Context Learning with Recurrent Latent Reasoning · 태스크 생성기
• The Dragon Hatchling (BDH 원 논문) · 공식 코드 · Pathway 해설
• StateM: Harness Scaling
• EnvHarness
• Apodex 1.1