AgentScope 프로덕션 배포 — Runtime, 모니터링, 스케일링
agentscope-runtime Docker 배포, OpenTelemetry 트레이싱, AgentScope Studio, RL 파인튜닝, 프로덕션 체크리스트.
AgentScope 프로덕션 배포 — Runtime, 모니터링, 스케일링
에이전트가 로컬에서 잘 동작하는 것과 프로덕션에서 안정적으로 운영되는 것은 완전히 다른 문제입니다. 에이전트가 무한 루프에 빠지면? LLM API가 타임아웃되면? 동시에 1,000명이 접속하면?
이 글에서는 AgentScope 에이전트를 프로덕션에 배포하고 운영하는 데 필요한 모든 것을 다룹니다 — Docker 런타임, OpenTelemetry 트레이싱, 세션 관리, 평가, RL 파인튜닝까지.
시리즈: Part 1: 시작하기 | Part 2: 멀티 에이전트 | Part 3: MCP 서버 연동 | Part 4: RAG + 메모리 | Part 5: 실시간 음성 | Part 6 (이 글)
1. agentscope-runtime 개요
관련 포스트
Models & Algorithms
TurboQuant vLLM, A100 한 장에서 실측 — 8B 모델에서 프리셋 4개의 용량·속도·정확도
vLLM 0.28, Qwen3-8B bf16, A100 80GB: bf16·fp8·TurboQuant 프리셋 4개의 KV 용량, 배치 처리량, 32K 디코드, needle-in-haystack, GSM8K를 직접 쟀습니다. vLLM 연구가 다루지 않은 8B 크기입니다.
Models & Algorithms
TurboQuant를 실제 KV 텐서 위에서 밑바닥부터 — 3비트의 진짜 비용, 그리고 포크가 논문 레이아웃을 이기는 이유
PolarQuant를 PyTorch 60줄로 구현해 Llama-3.2-1B·Qwen3-8B의 실제 KV에 적용. 3비트는 +10%, k8v4는 +0.2%, QJL은 저비트에서만 유효, 블록-32 레이아웃이 포크 우위의 절반을 설명합니다.
Models & Algorithms
TurboQuant llama.cpp CUDA 포크, A100에서 실측 — turbo4는 q4_0급, turbo3는 긴 컨텍스트에서 무너진다
Qwen3-8B Q4_K_M, A100 한 장, KV 타입 6종: perplexity·프리필·깊이별 디코드·VRAM 실측. turbo4는 q4_0과 품질 동급에 깊은 컨텍스트에선 q8_0보다 2.5배 빠르고, turbo3는 32K에서 PPL이 세 배로 뜁니다.