LLM 추론 최적화 Part 4 — 프로덕션 서빙

from vllm import LLM, SamplingParams

llm = LLM(
    model="meta-llama/Llama-3.1-8B-Instruct",
    dtype="float16",

    # === 메모리 관리 ===
    gpu_memory_utilization=0.90,   # GPU 메모리의 90% 사용
    max_model_len=32768,            # 최대 컨텍스트 길이

    # === KV Cache 최적화 ===
    kv_cache_dtype="auto",          # "auto", "fp8_e5m2", "fp8_e4m3"
    # kv_cache_dtype="fp8_e5m2",    # FP8 KV Cache → 메모리 2x 절감

    # === 양자화 ===
    # quantization="awq",           # 모델 가중치 양자화

    # === 병렬화 ===
    tensor_parallel_size=1,         # GPU 수
)

params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=1024,
    stop=["<|eot_id|>"],
)

output = llm.generate("Explain quantum computing.", params)
print(output[0].outputs[0].text)

# vLLM 서버 시작
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-8B-Instruct \
    --dtype float16 \
    --gpu-memory-utilization 0.9 \
    --max-model-len 32768 \
    --kv-cache-dtype fp8_e5m2 \
    --port 8000