QLoRA + 한국어 — T4 한 장으로 7B 모델을 한국어 전문가로 만들기

모델 가중치를 4-bit로 양자화해서 올리고, LoRA 어댑터만 16-bit로 학습한다.

비유하자면: 도서관의 모든 책을 요약본(4-bit)으로 보관하되, 새로 쓰는 메모(LoRA)만 원본 해상도(16-bit)로 작성하는 겁니다. QLoRA 논문(Dettmers et al., 2023)은 세 가지 기술을 도입했습니다.

QLoRA의 세 가지 핵심 기술

1. 4-bit NormalFloat (NF4)

사전학습된 모델의 가중치는 정규분포를 따릅니다. 0 근처에 값이 밀집되어 있고 극단값은 드뭅니다. 일반 4-bit 양자화는 균등 간격으로 매핑하므로 이 분포에 맞지 않습니다.