KAIST 전기및전자공학부 이영주 교수님의 강의를 듣고 정리한 개념 노트다. 이 강의는 "AI 모델을 줄이는 기법"부터 시작하지 않는다. 컴퓨터가 숫자를 어떻게 표현하는가에서 출발해서 양자화로, 다시 파인튜닝으로 이어진다.
처음에는 수 체계 이야기가 AI와 무슨 상관인지 의아했는데, 끝까지 들으니 순서가 필요한 이유가 보였다. 양자화는 결국 "더 적은 비트로 숫자를 표현하겠다"는 선택이라서, 숫자 표현을 모르면 무엇을 줄이고 무엇을 잃는지 설명할 수 없다.
| # | 주제 | 핵심 질문 |
|---|---|---|
| 1 | 컴퓨터의 수 체계 | 정수와 소수를 비트로 어떻게 담는가? |
| 2 | 부동소수점 수 체계 | 아주 크거나 작은 수는 어떻게 담는가? |
| 3 | 수 체계별 연산과 하드웨어 비용 | 어떤 연산이 얼마나 비싼가? |
| 4 | 모델 경량화 | 커진 모델을 어떻게 줄이는가? |
| 5 | LoRA · QLoRA | 줄인 모델을 어떻게 싸게 다시 맞추는가? |
정리한 수치와 사례는 모두 강의에서 소개된 내용이며, 내가 직접 측정한 값은 아니다.
1. 컴퓨터의 수 체계#
정수의 이진 표현#
컴퓨터는 숫자를 이진수로 저장한다. 정수를 표현하는 대표 방식은 두 가지다.
| 방식 | 특징 |
|---|---|
| 부호-크기 (Signed Magnitude) | 맨 앞 비트가 부호, 나머지가 크기 |
| 2의 보수 (Two's Complement) | 덧셈 · 뺄셈 회로를 같은 구조로 쓸 수 있고, 부호 비트로 오버플로우를 판단 |
2의 보수에서는 뺄셈을 "부호를 바꾼 수의 덧셈"으로 처리할 수 있어서, 덧셈기와 뺄셈기의 하드웨어 복잡도가 거의 같다.
데이터 타입의 크기와 범위#
C언어의 정수형(char, short, int, long, long long)은 각각 바이트 수와 표현 범위가 다르고, 플랫폼(OS · 프로세서)에 따라 같은 타입도 크기가 달라질 수 있다. 크로스플랫폼 개발에서 조심할 부분이다.
고정소수점 vs 부동소수점#
| 구분 | 고정소수점 (fixed-point) | 부동소수점 (floating-point) |
|---|---|---|
| 표현 | 정수부 · 소수부 비트 수가 정해져 있음 | 가수 · 지수로 소수점 위치가 움직임 |
| 범위와 정밀도 | 좁다 | 넓다 |
| 덧셈 · 뺄셈 | scaling factor만 맞으면 단순 | 지수 정렬 등 추가 단계 필요 |
| 하드웨어 | 단순, 에너지 효율적 | 복잡 |
고정소수점은 소수점 위치를 약속으로 고정해 두고 정수처럼 계산한다. 곱셈 · 나눗셈에서는 scaling factor를 따로 처리해야 한다. 이 단순함 때문에 모바일 · 임베디드 같은 자원이 부족한 환경에서 선호된다.
2. 부동소수점 수 체계#
왜 필요한가#
아주 큰 수와 아주 작은 수를 고정소수점으로 모두 표현하려면 비트가 너무 많이 든다. 부동소수점은 수를 부호 · 가수 · 지수 · 밑으로 나눠 효율적으로 표현한다.
예시! 1.23 × 10³에서 1.23은 가수(significand), 10은 밑(base), 3은 지수(exponent)다.
이진수에서는 이렇게 쓴다.
F = (-1)^S · M · β^E
S: 부호 비트 (1 bit) M: 가수 (s bit) E: 지수 (e bit) β: 밑 (보통 2)정규화 · 바이어스 · hidden bit#
- 정규화(Normalization): 같은 값도 여러 방식으로 쓸 수 있다. 한정된 비트 안에서 유효숫자를 최대한 쓰기 위해 이진수에서는 가수를
1.xxxx꼴로 맞춘다. 대소 비교도 단순해져 하드웨어에도 유리하다. - 바이어스 지수: 음수 지수도 부호 없는 수처럼 저장하려고 지수에 일정한 값(bias)을 더해 저장한다. e비트 지수의 bias는 2^(e-1) − 1이다. 지수 필드를 부호 없는 정수처럼 비교하면 크기 순서가 맞아서 구현이 쉬워진다.
- Hidden bit: 정규화하면 가수의 맨 앞은 항상 1이므로 저장하지 않는다. 비트 하나를 공짜로 얻는 셈이다.
표현 범위와 한계#
표현 가능한 범위는 최소 · 최대 가수와 최소 · 최대 지수의 조합으로 정해진다. 이 범위를 벗어나면 다음이 발생한다.
| 상황 | 결과 |
|---|---|
| 상한 초과 (overflow) | 무한대 |
| 하한 미달 (underflow) | 0 또는 비정규화수 |
IEEE 754#
| 포맷 | 부호 | 지수 | 가수 |
|---|---|---|---|
| Single (32비트) | 1 | 8 | 23 |
| Double (64비트) | 1 | 11 | 52 |
Single 기준 특수 값은 지수 필드 E와 가수 필드 f의 패턴으로 구분한다.
| E | f | 의미 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | ≠ 0 | 비정규화수 |
| 255 | 0 | ±∞ |
| 255 | ≠ 0 | NaN |
반올림은 round to nearest even, toward zero 등 여러 방식으로 오차를 관리한다. IBM/370, DEC/VAX, Cyber 70처럼 밑 · 바이어스 · 가수 범위가 제각각이던 체계가 IEEE 754로 표준화되면서 호환성과 신뢰성이 좋아졌다.
핵심 포인트! 부동소수점의 비트 배분(지수 몇 비트, 가수 몇 비트)은 범위와 정밀도 사이의 교환이다. 뒤에 나오는 FP16, BF16, FP8이 서로 다른 이유가 바로 이 배분이 다르기 때문이다.
3. 수 체계별 연산과 복잡도#
고정소수점 연산#
- 덧셈 · 뺄셈: 부호 없는 수에서는 자리올림, 2의 보수에서는 부호 비트로 오버플로우를 확인한다. 뺄셈은 2의 보수로 바꿔 덧셈으로 처리한다.
- 곱셈: 원리는 10진수와 같지만 결과 자릿수가 두 배로 늘어날 수 있어 오버플로우와 비트 처리에 주의해야 한다. 속도를 위해 radix-4 Booth multiplier 같은 하드웨어 기법을 쓴다.
- 나눗셈: 몫과 나머지를 구하는 과정이 복잡해 non-restoring division, SRT division 같은 기법이 개발되었다.
부동소수점 연산#
- 덧셈 · 뺄셈: 지수를 먼저 맞춘다(작은 지수 쪽 가수를 오른쪽으로 시프트). 계산 후 가수가 정규화 범위를 벗어나면 사후 정규화(지수 증감과 가수 시프트)를 하고 오버플로우 · 언더플로우를 다시 확인한다.
- 곱셈: 부호 연산, 지수 합(바이어스 보정), 가수 곱셈, 정규화로 나뉜다. 지수 연산과 가수 연산을 병렬로 할 수 있다.
- 나눗셈: 부호 · 지수 · 가수를 나누고 사후 정규화한다. 0으로 나누면 IEEE 754에 따라 ±∞ 또는 NaN이 된다. 부동소수점에서는 나머지보다 몫을 주로 쓴다.
복잡도 정리#
| 비교 | 내용 |
|---|---|
| 연산 종류 | 덧셈 · 뺄셈 < 곱셈 < 나눗셈 순으로 느려지고 비싸진다 |
| 비트 수 | 8 → 16 → 32 → …로 커질수록 곱셈 · 나눗셈의 시간과 면적이 빠르게 증가 |
| 수 체계 | 부동소수점이 고정소수점보다 복잡하고 병렬화도 어렵다 |
여기까지가 이 강의의 바탕이다. 곱셈이 비트 수에 민감하다는 점은 "비트를 줄이면 연산이 크게 싸진다"는 양자화의 직접적인 근거가 된다.
4. 모델 경량화#
왜 줄여야 하는가#
- 최근 AI 모델은 파라미터 수가 폭발적으로 늘었고, 여러 벤치마크에서 사람보다 좋은 성능을 낸다.
- 필요한 컴퓨팅 자원은 2010년대 이후 매년 약 네 배씩 늘어나는 것으로 소개되었고, 이는 GPU · TPU 같은 하드웨어 발전 속도를 앞선다.
- 학습 · 서비스 비용이 수십~수백억 원 단위까지 커져 대규모 투자가 가능한 기업에 집중되는 문제도 있다.
추론과 서비스 환경에서는 하드웨어 용량 · 속도 · 전력의 제약 때문에 경량화가 사실상 필수다.
4-1. 양자화 (Quantization)#
가중치 · 활성화 같은 값을 더 적은 비트로 표현해 모델 크기를 줄이고 연산과 메모리 효율을 높이는 기법이다.
| 방식 | 설명 | 어울리는 경우 |
|---|---|---|
| QAT (Quantization-Aware Training) | 학습 과정에 양자화를 반영해 재학습 | 데이터와 모델이 비교적 크지 않은 CNN |
| PTQ (Post-Training Quantization) | 학습이 끝난 모델에 양자화만 적용, calibration 데이터로 보정 | 학습 데이터가 너무 큰 대형 모델 · LLM |
적용 범위도 선택할 수 있다.
- Weight + Activation 모두: 연산 효율 중시
- Weight만: 메모리 효율 극대화
- 혼합 정밀도(Mixed-Precision): 레이어마다 다른 정밀도를 써서 효율과 정확도를 조정
- 형식: INT8, INT4, FP16, FP8 등을 하드웨어와 모델 특성에 맞춰 선택
4-2. 가지치기 (Pruning)#
기여도가 낮은 가중치나 연결을 제거해 크기와 연산량을 줄인다.
- Magnitude-based pruning: 값이 가장 작은 가중치부터 제거하는 가장 직관적인 방법
- 구조적(Structured): 채널 · 레이어 단위로 묶어서 제거
- 비구조적(Unstructured): 위치와 상관없이 개별 가중치만 제거
- 인덱싱 데이터: 살아남은 가중치의 위치를 CSR 같은 형식으로 따로 기록해야 한다. 그래서 sparsity가 아주 높을 때만 GPU에서 실질적인 가속 효과가 크다.
강의에서 소개한 효과는 이렇다.
| 모델 | 가지치기 한계 |
|---|---|
| CNN 등 이미지 모델 | 80% 이상 제거해도 정확도 하락 1~2% 내외인 경우가 있음 |
| LLM | 대체로 50% 이하가 한계, 최근에는 70% 이상에서도 가속 가능성이 제시됨 |
양자화를 끝까지 적용한 뒤 pruning을 얹어 압축률을 더 높이는 방식으로 활용한다.
4-3. 지식 증류 (Knowledge Distillation)#
큰 Teacher 모델의 지식을 작은 Student 모델로 옮겨 경량 모델의 성능을 높인다.
Total Loss = Student Loss + Distillation Loss
Student Loss : 정답(Ground truth)과 Student 예측의 차이
Distillation Loss : 같은 입력에 대한 Teacher와 Student 예측의 차이- 조교(Assistant) 모델: Teacher가 너무 크거나 Student가 너무 작아 학습이 비효율적일 때, 중간 크기의 모델을 사이에 둔다.
- LLM에서의 활용: 큰 LLM의 답변으로 합성 프롬프트-응답 데이터를 만들어 작은 LLM을 파인튜닝한다.
- 직접 학습한 작은 모델보다 증류한 작은 모델이 perplexity · accuracy가 좋아지는 경향이 확인되었다고 한다.
4-4. 하드웨어와의 궁합#
| 구분 | 기법 |
|---|---|
| GPU와 궁합이 좋음 | LoRA, QLoRA, 지식 증류, 제약이 있는(constrained/structured) 양자화, 구조적 pruning |
| GPU와 궁합이 낮음 | 공격적 · 혼합 정밀도 양자화, 비구조적 pruning |
공격적이고 특화된 경량화는 전용 AI 가속기(NPU)에서 효과가 나고, 모바일 · 임베디드 온디바이스 AI에서 중요하다. 최신 NVIDIA GPU는 FP32, TF32, BF16, FP16, FP8, FP6, NVFP4, INT8, INT4 등 다양한 정밀도를 지원하며, 테슬라 FSD 칩이나 삼성 갤럭시 온디바이스 AI에서도 INT8 양자화로 실시간 추론과 저전력을 구현한다고 소개되었다.
짚고 가기! 성능 저하 없는 압축은 불가능하다. 줄이고 싶은 지표가 크기인지, 속도인지, 전력인지에 따라 전략이 달라진다.
5. 파인튜닝과 PEFT: LoRA · QLoRA#
파인튜닝의 세 가지 접근#
이미 학습된 대형 모델을 도메인 데이터로 새 태스크에 맞추는 과정이 파인튜닝이다.
| 방식 | 내용 | 장단점 |
|---|---|---|
| Full fine-tuning | 모든 가중치 업데이트 | 성능은 높지만 비용 · 메모리 부담이 매우 큼 |
| Adapter layer | 기존 구조에 작은 모듈(MLP 등)을 추가하고 그 부분만 학습 | 파라미터 효율은 좋지만 추가 메모리 · 연산 필요 |
| Prompt tuning | 원본은 두고 임베딩 앞에 학습 가능한 토큰 추가 | 매우 가볍지만 표현력 제한 |
PEFT(Parameter-Efficient Fine-Tuning)는 전체 파라미터를 건드리지 않고 필요한 부분만 소규모로 업데이트하는 방법의 통칭이다.
LoRA (Low-Rank Adaptation)#
원본 가중치 W는 고정하고, 저차원 행렬 A, B만 추가로 학습한다.
W (d × d) 고정
ΔW = B · A B: d × r, A: r × d (r ≪ d)
출력 = W·x + ΔW·xd × d를 직접 학습하면 d²개의 파라미터가 필요하지만, 두 행렬만 학습하면 2dr개로 줄어든다. 예를 들어 d = 4096, r = 8이면 약 1,677만 개가 약 6만 5천 개로 줄어든다(위 식으로 계산한 값). 주로 트랜스포머 어텐션의 Query, Key, Value 연산에 붙인다.
QLoRA (Quantized LoRA)#
LoRA에 양자화를 더한다. 원본 모델은 4비트 등으로 압축해 고정하고, 어댑터만 BF16 같은 높은 정밀도로 학습한다. 성능은 거의 유지하면서 대형 모델을 훨씬 적은 메모리로 파인튜닝할 수 있다. 앞에서 정리한 양자화와 PEFT가 여기서 만난다.
실습 절차 (Unsloth 기반)#
- Base 모델과 토크나이저 로딩 (예: Gemma-3-2b-it)
- LoRA/QLoRA 설정: r, alpha, target_modules 지정
- 데이터셋 준비: System · User · Assistant 역할로 나눈 챗봇 Chat Format으로 가공
- 어댑터 학습과 저장: 어댑터 파라미터만 업데이트, 어댑터만 저장하거나 Merge해서 완성 모델로 저장
- 추론: 어댑터 + 베이스 모델 또는 병합 모델로 성능 확인
| 하이퍼파라미터 | 의미 |
|---|---|
| r (rank) | 저차원 행렬의 내부 크기. 클수록 표현력이 커지고 연산 비용도 증가 |
| alpha | 어댑터가 예측에 미치는 영향의 크기 |
최근 실무에서는 FP8 · FP4 같은 few-bit 양자화로 모델을 공격적으로 압축하고, 약간의 성능 저하는 감수하는 분위기가 커지고 있다고 한다.
개념 인사이트#
1. 양자화는 수 체계의 선택 문제다. 부동소수점의 지수와 가수 배분이 범위와 정밀도의 교환이라는 것을 알고 나니 FP16, BF16, FP8이 왜 따로 존재하는지, INT8로 가면 무엇을 포기하는지가 하나의 틀로 설명됐다. 양자화 기법 이름을 외우기 전에 이 바탕을 먼저 잡는 편이 낫다고 느꼈다.
2. 비용은 연산 종류와 비트 수에서 나온다. 덧셈보다 곱셈이, 곱셈보다 나눗셈이 비싸고, 비트가 늘수록 곱셈 · 나눗셈의 면적이 빠르게 커진다. 경량화는 "모델을 작게 만든다"가 아니라 비싼 연산을 싼 연산으로, 큰 숫자를 작은 숫자로 바꾸는 일이라고 정리했다.
3. 이론상 압축률과 실제 속도는 다르다. 비구조적 pruning은 숫자상 파라미터가 줄어도 인덱싱 데이터 때문에 GPU에서 느려질 수 있고, 공격적 양자화는 전용 가속기가 있어야 이득이 난다. 압축 기법을 고를 때는 어떤 하드웨어에서 돌릴 것인가가 먼저라는 점이 가장 실용적인 배움이었다.
4. 줄이는 기법과 다시 맞추는 기법은 짝이다. 양자화 · 가지치기 · 증류가 모델을 작게 만들면, LoRA · QLoRA는 그 모델을 싸게 내 데이터에 맞춘다. QLoRA는 이 둘을 한 번에 쓰는 사례다. 앞으로 작은 모델을 쓸 때 "어떻게 줄일까"와 "어떻게 맞출까"를 함께 설계해야겠다고 생각했다.
5. 직접 확인할 것. 이 노트는 개념 정리이고 직접 구현해 검증한 것은 아니다. 작은 모델로 QLoRA 파인튜닝을 해 보면서 r 값에 따른 학습 가능한 파라미터 수와 GPU 메모리 사용량을 직접 재 보고, 측정한 값으로 후속 글을 쓰려고 한다.