서울대학교 데이터사이언스대학 김형신 교수님의 강의를 듣고 정리한 개념 노트다. 강의는 네 갈래로 이어졌는데, 듣다 보니 질문이 하나로 모였다.
"모델을 더 크게 만들지 않고, 현실에서 잘 동작하는 AI를 만들려면 무엇을 바꿔야 할까?"
| # | 주제 | 바꾸는 대상 |
|---|---|---|
| 1 | 도메인 지식 주입 (수면 무호흡증 진단) | 풀어야 할 문제(타깃) |
| 2 | 적응적 센싱 | 모델에 들어가는 입력(센서) |
| 3 | 테스트 타임 적응 (TTA) | 배포 후 모델의 일부 파라미터 |
| 4 | 100% 정수연산 양자화 | 모델이 돌아가는 연산 방식 |
문제 정의 → 입력 → 모델 → 하드웨어 순서로 놓고 보니 강의가 하나의 흐름으로 읽혔다. 아래는 그 순서대로 정리한 내용이다. 수치와 사례는 모두 강의에서 소개된 내용이며, 내가 직접 측정한 값이 아니다.
1. 도메인 지식 — 타깃을 바꾸면 모델이 가벼워진다#
왜 도메인 지식인가#
특정 분야에 AI를 적용할 때는 그 분야 전문가들이 쌓아온 규칙과 통찰을 데이터 해석과 모델 설계에 넣어야 한다. 강의에서 든 예는 CNN이다. 사람의 시각이 가진 공간 국소성과 위치 불변성에서 출발해 구조가 설계되었다.
배경: 수면 진단의 한계#
수면의학의 표준 검사는 수면다원검사(PSG)다. 센서를 여러 개 붙여 EEG · EOG · EMG 같은 생체신호를 수집하고, 수면기사가 30초(에폭) 단위로 파형을 보고 수면 단계를 판정한다.
- 센서가 불편하고 인력이 많이 들어 비용과 시간 부담이 크다
- 채점 정확도 한계(강의에서는 82% 정도로 언급), 장소 제약, 평소와 다른 환경 때문에 생기는 첫날 밤 효과
수면 무호흡증은 수면 중 기도가 막혀 호흡이 멈추는 질환이고, AHI(Apnea-Hypopnea Index)로 평가한다. 센서 기반 진단은 환자의 불편과 프라이버시 문제가 있어 적외선(IR) 카메라로 촬영해 움직임만 분석하는 비접촉 방식이 시도되었다.
문제: 자는 사람은 거의 움직이지 않는다#
영상 기반의 가장 큰 어려움은 무호흡/저호흡(AH) 이벤트 자체가 미세하고 드문 움직임이라는 점이다. 이걸 곧바로 감지하려면 모델도 무겁고 연산도 많이 든다.
해법: 감지 대상을 바꾼다#
도메인 지식에서 나온 전환이 핵심이다.
핵심 포인트! 기도가 오래 막혔다가 다시 열릴 때 몸은 크게 뒤척인다. 이 호흡 각성(Respiratory Arousal, RA)은 짧지만 크고 뚜렷한 움직임이다. 어려운 AH를 직접 찾는 대신 눈에 띄는 RA를 먼저 찾고, 그 앞부분을 역추적해 AH를 추정한다.
RA와 단순 뒤척임(자발적 각성, SA)을 구분하는 것도 중요하다. 이때는 움직임 패턴, 특히 가슴 부위의 움직임 강도를 단서로 쓰도록 설계했다.
파이프라인#
- 수면 영상을 30초 클립으로 분할
- 클립마다 경량 비디오 모델(MoViNet)로 RA 이벤트 감지 (자세 · 위치도 함께 판별)
- 클립별 RA 빈도로 전체 AHI를 회귀로 추정
- 원본 영상은 클립 처리 후 삭제 → 프라이버시 보호
CPU만 쓰는 엣지 장비(Raspberry Pi, Jetson Nano 등)에서 30초마다 실시간 추론이 가능하고, 강의에서는 처리 시간이 기존 393초에서 16초로 줄었다고 소개했다. 영상은 카메라 안에서 처리하고 결과만 전송한다.
2. 적응적 센싱 — 모델 말고 센서를 바꾼다#
스케일링 법칙과 분포 이동#
초거대 AI는 파라미터가 많은 모델이다. 모델 크기 · 데이터 · 컴퓨팅이 커질수록 테스트 오류가 줄어드는 경향을 스케일링 법칙이라 부른다. 하지만 학습 때 본 세상과 실제 사용 환경이 다르면 성능이 급격히 떨어지는 분포 이동(distribution shift) 문제는 남는다. 만화 고양이만 학습한 모델이 실제 고양이 사진을 못 맞히는 식이다.
모든 경우의 수를 데이터로 담는 것은 불가능하고, 키우기만 하면 비용 · 데이터 고갈 · 환경 문제가 따른다. 조명 · 날씨 · 각도 변수가 많은 피지컬 AI(로봇 등)에서는 특히 심하다.
발상: 사람은 안경을 쓴다#
사람은 환경이 나쁘면 선글라스나 안경으로 입력을 보정한다. 뇌만 키우지 않고 감각기관을 상황에 맞게 조정한다. AI에게도 같은 방식을 적용하자는 것이 적응적 센싱(adaptive sensing)이다.
| 접근 | 방법 | 특징 |
|---|---|---|
| 모델 일반화 | 모델이 다양한 상황을 포괄하도록 학습 | 고비용, 시간이 오래 걸림 |
| 적응적 센싱 | 센서 파라미터를 조절해 입력을 모델이 잘 아는 영역으로 | 기존 모델 그대로 성능을 끌어올림 |
Lens — 대표 기법#
- 노출 · ISO 같은 센서 파라미터 후보를 여러 개 정한다
- 같은 장면을 파라미터별로 촬영한다
- 각 이미지를 모델에 넣어 신뢰도(confidence)를 측정한다
- 신뢰도가 가장 높은 이미지로 최종 추론한다
이 연구를 위해 같은 장면을 조도 · 노출 · 각도를 바꿔 반복 촬영한 데이터셋(ImageNet-ES, SenseShift6D)을 구축했다고 한다. 강의에서 소개한 결과 중 인상적이었던 것은, 작은 EfficientNet-B3에 Lens를 쓴 경우가 큰 OpenCLIP-h에 자동 노출(AE)을 쓴 경우보다 정확도가 높았다는 점이다.
짚고 가기! 모델이 잘 맞히는 이미지와 사람이 보기 좋은 이미지는 다를 수 있다. 최적의 센서 값은 모델 · 환경 · 피사체마다 달라서 실시간으로 동적 제어해야 한다.
3. TTA — 배포 후에 모델을 맞춘다#
개념#
학습 환경에서 성능이 좋아도 환경 · 장비 · 시간 · 노이즈가 바뀌면 떨어진다. 테스트 타임 적응(Test-Time Adaptation)은 모델을 새로 학습하지 않고, 테스트 시점에 들어오는 데이터만으로 모델의 일부를 현장에 맞추는 방법이다. 정답 라벨이 없어도 데이터 통계와 예측 엔트로피(불확실성)만 사용한다.
CNN 기반#
TENT
- 테스트 데이터로 BatchNorm의 평균(μ) · 분산(σ²)을 다시 계산한다
- 스케일(γ) · 시프트(β)는 예측 엔트로피를 줄이는 방향으로 역전파해 갱신한다
SAR
- 노이즈가 심한 샘플이 적응을 망치지 않도록 엔트로피가 낮은 신뢰도 높은 샘플만 업데이트에 쓴다(Entropy Filtering)
- 손실이 급변하지 않도록 평탄화해 적응을 안정시킨다
비전언어모델(VLM) 기반#
TPT (Test-time Prompt Tuning)
- 테스트 이미지를 여러 방식으로 증강한다
- 엔트로피가 낮은 증강본을 골라, 증강본들 사이의 예측이 일관되도록 텍스트 프롬프트를 갱신한다
PromptAlign
- 학습 때 이미지 인코더 각 계층의 통계(평균/분산)를 저장해 둔다
- 테스트 시 같은 통계를 계산해 차이를 줄인다(Alignment Loss)
- 엔트로피 손실과 함께 텍스트뿐 아니라 이미지 프롬프트까지 갱신한다
공통점#
| 항목 | 내용 |
|---|---|
| 라벨 | 필요 없음 |
| 사용하는 신호 | 데이터 통계, 예측 엔트로피 |
| 바꾸는 범위 | 정규화 계층이나 프롬프트 등 일부 |
| 재학습 | 하지 않음 |
4. 100% 정수연산 양자화 — 온디바이스에서 끝까지 정수로#
왜 온디바이스인가#
클라우드에 의존하는 초거대 모델은 네트워크나 서버 장애 시 서비스 전체가 멈춘다. 그래서 스마트폰 · IoT · 임베디드 기기에서 독립적으로 도는 온디바이스 AI가 주목받는다. CPU · GPU는 전력 효율의 한계(Power Wall)가 있어 NPU · TPU 같은 도메인 특화 AI 가속기가 중요해졌다.
- 하드웨어: Google Coral, Intel Movidius, NVIDIA Jetson, 모바일 SoC(Exynos, Snapdragon)
- 런타임: TensorFlow Lite, CoreML, ONNX Runtime, TensorRT
- 플랫폼 종속 문제는 ONNX 같은 표준 인터페이스로 완화
일반 양자화와 100% 정수연산의 차이#
AI 가속기는 대부분 정수 연산에 최적화되어 있다. 그런데 일반 양자화는 실수 r을 정수 q로 표현하더라도 스케일링 파라미터 S를 곱하는 과정에 실수 계산이 남는다. 이 실수 연산이 하나라도 남으면 가속기 효율을 다 쓰지 못한다. 100% 정수연산 양자화는 스케일링까지 포함해 추론 전체를 정수 연산만으로 만든다.
대표 기법#
행렬 곱 양자화
- 여러 실수 스케일(S₁, S₂, S₃)을 하나의 실수 M으로 묶는다
- M을 정수화하고 비트 시프트로 반영해 실수 연산을 없앤다
배치 정규화 폴딩(BN Folding)
- BN을 앞단 Conv 계층에 합쳐 하나의 계층으로 만든 뒤 양자화한다
- BN의 실수 연산이 정수 연산 안으로 들어온다
비전 트랜스포머
- Softmax · GELU · LayerNorm 같은 연산은 비트 시프트와 함수 근사로 정수화한다
개념 인사이트#
네 강의를 한 줄씩 줄이면 이렇다.
| 강의 | 한 줄 |
|---|---|
| 도메인 지식 | 어려운 문제를 직접 풀지 말고, 전문가의 관점으로 더 풀기 쉬운 문제로 바꾼다 |
| 적응적 센싱 | 모델이 입력에 맞추기 전에 입력을 모델에 맞춘다 |
| TTA | 배포 뒤 환경 변화는 재학습 없이 일부 파라미터만 맞춘다 |
| 정수 양자화 | 하드웨어가 잘하는 연산에 모델을 끝까지 맞춘다 |
1. 개선의 위치는 "모델 바깥"에도 있다. 나는 성능이 안 나오면 모델 크기와 데이터부터 생각하는 편이었다. 이번 강의에서 문제 정의(타깃), 입력(센서), 배포 후 적응, 연산 방식이 모두 성능과 효율의 레버라는 점을 배웠다. 수면 무호흡 사례에서 AH 대신 RA를 감지 대상으로 삼은 것은 모델을 한 줄도 건드리지 않고 문제의 난이도를 바꾼 경우였다.
2. 분포 이동은 한 군데서 막는 것이 아니라 단계별로 막는다. 적응적 센싱은 입력 단계에서 분포를 학습 영역으로 끌어오고, TTA는 모델 단계에서 통계를 다시 맞춘다. 둘은 경쟁 관계가 아니라 같은 문제를 다른 위치에서 푸는 방법이라 함께 쓸 수 있다고 이해했다.
3. 라벨 없이 쓸 수 있는 신호는 "신뢰도"다. Lens는 신뢰도가 높은 이미지를 고르고, SAR은 엔트로피가 낮은 샘플만 업데이트에 쓰고, TPT는 엔트로피가 낮은 증강본을 고른다. 정답이 없는 환경에서도 모델 스스로의 확신 정도가 선택 기준이 된다는 공통 패턴이 보였다. 다만 확신이 높다고 항상 맞는 것은 아니라는 점은 따로 확인해 봐야 할 부분이다.
4. 경량화는 사후 처리가 아니라 설계 조건이다. 도메인 지식으로 문제를 줄이고, 정수 양자화로 연산을 줄이면 CPU 기반 엣지에서도 실시간 추론이 가능해진다. 프라이버시 때문에 영상을 기기 안에서 처리하는 요구까지 생각하면, 온디바이스는 선택이 아니라 문제 정의 단계부터 들어와야 하는 제약이다.
5. 직접 해보면서 확인할 것. 이 노트는 강의 내용을 개념으로 정리한 것이고 직접 구현해 검증한 것은 아니다. 다음에는 작은 분류 모델에 TENT를 붙여 노이즈를 준 입력에서 정확도가 어떻게 달라지는지, 그리고 TFLite 정수 양자화 전후의 모델 크기와 지연 시간을 직접 재 보려고 한다. 그때 측정한 값으로 후속 글을 쓸 계획이다.