본문으로 건너뛰기
STUDY LAB
AILV.2

250팀에서 36등을 할 수 있었던 이유, 그리고 1등은 할 수 없었을까

SSAFY 내부 AI Challenge(이미지 기반 객관식 VQA)에서 Qwen3.5-35B-A3B LoRA로 Private 0.97408, 250팀 중 36위를 기록하기까지의 전략과 1등과의 거리를 회고했습니다.

9분 읽기

SSAFY 안에서 열린 AI Challenge가 끝났다. 이미지 한 장과 질문, 보기 네 개가 주어지면 정답을 a / b / c / d 중 하나로 고르는 객관식 VQA 대회였고, 평가는 Accuracy였다. 팀 민균단으로 참가해 Google Colab에서 실험을 돌렸다.

최종 결과는 Private 0.97408, 250팀 중 36위. 첫 제출 0.95650에서 시작했고, 소속 반 안에서는 1위였다. 전체에서 36위라는 숫자를 보고 두 가지 질문이 남았다. 무엇이 이만큼 올려줬는가, 그리고 1등까지는 왜 가지 못했는가. 이 글은 그 두 질문에 대한 정리다.

첫 제출 0.95650에서 최종 Public 0.96784, Private 0.97408까지의 리더보드 정확도 변화
제출 단계별 Public LB 점수와 최종 Private 점수
단계점수비고
첫 제출0.95650Public LB
35B LoRA0.96365목표 정렬 · 선택지 셔플 적용
모델 기반 blend0.96723불일치 구간만 조정
최종 제출0.96784Public LB
최종 순위 기준0.97408Private LB · 250팀 중 36위

시작 전에 정한 것: 성능보다 룰의 경계선#

점수를 올리는 이야기보다 먼저 정한 건 어디까지가 허용된 최적화인가였다. 대회가 길어지면 "조금만 더 공격적으로 튜닝해보자"는 말이 나오는데, 이 말이 어느 순간 "테스트 이미지를 보고 애매한 문제를 손으로 고치자"로 미끄러지기 쉽다. 그래서 처음부터 선을 문서로 고정했다.

적극적으로 한 것하지 않은 것
Hugging Face 사전학습 VQA 모델 사용API 호출 응답을 이용한 추론
제공 데이터로 Fine-tuning / LoRA테스트 데이터 사전 접근 · Leakage
프롬프트 엔지니어링, 데이터 증강테스트 이미지를 사람이 보고 정답 수정
모델 출력끼리의 앙상블 · 블렌딩팀 밖 비공개 코드 · 데이터 사용
고정 Holdout 기반 체크포인트 선택재현 불가능한 수동 제출 편집

이후 "공격적 튜닝"이라는 말은 사람이 테스트를 푸는 것이 아니라, 검증된 모델 기반 후처리를 더 과감하게 적용하는 것으로만 썼다. 이 정의가 뒤에서 블렌딩 범위를 정할 때 기준이 됐다.

36등을 할 수 있었던 이유#

35B VQA, 목표 정렬, 강건성, 검증, 후처리로 이어지는 5단계 파이프라인
모델 크기보다 파이프라인을 평가 방식에 맞추는 데 집중했다

돌아보면 특별한 비법 하나가 아니라, 평가 목표 → 학습 목표 → 검증 → 제출이 끊기지 않게 맞춘 것이 컸다. 하나씩 정리한다.

1. 학습 목표를 평가 목표와 똑같이 만들었다#

리더보드가 보는 건 정답 문자 하나다. 그런데 일반적인 instruction tuning은 프롬프트와 응답 전체에 loss를 건다. 모델이 "문장을 잘 쓰는 법"까지 같이 배우게 되는 셈이다.

그래서 정답 토큰 하나에만 loss를 걸었다. 이미지·질문·보기 토큰은 전부 -100으로 마스킹하고, 마지막 a / b / c / d 위치만 학습 대상으로 남겼다.

python
# 프롬프트/이미지/보기 토큰은 loss에서 제외하고, 정답 토큰 위치만 남긴다
labels = torch.full_like(input_ids, -100)
labels[answer_index] = input_ids[answer_index]

추론도 같은 원리로 바꿨다. 처음에는 모델이 Answer: b 같은 문장을 생성하게 하고 파싱했는데, 이러면 형식이 조금만 어긋나도 오답이 된다. 생성 대신 다음 토큰 분포에서 네 후보의 확률만 직접 비교했다.

python
choice_ids = [tokenizer.encode(c, add_special_tokens=False)[0] for c in "abcd"]
 
with torch.no_grad():
    next_token_logits = model(**inputs).logits[:, -1, :]
 
probs = next_token_logits[:, choice_ids].softmax(dim=-1)  # P(a), P(b), P(c), P(d)
pred = "abcd"[probs.argmax(dim=-1).item()]

이렇게 하면 생성 형식 오류와 파싱 변수가 사라지고, 모델이 실제로 어느 보기에 얼마나 확신하는지가 그대로 남는다. 이 확률이 뒤에서 블렌딩의 재료가 됐다.

2. "b가 자주 정답" 같은 지름길을 막았다#

객관식 데이터에는 정답 위치가 한쪽으로 쏠리는 경향이 생기기 쉽다. 모델이 이미지를 보지 않고 위치 패턴으로 맞히기 시작하면, 분포가 조금만 달라져도 점수가 흔들린다.

학습 데이터에서만 보기 순서를 섞고 정답 라벨도 함께 옮겼다. 검증·테스트 데이터는 건드리지 않았다.

python
perm = random.sample(range(4), 4)                 # 예: [2, 0, 3, 1]
shuffled = [options[i] for i in perm]             # 원래 c, a, d, b 순서로 재배치
new_answer = "abcd"[perm.index("abcd".index(answer))]  # 정답 라벨도 같이 이동

3. 35B 모델을 "전부" 학습하지 않았다#

모델은 Qwen3.5-35B-A3B를 썼다. 전체 35B지만 토큰당 활성 파라미터는 약 3B인 MoE 구조다. Vision encoder와 MoE expert는 고정하고, 언어 모델의 attention projection에만 LoRA를 붙였다. 실제로 학습한 파라미터는 전체의 0.0463%다.

항목설정
Train / Val(Holdout) / Test5,714 / 1,000 / 6,714
Epoch / LR2 / 5e-5
Batch / Grad Accum1 / 16
LoRA r / α / dropout16 / 32 / 0.05
PrecisionBF16, 양자화 없음
소요 시간학습 221.6분 · 추론 34.2분

"큰 모델 + 작은 학습 범위" 조합 덕분에 Colab 환경에서도 35B급 모델을 다룰 수 있었다. 대신 실험 한 번이 4시간 가까이 걸린다는 제약이 생겼고, 이게 뒤에서 1등과의 거리를 설명하는 가장 큰 이유가 된다.

4. 작은 검증셋의 최고점을 믿지 않았다#

학습 중간에 작은 검증셋으로 체크포인트를 확인하면 Step 200이 0.980으로 가장 좋아 보였다. 그대로 골랐다면 초반 체크포인트를 제출했을 것이다.

소규모 검증에서는 Step 200이 0.980으로 최고였지만 전체 Holdout 1,000개에서는 last 체크포인트가 0.967로 더 높았다
평가 표본을 1,000개로 늘리자 체크포인트 순서가 뒤집혔다

고정된 Holdout 1,000개 전체로 다시 평가하자 결과가 달라졌다. 소규모 검증에서 고른 best는 0.966, 마지막 체크포인트는 0.967이었다. 차이는 작지만 순서가 뒤집혔다는 게 중요했다. 작은 표본의 최고점은 운일 수 있다는 걸 숫자로 확인한 뒤로는, 모든 선택을 전체 Holdout 기준으로만 했다.

5. 블렌딩은 전체가 아니라 불일치 구간만 건드렸다#

마지막 개선은 35B 모델과 8B급 보조 모델의 출력을 섞는 블렌딩이었다. 두 모델의 선택지 확률을 가중합해 다시 고르는 방식이다.

python
p_blend = w_35b * p_35b + w_8b * p_8b   # 각 행의 P(a~d)를 가중합
pred = "abcd"[p_blend.argmax()]

기본 조합(submission_35b060_8bv3_040, 35B 0.60 : 8B 0.40)에서 가중치를 더 과감하게 바꾼 후보 두 개를 만들고, 기본 조합 대비 예측이 바뀌는 행이 몇 개인지부터 셌다.

Aggressive 40:60은 64개, 30:70은 65개 행만 바뀌었고 두 후보끼리는 15개만 달랐다
6,714개 중 1% 미만만 바뀌도록 범위를 제한했다

두 후보 모두 전체의 1%도 바꾸지 않았고, 두 후보끼리는 15개(0.22%)만 달랐다. 블렌딩이 원래 모델끼리 의견이 갈리던 좁은 구간에서만 작동한다는 뜻이다. 전체 결과를 흔드는 대신 위험을 그 구간에 가뒀고, 가중치는 Holdout에서 검증한 범위 안에서만 골랐다.

6. 좋아 보여도 검증에서 떨어지면 버렸다#

공격적인 실험과 공격적인 제출은 분리했다. 실험은 넓게 하되, 제출에는 검증을 통과한 것만 남겼다.

유지한 것버리거나 보류한 것
정답 한 토큰 lossOption-order ensemble — 0.980 → 0.970으로 하락해 제외
선택지 셔플 + 라벨 재매핑이미지 증강 — 효과를 분리 검증하기 전이라 성과로 쓰지 않음
Direct logits 비교LR · LoRA rank 변경 — 한 변수씩 비교할 시간이 부족
전체 1,000개로 체크포인트 재평가수동 test 검토 기반 수정 — 규정상 사용하지 않음
재시작 가능한 추론 · ID 누락 검사

특히 option-order ensemble은 "보기 순서를 바꿔 여러 번 추론하고 평균 내면 더 안정적이겠지"라는 직관으로 시작했는데, 오히려 점수가 떨어졌다. 감으로는 좋아 보이는 기법이 검증에서 떨어지는 걸 본 경험이 이후 판단을 훨씬 보수적으로 만들었다.

Public보다 Private이 높았던 것에 대해#

최종 Public은 0.96784, Private은 0.97408이었다. 테스트 분할이 달라서 생긴 차이일 수 있으니 이걸 전략의 성과로 단정하지는 않는다. 다만 적어도 Public 점수에 맞춰 고른 제출은 아니었다는 점은 말할 수 있다. 체크포인트도, 블렌딩 가중치도 Holdout 기준으로 골랐기 때문에 Public 순위가 흔들릴 때마다 제출을 바꾸지 않았다.

1등을 할 수는 없었을까#

솔직한 답은 지금 방식 그대로는 어려웠다다. 점수표를 다시 보면서 부족했던 부분을 정리하면 이렇다.

실험 한 번의 비용이 너무 컸다. 학습 221.6분과 추론 34.2분을 더하면 한 번에 4시간이 넘는다. 하루에 의미 있게 비교할 수 있는 실험이 몇 개 안 됐고, 결국 LR과 LoRA rank는 사실상 한 조합만 써봤다. 상위권과의 차이는 기법 하나보다 같은 시간 안에 몇 번 검증하고 버릴 수 있었는가에서 벌어졌을 가능성이 크다.

오답을 들여다보지 않았다. Holdout에서 틀린 문제가 글자 읽기(OCR)인지, 개수 세기인지, 위치 관계인지, 작은 디테일인지 나눠보지 않았다. 약점을 모르니 개선도 "전체 점수를 조금 더 올리는" 방향으로만 갔다.

모델 다양성이 부족했다. 블렌딩에 쓴 건 35B와 8B 두 계열뿐이었다. 오류 패턴이 다른 모델이 더 있었다면 의견이 갈리는 구간에서 고를 근거가 더 많았을 것이다.

불확실한 행에만 계산을 더 쓰지 못했다. 확률이 애매한 행만 골라 추가 추론이나 앙상블을 돌리는 방식(low-confidence routing)은 아이디어로만 남았다.

여러 변경의 기여도를 분리하지 못했다. 0.96365에서 0.96723으로 오를 때 여러 변경이 함께 들어가서, 무엇이 얼마나 효과가 있었는지 정확히 말할 수 없다. 그래서 이 글에서도 개별 기법의 기여도를 숫자로 나누지 않았다.

다음에 같은 대회를 한다면 이 순서로 시도할 것이다.

  1. Error taxonomy — Holdout 오답을 OCR · count · spatial · fine-detail로 분류하고 약점부터 공략
  2. Hyperparameter sweep — LR 3e-5 / 5e-5 / 8e-5, LoRA rank 8 / 16을 같은 Holdout에서 한 변수씩 비교
  3. Low-confidence routing — confidence가 낮은 행에만 추가 추론 · 앙상블을 적용해 비용과 변동을 제한
  4. Model diversity — 오류 패턴이 다른 모델을 더해 soft voting · disagreement routing

회고#

Keep

  • 룰의 경계를 먼저 문서로 고정하고, "공격적 튜닝"의 의미를 좁게 정의한 것
  • 학습 목표와 추론 방식을 평가 방식(정답 한 글자)에 맞춘 것
  • 리더보드보다 Holdout 결과를 우선한 것, 그리고 떨어진 실험을 미련 없이 버린 것
  • 재시작 가능한 추론과 ID 누락 검사로 제출 파일을 재현 가능하게 만든 것

Problem

  • 실험 한 번이 4시간이라 비교 횟수가 절대적으로 부족했다
  • 오답 분석 없이 전체 점수만 보고 방향을 정했다
  • 여러 변경을 한 번에 넣어 기여도를 분리하지 못했다

Try

  • 실험마다 config · seed · checkpoint · Holdout 점수를 한 줄로 남기는 실험 로그를 처음부터 만든다
  • 큰 실험 전에 작은 모델로 방향을 먼저 거른다
  • 한 번에 한 변수만 바꾼다

마치며#

36등이라는 숫자보다 남은 건 "왜 이 제출을 골랐는지 설명할 수 있는 파이프라인"이다. 더 센 꼼수가 아니라, 더 정확한 목표 정렬과 검증, 그리고 제한된 후처리. 1등과의 거리는 기법의 차이보다 검증을 몇 번 돌릴 수 있었는지의 차이였다고 생각한다. 다음에는 그 반복 속도부터 설계하고 시작할 것이다.

End of article· 끝까지 읽으면+9 xp

Comments

질문이나 다른 의견이 있다면 남겨주세요. 함께 고민한 내용은 글에 반영합니다.

GitHub으로 의견 남기기