Skip to content

docs(ai): 양자화 연구 보강 — 누락 조건 재실행 + 판정자 예비 결과 - #239

Merged
i3months merged 1 commit into
devfrom
research/quant-judging
Sep 18, 2026
Merged

i3months merged 1 commit into
devfrom
research/quant-judging

Conversation

@i3months

Copy link
Copy Markdown
Member

변경 사항

PR #238 의 양자화 연구(RQ2) 후속. 누락 조건을 복구해 다시 측정하고, 규칙 지표가 구분하지 못한 구간을 블라인드 판정으로 확인했다.

누락 조건 복구

컨테이너 마운트 밖을 가리키는 심볼릭 링크 때문에 서버가 즉시 종료되던 조건들을 하드링크로 고쳐 재실행했다. Gemma E4B Q4_K_M 이 비트 곡선에 채워졌고, 26B 조건은 이틀에 걸쳐 두 번 독립 측정되어 측정 잡음 범위를 확인할 수 있게 됐다(점수 라벨 96.3% 동일, 지연 7.98초 대 8.00초).

판정자 예비 결과 (12/40 케이스)

후보 6종을 익명으로 섞어 3계열 판정자가 순서를 바꿔 채점. 같은 계열 판정자 제외 점수.

후보 종합 (5점) 95% CI
Gemma E4B Q8_0 3.56 [3.17, 3.90]
Gemma E4B Q3_K_M 3.06 [2.62, 3.54]
Qwen3 4B Q5_K_M 2.61 [2.06, 3.21]
Qwen3 4B Q3_K_M 2.38 [1.93, 2.85]
Qwen3 4B Q8_0 2.36 [1.75, 2.99]
  • Qwen3 4B 는 83비트에서 판정 점수 차이가 없다 (Wilcoxon p = 0.310.61). 규칙 지표와 같은 결론
  • Gemma E4B 는 8비트가 3비트보다 0.50점 높다 (p = 0.155). 규칙 지표로는 동일했던 두 조건이라 40케이스 전체 확인이 필요
  • 같은 계열 편향 재현 (Google 판정자가 Gemma 후보에 +0.08)

미완 사항

게이트웨이 채점 키 크레딧이 소진되어 40케이스 중 12케이스에서 중단됐다(240회 중 77회 성공). 운영 키는 별도이며 영향 없음을 호출로 확인했다. 새 키 확보 후 나머지 163회를 이어서 돌린다.

확인 사항

  • 문서와 원자료만 추가, 서비스 코드 변경 없음

🤖 Generated with Claude Code

- 심볼릭 링크 끊김으로 빠졌던 조건 복구, 26B 독립 재현으로 측정 잡음 범위 확인
- 블라인드 판정 예비: Qwen3 4B 는 8~3비트 차이 없음(p=0.31~0.61), Gemma E4B 는 Q8 이 Q3 보다 +0.50 (p=0.155, 12케이스)
- 채점 키 크레딧 소진으로 40케이스 중 12케이스만 완료
@i3months
i3months merged commit 1eb5b03 into dev Sep 18, 2026
5 checks passed
@i3months
i3months deleted the research/quant-judging branch September 18, 2026 01:42
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant