docs(ai): 양자화 연구 보강 — 누락 조건 재실행 + 판정자 예비 결과 - #239
Merged
Merged
Conversation
- 심볼릭 링크 끊김으로 빠졌던 조건 복구, 26B 독립 재현으로 측정 잡음 범위 확인 - 블라인드 판정 예비: Qwen3 4B 는 8~3비트 차이 없음(p=0.31~0.61), Gemma E4B 는 Q8 이 Q3 보다 +0.50 (p=0.155, 12케이스) - 채점 키 크레딧 소진으로 40케이스 중 12케이스만 완료
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
변경 사항
PR #238 의 양자화 연구(RQ2) 후속. 누락 조건을 복구해 다시 측정하고, 규칙 지표가 구분하지 못한 구간을 블라인드 판정으로 확인했다.
누락 조건 복구
컨테이너 마운트 밖을 가리키는 심볼릭 링크 때문에 서버가 즉시 종료되던 조건들을 하드링크로 고쳐 재실행했다. Gemma E4B Q4_K_M 이 비트 곡선에 채워졌고, 26B 조건은 이틀에 걸쳐 두 번 독립 측정되어 측정 잡음 범위를 확인할 수 있게 됐다(점수 라벨 96.3% 동일, 지연 7.98초 대 8.00초).
판정자 예비 결과 (12/40 케이스)
후보 6종을 익명으로 섞어 3계열 판정자가 순서를 바꿔 채점. 같은 계열 판정자 제외 점수.
3비트에서 판정 점수 차이가 없다 (Wilcoxon p = 0.310.61). 규칙 지표와 같은 결론미완 사항
게이트웨이 채점 키 크레딧이 소진되어 40케이스 중 12케이스에서 중단됐다(240회 중 77회 성공). 운영 키는 별도이며 영향 없음을 호출로 확인했다. 새 키 확보 후 나머지 163회를 이어서 돌린다.
확인 사항
🤖 Generated with Claude Code