docs(ai): 26B-A4B 3비트 조건 추가 — 저비트 내성의 모델 크기 의존성

[i3months]

변경 사항

양자화 연구(RQ2)의 마지막 결측 조건을 채웠다. Gemma 4 26B-A4B 를 3비트로 돌려 2비트 결과와 비교했다.

조건	태그 형식	답변 의도	점수 라벨	사실대조	질문 풀	지연 중앙값
26B-A4B UD-IQ3_S	100%	95.0%	96.3%	96.3%	100%	8.44s
26B-A4B UD-IQ2_M	100%	92.5%	96.3%	96.2%	100%	7.98s

• 26B 는 3비트와 2비트 사이에서 품질이 유지된다. 4B 가 2비트에서 완전히 붕괴한 것과 대비되며, 저비트 내성이 모델 크기에 의존함을 한국어 면접 과제에서 확인했다
• 실무 함의: 같은 메모리 예산에서 큰 모델을 더 강하게 줄이는 선택이 유리하다. 단 이 GPU 에서는 전문가 계층 CPU 오프로드 때문에 지연이 8초대로 고정되어 대화형 면접에는 부적합
• 26B UD-Q3_K_M(12.7 GB)은 연산 버퍼 할당 실패로 실행 불가, 하드웨어 한계로 기록

확인 사항

• 문서와 원자료만 추가, 서비스 코드 변경 없음

🤖 Generated with Claude Code