docs(ai): LLM 제공자 검토 보고서 + 후보 모델 평가 하네스

[i3months]

작업 내용

• docs/research/llm-provider-evaluation-2026-09.md — 2026-09-21 회의 안건용 보고서 (결론 · 블라인드 품질 · 형식 준수 · 지연 · 비용 · 결정 사항 · 한계)
• ai/scripts/llm_eval/ — 운영 체인 그대로 후보 모델을 비교하는 평가 하네스 (케이스 · 실행 · 자동 지표 · 2개 계열 판정자 블라인드 채점)
• docs/research/llm-eval-2026-09/ — 자동 지표 요약, 판정 결과, 합성 케이스 원시 출력, GPU 적재 로그
• feat(ai): LLM 티어별(Pro/Flash) 엔드포인트 오버라이드 + 모델 비교 벤치 스크립트 #234 의 단일 케이스 ai/scripts/llm_bench.py 는 하네스로 대체되어 삭제

요약

• 운영은 현재 게이트웨이 Gemini 유지. 꼬리질문 품질 4.0(Claude 판정)·2.0초, 코칭 15건 동시 처리 11초
• ana-server GPU(6GB) 로컬 LLM 전환 비권장. 로컬 최고 품질 2.7, 피드백 fan-out 중 다른 사용자 꼬리질문 33~111초, GPU 간헐 인식 실패 시 무경고 CPU 폴백, 기본 num_ctx 4096 절단
• Plan B 후보: Gemma 4 31B(품질 Gemini 동급·꼬리질문 9초), Solar Pro 4(2.3초·장황/정답 누설 보정 필요), gpt-oss-120b(추론 불가피·max_tokens 상향 필요)
• Kimi: 로컬 불가, API 는 Gemini 이상 가격. Qwen·Kimi·DeepSeek API 는 키가 없어 미실측

테스트

• flake8 / black (ai/)
• 운영 AI 컨테이너에서 하네스 전체 실행 (게이트웨이 6개 + 로컬 5개 모델, 판정 44건 오류 0)

영향 범위

• DB 마이그레이션: 없음
• API contract 변경: 없음
• 환경변수 추가/변경: 없음
• 런타임 코드 변경 없음 (스크립트·문서만)

리뷰어 체크포인트

• auto-metrics-summary.json 의 gpt-oss-120b 꼬리질문 값은 운영 max_tokens 512 기준. 2048 재측정값은 raw/gw-gpt-oss-120b-mt2048.jsonl 및 보고서 표에 반영
• 판정자 계열 편향(Gemini 판정자가 Google 계열에 +0.4~0.9) — 보고서는 Claude 판정 우선

🤖 Generated with Claude Code