From 5351ba77b8eba1dfedf374b512fd9cbbeedfb4ce Mon Sep 17 00:00:00 2001 From: midagedev Date: Thu, 27 Aug 2026 21:12:07 +0900 Subject: [PATCH] Add learning-science references to AUTHORING.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit §0 설계 근거 표의 주장 6건과 §3 금지 사항에 1차 문헌 8종을 달았다(§9 근거 문헌 신설). 전부 이 세션에서 실재와 내용 일치를 확인한 것만 실었고, 페이지 번호는 확인된 것만 적었다. 달다가 발견한 불일치 하나를 함께 고쳤다: "교정 피드백은 오류 직후에 줄 때 가장 효과가 크다"는 인용하려던 Butler & Roediger (2008)의 실제 결과(지연 피드백도 즉시 못지않게 효과적)와 달라서, 근거가 실제로 말하는 것(피드백이 오답 노출의 부작용을 제거한다)으로 표의 두 행을 다시 썼다. README의 같은 표도 일치시켰다. Co-Authored-By: Claude Fable 5 --- AUTHORING.md | 31 ++++++++++++++++++++++++------- README.md | 6 +++--- 2 files changed, 27 insertions(+), 10 deletions(-) diff --git a/AUTHORING.md b/AUTHORING.md index 94b1459..4e5cc22 100644 --- a/AUTHORING.md +++ b/AUTHORING.md @@ -10,12 +10,12 @@ | 결정 | 근거 | |---|---| -| 객관식 4지선다 | 단답형과 비교해도 최종 파지의 차이는 작다(Smith & Karpicke, 4개 실험 종합 d=0.07). 형식보다 **인출 성공률**이 중요하고, 웹에서는 채점 가능성과 이탈률이 형식을 결정한다 | -| 보기 4개 (오답 3개) | 기능하는 오답이 2~3개일 때 문항 난이도와 변별력이 가장 좋다. 5지선다는 이득 없이 저작 비용만 올린다 | -| 오답은 실제 오개념에서 | 정답과 의미적으로 경쟁하는 오답(competitive distractor)이라야 깊은 처리가 일어난다. 무작위 오답은 재인 훈련에 그친다 | -| 확신도 입력 | 확신했는데 틀린 오류가 가장 강하게 교정된다(hypercorrection). 기제가 *놀람*이므로 즉시 피드백이 있어야 작동한다 | -| 즉시 해설 + 오답별 해설 | 교정 피드백은 오류 직후에 줄 때 가장 효과가 크다 | -| 오답 재도전 라운드 | 피드백 직후 한 번 더 테스트하지 않으면 교정된 오류가 시간이 지나 되돌아온다 | +| 객관식 4지선다 | 단답형과 비교해도 최종 파지의 차이는 작다(Smith & Karpicke, 4개 실험 종합 d=0.07 [1]). 형식보다 **인출 성공률**이 중요하고, 웹에서는 채점 가능성과 이탈률이 형식을 결정한다 | +| 보기 4개 (오답 3개) | 기능하는 오답이 2~3개일 때 문항 난이도와 변별력이 가장 좋다. 5지선다는 이득 없이 저작 비용만 올린다 [2] | +| 오답은 실제 오개념에서 | 정답과 의미적으로 경쟁하는 오답(competitive distractor)이라야 깊은 처리가 일어난다. 무작위 오답은 재인 훈련에 그친다 [3] | +| 확신도 입력 | 확신했는데 틀린 오류가 가장 강하게 교정된다(hypercorrection). 기제가 *놀람*이므로 즉시 피드백이 있어야 작동한다 [4][5] | +| 즉시 해설 + 오답별 해설 | 객관식은 오답 보기에 노출시키는 대가로 오개념을 심을 수 있는데, 정답 확인 피드백이 그 부작용을 없애면서 파지 이득은 키운다 [6]. 세션이 끝나면 재접촉이 없는 웹 퀴즈에서는 해설을 줄 수 있는 시점이 즉시뿐이다 | +| 오답 재도전 라운드 | 교정에 성공한 오류도 일주일 뒤에는 되돌아오고, 확신이 높았던 오답일수록 더 잘 되돌아온다 [7]. 그래서 같은 세션 안에서 한 번 더 인출시킨다 | --- @@ -105,7 +105,7 @@ ## 3. 금지 사항: 시험 요령으로 풀리게 만드는 것들 -1~8번은 `tools/validate.mjs`가 기계적으로 검사한다. 9~11번은 블라인드 감사(§6.2)에서 +1~8번은 문항 저작 가이드라인 연구가 80년치 문헌에서 정리한 규칙과 겹치고 [8], `tools/validate.mjs`가 기계적으로 검사한다. 9~11번은 블라인드 감사(§6.2)에서 실측으로 드러난 것이고, **9·10번은 기계로 검사되지 않는다.** 검사를 구현해서 측정해 봤지만 지목군과 대조군의 분포가 분리되지 않았다(실측 기록은 `tools/validate.mjs` 상단 주석). 11번은 절반만 검사된다(전제를 부정하는 오답은 검출되지만, 오답이 결함을 서술하는지는 검출되지 않는다). @@ -252,3 +252,20 @@ 4. PR에 **각 오답이 어느 오개념에서 왔는지** 한 줄씩 적는다. 오답의 출처를 설명하지 못하는 PR은 병합하지 않는다. + +--- + +## 9. 근거 문헌 + +§0 표와 §3의 근거다. 이 문서의 다른 인용과 같은 기준을 적용한다: 문서가 주장을 실제로 +뒷받침하는 것만 싣고, 전해 들은 요약은 싣지 않는다. 링크는 DOI 를 쓴다. 일부 출판사는 +자동화 요청에 403 을 주지만(check-links 의 봇 차단 규칙과 같은 부류), 브라우저에서는 열린다. + +1. Smith, M. A., & Karpicke, J. D. (2014). Retrieval practice with short-answer, multiple-choice, and hybrid tests. *Memory*, 22(7), 784–802. +2. Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. *Educational Measurement: Issues and Practice*, 24(2), 3–13. +3. Little, J. L., Bjork, E. L., Bjork, R. A., & Angello, G. (2012). Multiple-choice tests exonerated, at least of some charges: Fostering test-induced learning and avoiding test-induced forgetting. *Psychological Science*, 23(11). +4. Butterfield, B., & Metcalfe, J. (2001). Errors committed with high confidence are hypercorrected. *Journal of Experimental Psychology: Learning, Memory, and Cognition*, 27(6), 1491–1494. +5. Metcalfe, J. (2017). Learning from errors. *Annual Review of Psychology*, 68. +6. Butler, A. C., & Roediger, H. L. (2008). Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. *Memory & Cognition*, 36(3), 604–616. +7. Butler, A. C., Fazio, L. K., & Marsh, E. J. (2011). The hypercorrection effect persists over a week, but high-confidence errors return. *Psychonomic Bulletin & Review*, 18(6). +8. Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. *Applied Measurement in Education*, 15(3). diff --git a/README.md b/README.md index bfe71a5..37e5364 100644 --- a/README.md +++ b/README.md @@ -46,13 +46,13 @@ cachehit은 그 문제를 설계 단계에서 막았습니다. | 보기 4개 (오답 3개) | 기능하는 오답이 2~3개일 때 난이도와 변별력이 가장 좋다 | | **확신도 입력** | 확신했는데 틀린 오류가 가장 강하게 교정된다 (hypercorrection). 결과 화면에서 그 문항을 따로 모아 보여준다 | | **"모르겠음"이 아니라 "찍었어요"** | 건너뛰기 버튼은 인출 시도를 없앤다. 실패한 인출도 이후 학습을 향상시키고, 즉시 교정 피드백이 있으면 추측 때문에 오답이 기억에 남을 위험은 거의 사라진다. 그래서 답은 반드시 고르게 하고 찍었음을 신고받는다. 결과에서 **찍어서 맞은 문항**을 따로 모으고, 점수도 그것을 뺀 값을 나란히 보여준다 | -| **즉시 해설 + 오답별 해설** | 교정 피드백은 오류 직후에 줄 때 효과가 가장 크다. 정답 이유뿐 아니라 *당신이 고른 답이 왜 틀렸는지*를 보여준다 | -| **약한 문항 재도전** | 피드백 직후 한 번 더 인출하지 않으면 교정된 오류가 되돌아온다. 대상은 틀린 문항 + 찍어서 맞은 문항 | +| **즉시 해설 + 오답별 해설** | 객관식의 오답 노출은 해설 없이 두면 오개념을 심을 수 있고, 정답 확인 피드백이 그 부작용을 없애면서 파지 이득은 키운다. 정답 이유뿐 아니라 *당신이 고른 답이 왜 틀렸는지*를 보여준다 | +| **약한 문항 재도전** | 교정에 성공한 오류도 시간이 지나면 되돌아오므로, 같은 세션 안에서 한 번 더 인출시킨다. 대상은 틀린 문항 + 찍어서 맞은 문항 | | **10문항 / 20문항 선택** | 한 라운드를 끝까지 마치는 것이 중요하다. 기본은 10문항이다. 짧게 끝내고 한 번 더 하는 편이, 긴 라운드를 중간에 그만두는 것보다 낫다 | | **원문 링크** | 해설에서 바로 원문으로 넘어갈 수 있어야 퀴즈가 학습의 입구가 된다. 149문항 중 147문항에 링크가 붙는다 (나머지 둘은 근거가 유료 ISO 표준이라 공개 링크가 없다) | | **문항 복사** | 채점된 문항을 보기·정답·오답 해설·원문 링크까지 마크다운으로 복사한다. 마지막 줄에 무엇을 물어볼지까지 적혀 있어, Claude 같은 도구에 붙여넣으면 그 자리에서 더 파고들 수 있다 | -자세한 규약: [AUTHORING.md](AUTHORING.md) +자세한 규약과 근거 문헌 목록: [AUTHORING.md](AUTHORING.md) (§0 설계의 근거, §9 근거 문헌) ## 다루는 범위