오답노트 작성법, 틀린 문제를 또 틀리는 이유
- 틀린 문제는 정답을 봐야 고쳐져요. 정답을 안 본 오답은 3%만 저절로 고쳐졌어요.
- 찍어서 맞힌 문제도 정답을 다시 안 보면 절반 넘게 사라졌어요(85% 대 40%).
- 정답을 한 번 본 오답은 6분 뒤 다시 풀면 86%가 고쳐져 있었지만, 일주일 뒤 다시 푼 사람들은 56%였어요.
- 확신하고 틀린 답은 가장 잘 고쳐지지만, 일주일 뒤 가장 잘 되돌아와요.
- 오답노트에는 찍어서 맞힌 문제까지 담고, 일주일 안에 답을 가리고 다시 풀어요.
오답노트가 효과를 내려면 두 가지가 있어야 해요. 틀린 문제의 정답을 바로 확인하고, 며칠 안에 답을 가리고 다시 풀어 보는 거예요. 실험에서 정답을 안 본 오답은 거의 고쳐지지 않았고, 정답을 한 번 본 오답도 일주일 뒤 다시 풀면 상당수를 또 틀렸어요. 그리고 찍어서 맞힌 문제도 오답노트에 넣어야 해요.
오답노트, 효과가 있나요?
오답노트라는 방법 자체를 견준 통제 실험은 찾지 못했어요. 대신 오답노트가 기대는 원리, 즉 틀린 뒤 정답을 확인하고 다시 떠올리는 일은 실험으로 여러 번 확인됐어요.
Metcalfe(2017)는 틀리는 일에 관한 연구를 모아 정리했어요. 틀린 뒤에 바로잡는 피드백을 받으면 배움에 도움이 되고, 틀리기까지 어떻게 생각했는지 따져 보는 피드백이 중요하다고 적었어요. 틀리는 걸 피하기만 하는 공부가 오히려 손해일 수 있다는 거예요.
그러니 오답노트가 효과가 있는지는 노트를 쓰느냐보다, 그 안에서 무엇을 하느냐에 달려 있어요.
틀린 문제는 정답만 확인하면 되나요?
정답 확인이 핵심이에요. 틀린 뒤 정답을 보면 나중 기억이 몇 배로 늘었어요.
Pashler와 동료들(2005)은 258명에게 루간다어 단어 20개를 가르쳤어요. 두 번 보여 준 뒤 시험을 봤고, 답한 뒤에 받는 피드백을 사람마다 다르게 했어요. 아무것도 안 보는 것부터 정답을 보는 것까지였어요. 일주일 뒤 마지막 시험을 봤어요.
틀린 단어에 정답을 보여 준 쪽은 일주일 뒤 기억이 494% 늘었어요.
그러니 빨간 줄만 긋고 끝내지 말고, 무엇이 정답인지 눈으로 확인하세요.
찍어서 맞힌 문제도 오답노트에 넣어야 하나요?
네, 넣어야 해요. 찍어서 맞힌 답은 정답을 다시 확인하지 않으면 절반 넘게 사라졌어요.
Pashler와 동료들(2005)의 실험에서는 맞힌 문제에 정답을 다시 보여 줘도 별 차이가 없었어요. 그런데 Butler와 동료들(2008)은 그 실험에서 사람들이 확신 없는 답을 쓰지 않고 넘길 수 있었다는 점에 주목했어요. 그래서 대학생 30명에게 상식 문제를 사지선다로 풀게 하면서 모든 문제에 답을 고르게 하고, 답마다 확신을 적게 했어요. 문제의 절반에만 정답을 보여 주고, 잠깐 다른 일을 한 뒤 보기 없이 다시 답하게 했어요.
정답을 보지 않으면 틀린 답도, 찍어서 맞힌 답도 남지 않았어요
- 정답을 봄
- 정답을 안 봄
표로 보기
| 정답을 봄 | 정답을 안 봄 | |
|---|---|---|
| 처음 틀린 답 | 82% | 3% |
| 찍어서 맞힌 답 | 85% | 40% |
| 처음 맞힌 답 전체 | 93% | 79% |
정답을 안 본 오답은 3%만 저절로 고쳐졌어요. 찍어서 맞힌 답은 정답을 보면 85%가 남았지만, 안 보면 40%만 남았어요. 맞힌 답의 38~40%가 '찍음'이나 '확신 낮음'이었으니, 적지 않은 몫이에요.
채점할 때 동그라미만 보고 넘기면 이 몫을 놓쳐요. 맞았어도 확신이 없었던 문제는 틀린 문제와 같이 다뤄요.
왜 틀린 문제를 또 틀리나요?
정답을 한 번 본 것으로는 오래 가지 않기 때문이에요. 특히 확신하고 틀린 답은 시간이 지나면 다시 돌아오기 쉬워요.
먼저 반가운 쪽부터요. Butterfield와 Metcalfe(2001)는 확신이 높았던 오답일수록 정답을 본 뒤 다시 물었을 때 더 잘 고쳐진다는 것을 찾았어요. 이를 과잉수정 효과(hypercorrection effect)라고 해요.
Butler, Fazio, Marsh(2011)는 이 효과가 일주일 뒤에도 남는지 봤어요. 대학생 50명이 과학 상식 120문제에 답하고 확신을 적은 뒤, 문제마다 정답을 6초씩 봤어요. 절반은 6분 뒤에, 나머지 절반은 일주일 뒤에 같은 문제를 다시 풀었어요.
정답을 한 번 본 오답은 6분 뒤 86%, 일주일 뒤 56%가 고쳐져 있었어요
- 처음 틀린 답을 고친 비율
- 전체 정답률
표로 보기
| 처음 틀린 답을 고친 비율 | 전체 정답률 | |
|---|---|---|
| 6분 뒤 | 86% | 90% |
| 일주일 뒤 | 56% | 71% |
일주일 뒤에도 확신이 높았던 오답이 더 잘 고쳐져 있었어요. 하지만 고친 오답은 6분 뒤에 다시 푼 사람들이 86%, 일주일 뒤에 다시 푼 사람들이 56%였고, 고치지 못한 문제에서는 처음의 그 오답이 다시 나오기도 했어요. 그리고 확신이 높았던 오답일수록 일주일 뒤 그대로 다시 나올 가능성이 컸어요.
연구진은 정답이 잊히면 오래 믿어 온 오답이 다시 앞에 선다고 보았어요. 그래서 한 번의 피드백으로는 확신하고 틀린 답이 오래 고쳐지지 않는다고 적었어요. 같은 논문은 정답을 본 직후 다시 시험을 보게 한 다른 실험(Fazio, 2011)에서 일주일 뒤에도 거의 잊지 않았다고 소개했어요.
오답노트에는 무엇을 적어야 하나요?
문제를 예쁘게 옮겨 적기보다, 다시 풀 수 있는 재료를 남겨요. 칸은 넷이면 돼요.
| 칸 | 무엇을 적나 | 왜 |
|---|---|---|
| 문제 | 사진이나 쪽수. 답은 가릴 수 있게 | 나중에 답 없이 다시 풀려고 |
| 확신 | 확신함, 반반, 찍음 중 하나 | 찍어서 맞힌 것과 확신한 오답을 가림 |
| 틀린 이유 | 한 줄. 개념을 몰랐나, 읽기를 놓쳤나 | 어떻게 생각하다 틀렸는지 따져 보기 |
| 다시 푼 날 | 날짜와 맞힘 여부 | 일주일 안에 다시 풀었는지 보기 |
틀린 이유 칸은 Metcalfe(2017)가 말한 '틀리기까지의 생각 따져 보기'예요. 확신 칸은 이 글의 두 실험이 보여 준 것, 즉 찍어서 맞힌 답은 사라지기 쉽고 확신한 오답은 돌아오기 쉽다는 것을 노트 위에서 보이게 해 줘요.
오늘 바로 해 볼 수 있는 방법은요?
오늘 푼 문제집 한 장으로 시작해요. 따로 노트가 없어도 돼요.
- 풀면서 확신을 적어요. 문제 번호 옆에 확신함, 반반, 찍음을 한 글자로 표시해요.
- 채점하면 정답을 바로 봐요. 틀린 문제는 정답과 풀이를 읽고, 왜 틀렸는지 한 줄을 적어요.
- 찍어서 맞힌 문제도 똑같이 해요. 동그라미가 쳐져 있어도 확신이 없었으면 오답으로 다뤄요.
- 그날 답을 가리고 한 번 더 풀어요. Butler와 동료들(2011)이 소개한 실험에서는 정답을 본 직후 다시 시험을 본 사람들이 일주일 뒤에도 거의 잊지 않았어요.
- 일주일 안에 다시 풀어요. 확신하고 틀렸던 문제부터 풀어요. 일주일 뒤에 가장 잘 되돌아오는 문제들이에요. 맞혀도 바로 빼지 말고, 간격을 늘려 한 번 더 풀어요.
다시 푸는 간격을 어떻게 잡을지는 망각곡선 복습주기, 언제 다시 봐야 할까요에, 맞힌 문제를 바로 빼면 안 되는 이유는 암기카드 공부법, 외운 카드는 빼도 될까요?에 적었어요.
Aloom에서는
Aloom의 복습은 오답노트의 '답을 가리고 다시 풀기'를 매일 해 줘요. AI한테 묻고 남긴 답은 하루에 1·3·5개 중 고른 만큼 문제로 다시 찾아오고, 답을 보기 전에 먼저 떠올려요. 틀리면 그 자리에서 정답을 보여 주고, 그 문제는 다음 날 이후에 다시 나와요. '모르겠다'를 누르면 틀린 것으로 세서, 찍어서 맞힌 척으로 넘어가지 않아요. 맞힌 문제도 간격을 두고 다시 나와요. 복습에 성공하면 지식의 색감이 진해져요. Aloom 둘러보기
자주 묻는 질문
오답노트 효과가 정말 있나요?
오답노트를 다른 방법과 견준 통제 실험은 찾지 못했어요. 다만 틀린 뒤 정답을 확인하면 일주일 뒤 기억이 크게 늘었고(Pashler 외 2005), 정답을 한 번 보고 끝낸 오답은 6분 뒤보다 일주일 뒤 다시 풀 때 덜 고쳐져 있었어요(Butler 외 2011). 정답 확인과 다시 풀기가 들어 있는 오답노트라야 효과를 기대할 수 있어요.
오답노트 쓰는법, 문제를 다 옮겨 적어야 하나요?
꼭 그럴 필요는 없어요. 사진이나 쪽수로 문제를 남기고, 확신, 틀린 이유 한 줄, 다시 푼 날을 적으면 돼요. 옮겨 적는 시간을 다시 푸는 데 쓰는 편이 이 글의 실험들과 맞아요.
틀린 문제를 또 틀리는 건 왜 그런가요?
정답을 한 번 본 것은 오래 가지 않기 때문이에요. Butler와 동료들(2011)의 실험에서 고친 오답은 6분 뒤에 다시 푼 사람들이 86%, 일주일 뒤에 다시 푼 사람들이 56%였고, 확신이 높았던 오답일수록 그대로 다시 나오기 쉬웠어요. 일주일 안에 답을 가리고 다시 풀어 보세요.
참고 자료
- Pashler, H., Cepeda, N. J., Wixted, J. T., & Rohrer, D. (2005). When does feedback facilitate learning of words? Journal of Experimental Psychology: Learning, Memory, and Cognition, 31(1), 3–8.
- Butler, A. C., Karpicke, J. D., & Roediger, H. L. (2008). Correcting a metacognitive error: Feedback increases retention of low-confidence correct responses. Journal of Experimental Psychology: Learning, Memory, and Cognition, 34(4), 918–928.
- Butler, A. C., Fazio, L. K., & Marsh, E. J. (2011). The hypercorrection effect persists over a week, but high-confidence errors return. Psychonomic Bulletin & Review, 18(6), 1238–1244.
- Butterfield, B., & Metcalfe, J. (2001). Errors committed with high confidence are hypercorrected. Journal of Experimental Psychology: Learning, Memory, and Cognition, 27(6), 1491–1494.
- Metcalfe, J. (2017). Learning from errors. Annual Review of Psychology, 68, 465–489.