English

AI로 시험 문제 만들기, 공부가 될까요?

한눈에 보기
  • AI가 만든 문제도 연습 시험이에요. 답을 떠올려 푸는 일 자체가 공부가 돼요.
  • 문제마다 정답을 확인하면 단답형으로 푼 쪽이 3일 뒤 마지막 시험에서 가장 좋았어요.
  • 객관식에서 읽은 오답 보기가 나중에 내 답으로 다시 나올 수 있어요.
  • ChatGPT 3.5가 만든 60문제 중 25%는 답이 틀렸거나 헷갈리게 쓰였어요.
  • 단답형으로 만들고, 답한 뒤 원문 문장과 맞춰 보고, 2~3일 뒤 다시 풀어요.

AI로 만든 문제도 풀어 보면 공부가 돼요. 다만 효과는 문제를 만드는 데서가 아니라 푸는 방식에서 갈려요. 객관식보다 단답형으로 풀고, 답한 뒤 정답을 원문과 맞춰 보고, 며칠 뒤 다시 풀어야 오래 남아요. AI가 만든 문제에는 답이 틀린 것도 섞여 있으니 정답은 꼭 자료에서 확인하세요.

AI로 만든 문제로 공부하면 효과가 있나요?

있어요. 문제를 누가 만들었든, 떠올려서 답하는 일 자체가 공부예요.

Adesope와 동료들(2017)은 연습 시험을 다룬 실험들을 메타분석했어요. 연습 시험은 다시 읽기를 비롯해 견준 모든 공부 방법보다 배움에 도움이 됐고, 효과의 크기는 연습 시험을 어떤 모양으로 보느냐에 따라 달라졌다고 적었어요. 이 글의 나머지가 그 '어떤 모양'에 관한 이야기예요.

ChatGPT로 만든 문제를 수업에 넣어 본 연구도 있어요. Yusof(2025)는 말레이시아의 한 대학 교육학과 2학년 수업에서, 수업 시간에 강의가 끝난 뒤 10~15분 동안 노트 없이 문제를 풀게 하고 정답과 토론으로 피드백을 줬어요. 문제는 대부분 교수가 만들었고, 수업 한 번은 학생들이 ChatGPT로 문제를 만들어 교수가 검토하고 고쳤어요. 기말 전 복습 주간에는 같은 문제를 다시 풀었고, 이때 학생들은 ChatGPT로 답을 확인했어요.

무리뽑은 학생 수기말시험 평균
이전 학기들(ChatGPT 문제 풀기 없음)197명 중 64명25.44
이후 학기들(ChatGPT 문제 풀기 있음)186명 중 64명28.81

차이는 통계적으로 의미 있었어요. 다만 이전 학기와 이후 학기 학생들을 견준 연구이고, 기말시험도 형식은 같지만 같은 문제는 아니었어요. 그래서 효과가 AI 덕분인지 매주 문제를 풀고 다시 푼 덕분인지는 가를 수 없어요. 학생들이 ChatGPT로 문제를 만든 건 수업 한 번뿐이었고, 그 문제도 교수가 먼저 고쳤어요.

객관식과 단답형, 어떤 문제를 만들어야 하나요?

단답형이에요. 정답을 확인하는 조건에서는 단답형으로 푼 쪽이 3일 뒤 가장 좋았어요.

Kang, McDermott, Roediger(2007)는 학생들에게 짧은 학술 논문 네 편을 읽게 했어요. 한 편을 읽고 나면 객관식 시험, 단답형 시험, 같은 내용을 담은 문장 읽기, 상관없는 과제 중 하나를 했어요. 두 번째 실험에서는 이 첫 시험을 보는 동안 정답을 알려 줬어요. 3일 뒤 객관식과 단답형이 섞인 마지막 시험을 봤어요.

정답을 알려 주자 단답형으로 푼 쪽이 마지막 시험에서 가장 좋았어요. 연구진은 떠올리기가 어려울수록 나중에 더 도움이 된다고 보았어요.

정답을 알려 주지 않은 첫 번째 실험에서는 결과가 달랐어요. 객관식으로 푼 쪽이 단답형으로 푼 쪽보다 마지막 시험 점수가 높았고, 정답 문장을 그냥 읽은 쪽과는 의미 있는 차이가 없었어요. 연구진은 두 번째 실험에서 정답을 알려 줘, 무리마다 시험에 나온 내용을 본 정도를 맞추려 했어요.

단답형 문제는 정답 확인과 한 묶음이에요. 확인 없이 풀면 오히려 손해일 수 있어요.

정답을 안 보고 넘어가면 어떻게 되나요?

객관식에서 읽은 오답 보기가 나중에 내 답으로 다시 나올 수 있어요.

Roediger와 Marsh(2005)는 객관식 시험을 먼저 본 사람들이 나중 시험에서 더 잘하는 것을 확인하면서, 그 반대편도 찾았어요. 오답 보기를 더 많이 읽을수록 이득이 줄었고, 나중 시험에서 그 오답 보기를 답으로 쓰는 일이 늘었어요. 연구진은 객관식 시험이 자기도 모르게 틀린 지식을 만들 수 있다고 적었어요.

AI한테 객관식 문제를 받아 점수만 보고 넘기면, 그 오답 보기를 확인하지 않은 채 남겨 두게 돼요. 틀린 문제를 어떻게 다시 다룰지는 오답노트 작성법, 틀린 문제를 또 틀리는 이유에 적었어요.

AI가 만든 문제는 믿을 만한가요?

믿을 만한 문제가 많지만, 틀린 문제가 섞여 있어요. 정답은 원문에서 확인해야 해요.

Ngo와 동료들(2024)은 2023년 1~2월에 ChatGPT 3.5에 면역학 학습 자료를 붙여 넣고 "4지선다 문제 4개와 정답·오답 설명을 써 줘"라고 해서 60문제를 받았어요. 네 명이 채점했고, 한 명이라도 문제를 찾으면 그 점수를 따랐어요.

ChatGPT 3.5가 만든 60문제 중 25%는 답이 틀렸거나 헷갈렸어요

0%25%50%75%100%문제 비율 · 조금 다듬으면 쓸 수 있음 · 32%32%조금 다듬으면쓸 수 있음문제 비율 · 크게 고쳐야 함 · 43%43%크게고쳐야 함문제 비율 · 답이 틀렸거나 헷갈림 · 25%25%답이 틀렸거나헷갈림넷 중 하나는틀리거나 헷갈림
면역학 4지선다 60문제를 네 명이 채점한 결과(%)예요. 가장 엄한 채점자의 점수를 썼어요. '크게 고쳐야 함'의 대부분(60문제 중 19개)은 오답 보기에 설명이 없던 문제예요.출처: Ngo et al. (2024), 표 2와 표 3
표로 보기
문제 비율
조금 다듬으면 쓸 수 있음32%
크게 고쳐야 함43%
답이 틀렸거나 헷갈림25%

더 희망적인 결과도 있어요. Cheung과 동료들(2023)은 ChatGPT가 교과서를 바탕으로 만든 의학 객관식 50문제와 교수 두 명이 만든 50문제를 섞어 영국, 아일랜드, 싱가포르, 홍콩의 평가자 다섯 명이 누가 만들었는지 모른 채 채점했어요. 다섯 영역 가운데 '관련성'에서만 AI가 조금 낮았고(10점 만점에 7.56 대 7.88), 총점에서는 의미 있는 차이가 없었어요. 만드는 데는 AI가 20분 25초, 교수들이 211분 33초 걸렸어요. 다만 AI 문제는 교수 문제보다 점수가 더 넓게 퍼져 있었어요.

ChatGPT는 시험 문제 50개를 교수들이 쓴 시간의 10분의 1쯤에 만들었어요

050100150200250걸린 시간(분) · ChatGPT · 20.420.4ChatGPT걸린 시간(분) · 교수 두 명 · 211.6211.6교수 두 명시간은10분의 1쯤
의학 객관식 50문제를 만드는 데 걸린 시간(분)이에요. ChatGPT는 20분 25초, 교수 두 명은 모두 211분 33초가 걸렸어요. 소수 첫째 자리로 반올림했어요.출처: Cheung et al. (2023), 결과 절
표로 보기
걸린 시간(분)
ChatGPT20.4
교수 두 명211.6

두 연구 모두 2023년의 모델이라 지금 모델은 다를 수 있어요. 요즘 모델로 같은 채점을 한 연구는 이 글에서 확인하지 못했어요. 어느 쪽이든 결론은 같아요. 문제를 푸는 사람은 어느 문제가 틀렸는지 모르니, 정답을 AI의 말이 아니라 자료의 문장으로 확인해야 해요.

오늘 바로 해볼 수 있는 방법은요?

오늘 공부한 자료 한 덩어리로 해 보세요. 어떤 AI든 돼요.

  1. 단답형으로 만들어 달라고 해요. 자료를 붙이고 이렇게 말해요. "이 자료에 있는 내용만으로 단답형 문제 8개를 만들어 줘. 문제마다 정답과, 그 정답이 나온 자료의 문장을 그대로 따로 적어 두고, 내가 답하기 전에는 보여 주지 마. 한 번에 한 문제씩 내 줘."
  2. 자료를 덮고 답을 직접 써요. 머릿속으로만 하지 말고 한 줄이라도 써요. 모르면 모른다고 써요.
  3. 정답을 자료의 문장과 맞춰 봐요. AI가 보여 준 근거 문장이 자료에 없거나 뜻이 다르면, 그 문제는 버려요.
  4. 객관식을 쓴다면 오답 보기까지 확인해요. 답을 고른 뒤, 고르지 않은 보기마다 왜 틀렸는지 읽어요. 내가 골랐던 오답은 특히 꼼꼼히요.
  5. 2~3일 뒤 같은 문제를 다시 풀어요. 틀렸던 문제부터요. 위 실험의 마지막 시험도 3일 뒤였어요.

AI가 답을 바로 주는 대신 질문으로 이끄는 방식이 궁금하다면 GPT 공부 모드, 정말 공부가 될까요?도 함께 읽어 보세요.

Aloom에서는

Aloom의 복습 문제는 내가 AI한테 묻고 남긴 답에서 만들어져요. 하루에 1·3·5개 중 고른 만큼, 답을 보지 않고 먼저 떠올려 풀어요. 문제는 보기 고르기와 참거짓이라서, 이 글의 실험처럼 오답 보기가 틀린 기억으로 남지 않도록 답한 뒤에 왜 그게 맞고 가장 그럴듯한 오답은 왜 아닌지 설명을 보여 줘요. 문제의 근거는 내가 남긴 답 하나라 어디서 확인할지도 분명해요. 복습에 성공하면 지식의 색감이 진해져요. Aloom 둘러보기

자주 묻는 질문

AI 시험 문제 프롬프트는 어떻게 쓰면 좋나요?

세 가지를 넣으세요. 내 자료에 있는 내용만으로 만들 것, 단답형으로 만들 것, 정답과 근거 문장은 내가 답한 뒤에 보여 줄 것. 근거 문장이 있어야 AI가 만든 정답이 맞는지 자료에서 확인할 수 있어요.

객관식과 단답형 중 무엇이 공부에 나은가요?

정답을 확인한다면 단답형이에요. Kang과 동료들(2007)의 실험에서 정답을 확인하며 단답형으로 푼 쪽이 3일 뒤 시험에서 가장 좋았어요. 정답을 확인하지 않으면 객관식으로 푼 쪽이 나았지만, 객관식에서 읽은 오답 보기는 나중에 답으로 다시 나올 수 있어요(Roediger와 Marsh 2005).

PDF로 문제를 만들어 주는 AI 사이트를 써도 되나요?

써도 돼요. 어떤 도구든 문제를 푸는 방식이 효과를 정해요. 단답형을 고를 수 있으면 고르고, 해설을 자료의 문장과 맞춰 보고, 며칠 뒤 다시 풀어요. 2023년 연구에서 ChatGPT 3.5가 만든 문제의 25%는 답이 틀렸거나 헷갈렸어요(Ngo 외 2024).

참고 자료