[이슈] 서술형 시험에 대해 전 생각이 좀 다릅니다.

https://www.mk.co.kr/news/society/12132432

전 늦게 결혼한 탓에 자식은 없습니다만, 친조카와 처조카들이 있고
그 아이들이 수학이나 국어를 물어오면 저는 절대 답을 바로 안 줍니다.
먼저 반드시 시키는게 있죠.
"이 문제가 뭘 묻고 있는지 네 말로 설명해봐."
여기서 대부분 절반의 게임이 끝납니다.
설명이 되면 대개 스스로 풉니다.
설명이 안 되면 아무리 풀이를 알려줘도 다음 문제에서 또 막히고 같은 것을 물어옵니다.
몰라서 못 푼 게 아니라 뭘 묻는지 몰랐던 거니까요.

이게 단순히 제 취향이거나 감이 아닙니다.
학습과학에서 가장 재현이 잘 되는 결과 중 하나가 인출 연습입니다.
다시 읽는 것보다 덮고 꺼내보는 쪽이 훨씬 오래 남는다는 것.
그리고 자기 스스로의 설명 효과.
배운 걸 자기 말로 다시 번역해 설명하게 하면 이해도와 지식의 전이가 올라간다는 것.
읽고 아는 것 같은 상태와 실제로 아는 상태는 명백히 다릅니다.
그 둘을 가르는 유일한 방법이 꺼내보게 하는 겁니다.

그래서 축은 두 개입니다
무엇을 묻는지 파악할 수 있는가.
내가 읽은 것을 내 언어로 다시 말할 수 있는가.
이 둘이 없으면 문해력, 사고력이라는 말은 근거 없는 뜬구름입니다.
걱정만 하고 행동은 않는 상태 말입니다.
지금 커뮤니티에서 서술형 반대 이유가 거의 하나로 모입니다.
"채점 기준을 어떻게 믿느냐!!!!"
어느정도 이해합니다.
다만 이 불신이 어디까지 가는지는 따져볼 필요가 있습니다.

저는 서술형으로 밥벌이를 하게 된 사람입니다
제가 치른 시험의 2차는 전부 서술형입니다.
문과쪽의 변호사시험도, 회계사도, 감정평가사도 기술쪽의 기술사 시험도 모조리 마찬가지입니다.
사람의 면허와 생계가 걸린 시험들이 전부 그렇게 채점됩니다.
그런데 이 시험들이 주관적이라 못 믿겠다는 말은 들어본 적이 없습니다.
왜일까요?
채점자가 성인군자여서가 아닙니다.
기준이 먼저 있고 답안이 나중에 읽히기 때문입니다.

서술형 채점은 결코 감상문 채점이 아닙니다
여기서 커다란 오해가 생깁니다.
서술형이라 하면 글솜씨를 본다고 여기시는 듯한데, 절대 아닙니다.
전문직 시험 채점표는 이렇게 생겼습니다.

1. 쟁점을 잡아냈는가. (그것을 한정된 용어와 명제로 표시하는가?)
2. 근거 조문과 판례를 제시했는가. 그 근거가 결론으로 이어지는가. (논증이 구조로 재현되는가?)
3. 반대 논거를 검토했는가.

이 각각에 배점이 붙습니다.
문장이 아름답다고 점수를 더 주지 않습니다.
글이 아무리 유려해도 쟁점을 못 잡으면 떨어집니다.
차라리 투박한데 논증이 서 있으면 붙습니다.
채점되는 건 문체가 아니라 구조입니다.
구조는 있거나 없거나 둘중 하나입니다.
서술형 시험의 수험자도 채점관도 결국 어떤 기준의 훈련이지
취향이 개입할 자리가 생각보다 좁습니다.

그리고 이건 제가 조카들에게 시키는 것과 같은 일입니다.
"뭘 묻는지 말해봐라. 네 말로 설명해봐라."
서술형은 시험지 위에서 그걸 확인하는 것뿐입니다.
그리고 그게 정확히 문해력이고 이는 비판적 사고로도 이어집니다.
읽기 능력을 직접 재는 방법은 없습니다.
뚜껑을 따서 뇌를 열어볼 수 없으니까요.
거기엔 지방 덩어리 뿐이죠.

그래서 읽기를 쓰기로 뒤집어 설계합니다.
현상과 사실관계라는 닻을 던집니다.
제대로 읽었으면 거기서 나올 명제가 정해집니다.
명제를 세웠으면 받칠 부명제와 사례가 따라옵니다.
그 연결이 성립하면 읽은 겁니다.
안 되면 안 읽은 겁니다.
쓰기는 결국 읽기가 밖으로 나온 상태입니다.
그래서 쓰게 하면 읽었는지가 드러납니다.

모티머 애들러께서 쓰신 저서 'HOW TO READ A BOOK'에서 읽기를 네 단계로 나눴습니다.

글자를 단순 해독하는 기초 읽기,
무엇에 관한 책인지 훑고 책의 구조를 파악하는 살펴보기,
저자의 주장과 논거를 뜯어 재구성하는 분석 읽기,
여러 책을 겹쳐놓고 스스로 판단을 세우는 통합 읽기.

애들러가 분석 읽기의 조건으로 든 것 중에 이런 게 있습니다.
저자의 주장을 저자보다 정확하게 요약할 수 있기 전에는 동의도 반대도 할 자격이 없다는 것.
읽었다는 증거는 요약과 재구성으로만 확인된다는 얘기입니다.
제가 조카들에게 시키는 게 그겁니다.
애들러가 말한 것도 그겁니다.
서술형 시험이 하는 일도 그겁니다.
셋이 온전히 같은 동작이고 과정입니다.

여기서 하나 분명히 해야 할 게 있습니다.
서술형 반대의 실질은 대개 이겁니다.
정답이 없는 걸 어떻게 채점하느냐.
생각이 다르면 어쩌느냐.

그런데 시험은 4단계를 묻지 않습니다.
통합 읽기는 여러 텍스트를 겹쳐놓고 자기 판단을 세우는 층입니다.
여기서부터는 결론이 갈립니다.
같은 자료를 읽고도 다른 답이 나오고, 그게 정상입니다.
이건 학술연구와 학위논문의 영역이지 절대 시험의 영역이 아닙니다.
그리고 실제로 아무도 이걸 묻지 않습니다.
전문직 시험조차 묻지 않습니다.
노무사 2차도, 변호사시험도 마찬가지입니다.
쟁점을 잡아냈는가, 근거를 제시했는가, 그 근거가 결론으로 이어지는가, 반대 논거를 검토했는가.
전부 3단계의 층위에 있습니다.
전문성 검증과 밥벌이가 걸린 시험에서도 요구하는 건 딱 거기까지입니다.

답안에 독창적인 사견을 펼치면 점수가 오를까요?
절대 안 오릅니다.
출제 의도를 벗어났다고 감점되거나, 잘해야 무시됩니다.
채점자가 보는 건 주어진 사안을 정확히 읽고 정해진 도구로 논증을 세웠는가뿐입니다.
그 이상은 기준에도 어긋나고 그들에게도 중노동입니다.

고등학교 졸업 수준에서는 3단계면 충분합니다.
아니, 지금은 그것조차도 못 하고 있으니 그것부터가 목표입니다.
지문을 정확히 읽고, 무엇을 묻는지 파악하고, 자기 언어로 논증을 세우는 것.
여기까지가 성인으로 살아가는 데 필요한 최소치라고 생각합니다.
이 층은 주관이 개입할 여지가 정말 좁습니다.
쟁점을 잡았거나 못 잡았거나, 근거가 있거나 없거나, 연결이 되거나 안 되거나입니다.
채점 기준을 만들기 결코 어려운 층이 아닙니다.

그리고 그 기준은 새로 발명할 이유도 없습니다.
국제 학업성취도 평가는 이미 수십 년째 서술형 문항을 국가 간 비교가 가능한 수준으로 채점해왔습니다.
미국 AP도, 프랑스 바칼로레아도, 영국 A레벨도, 국제 바칼로레아도 전부 서술형을 채점해 대학 입학에 씁니다.
한국의 전문직 시험도 반세기 가까이 그렇게 해왔지요.
세계 어디서도 못 하고 있는 일을 우리가 처음 시도하는 게 아닙니다.
남들이 수십 년 해온 걸 우리만 안 하고 있는 겁니다.

객관식이 재는 것은 이해가 아닙니다
그러면 객관식은 어디까지 잴 수 있을까요.
잘해야 2단계입니다.
아니, 솔직히 거기까지도 안 갑니다.

객관식이 재는 것은 이해가 아니라 단순 재인입니다.
재인은 본 적 있는 것을 알아보는 능력입니다.
기억에서 꺼내는 게 아니라, 눈앞에 놓인 것들 중에서 익숙한 쪽에 반응하는 겁니다.
인지심리학이 인출과 재인을 굳이 나누는 이유가 여기 있습니다.
재인은 훨씬 쉽고, 훨씬 얕고, 무엇보다 이해가 없어도 작동합니다.
선지 다섯 개 중에 어디서 본 것 같은 걸 고르는 것.
이건 직관과 감각의 영역이지 지식과 이해의 영역이 아닙니다.
지문을 이해 못 해도 여러분도 익히 아실 시험 기술 소거법으로 뚫립니다.
두 개 지우고 찍으면 확률이 절반입니다.

예술을 겨루는 시험이라면 감각을 봐도 됩니다.
그러나 학문을 묻는 시험은 아는가와 이해했는가를 물어야 합니다.
익숙한 것을 알아보는 감각이 얼마나 예민한지를 겨루는 자리가 아닙니다.
그런데 지난 수십년 동안 우리도 우리 아이들도 훈련한 게 정확히 그 감각입니다.
이해하지 않고 알아보는 기술.
읽지 않고 맞히는 기술.
제가 조카들에게 시키는 것이 인출이라면, 객관식이 시키는 것은 재인입니다.
그 차이가 지금 우리가 문해력이라 부르며 걱정하는 것의 실체입니다.
AI가 나온 뒤로 문해력을 걱정하는 목소리가 더욱 커졌습니다.
저도 늘 같은 걱정을 합니다.
그런데 걱정하면서 계속 답을 고르게만 하겠다면, 그 걱정은 걱정이 아니라 일종의 습관입니다.

주관성은 없앨 수 없지만 가둘 수는 있습니다
완벽하게 객관적인 서술형 채점은 없습니다.
인정합니다.
그러나 주관성을 줄이는 방법은 이미 다 나와 있습니다.
새로 발명할 게 없습니다.
기준표를 먼저 만들고 공개하는 것.
채점 후에 만들면 자의가 되고, 먼저 만들어 공개하면 계약이 됩니다.
두 사람 이상이 따로 채점하는 것.
점수 차가 크면 세 번째가 들어가거나 합의합니다.
국내의 전문직 시험이든 국제 서술형 에세이든 이렇게 이루어집니다.

채점자를 훈련시키는 것.
본채점 전에 표본 답안으로 눈을 기준에 맞춥니다.
편차의 대부분이 여기서 잡힙니다.
이의신청 절차를 여는 것.
채점표와 대조해 다시 볼 수 있게 하면, 채점자도 기준을 벗어난 채점을 못 합니다.
이걸 다 갖춘 게 전문직이나 국제 서술형 시험입니다.
그래서 신뢰받습니다.
채점자가 훌륭해서가 아니라 장치가 있어서요.
그러니 문제는 서술형이 아닙니다.

반대하시는 분들께 묻고 싶은 건 이겁니다.
서술형 채점을 못 믿겠다는 겁니까, 아니면 그 장치를 안 만들 것 같아서 못 믿겠다는 겁니까.
앞이라면 변호사시험도 못 믿는다고 하셔야 합니다.
뒤라면 그건 서술형에 대한 반대가 아니라 준비 부실에 대한 반대입니다.
저도 거기엔 동의합니다.
교사 대상 조사에서 반대가 압도적으로 나온 것도 같은 맥락으로 이해됩니다.
결코 서술형이 나쁘다는 판단이 아니라, 그 채점을 담임 업무 하면서 떠안게 될 것 같다는 판단입니다.
전문 채점관을 양성하자는 제안이 나오는 이유죠.
전문직 시험은 전업 채점위원이 짧은 기간 집중해서 봅니다.
그 조건을 안 만들고 형식만 가져오면 당연히 망합니다.
그건 서술형의 문제가 아니라 도입 방식의 문제입니다.

마지막으로
기준을 못 믿겠다는 말은 편한 말입니다.
아무것도 안 해도 되니까요.
객관식은 아무도 이의를 제기하지 않습니다.
답이 하나죠.
그런데 그 답 하나 고르는 능력만 수십년을 길렀더니, 이제 우리가 아이들의 문해력을 걱정하고 있습니다.
주관이 개입할 여지가 있다는 이유로 측정을 포기하면, 남는 건 측정하기 쉬운 것만 측정하는 세상입니다.
그리고 우리는 이미 그 세상에 수십년을 살았습니다.
저는 앞으로도 조카들에게 같은 걸 물을 겁니다.
"이게 뭘 묻는 문제냐. 네 말로 해봐라."