[박주용의 생각 담은 공부] 고차적 사고 평가, 중편

선다형 방식이 퇴출 위기에 처했다. 올해부터 부산의 모든 초등학교에서 그리고 서울 지역 22개 중학교에서 시범적으로 선다형 방식을 폐지한다. 그 대신 서술형 시험이나 수행평가로 대체된다고 한다. 우리나라에서만이 아니다. 스탠퍼드 교육대학원의 린다 달링하몬드 교수가 편집한 ‘차세대 평가: 21세기 학습을 지원하기 위해 선다형 시험을 극복하기’(2014)라는 책은 미국에서도 이런 일이 일어나고 있음을 잘 보여 준다.

미국은 공교육의 질을 높이기 위해 2007년 논의를 시작하여 2010년에 대부분 주가 참여하는 주 공통 교육 성취 기준을 공표했다. 이 새 성취 기준은 초중등 교육의 목표를 대학이나 직장생활을 잘 준비하는 데 두고 있다. 영어 교과는 비판적 사고력, 문제 해결, 그리고 분석력을 강조하며, 수학은 실생활 문제를 풀도록 장려한다. 주 공통 교육 성취 기준의 도달 여부를 결정하는 것은 평가인데, 이 평가가 위의 책 제목처럼 서술형으로 이루어진다는 것이다. 우리나라와 미국에서 일어나는 이런 변화를 살펴보면 미국에서의 변화가 우리 교육에 영향을 미치고 있음을 알 수 있다.

미국의 경우 초중등 수준에서의 모든 평가를 서술형으로 바꾸겠다는 것이 공염불이 아닌데, 그 이유는 지난 50여년에 걸친 자동 논술채점 기술이 이제 어느 정도 안정된 수준에 도달했기 때문이다. 실제로 올해부터 오하이오주의 초중등 학력 평가에 포함된 서술형 문항에 대한 답안은 자동 채점 프로그램으로 채점되는데 다른 주로 확산되는 것은 시간문제로 보인다. 물론 전적으로 컴퓨터가 다 하지는 않는다. 일부 논술문은 컴퓨터와 채점 전문가가 채점해 두 채점 방식 간의 일치도를 점검하도록 하고 차이가 클 경우 적절히 조정하도록 하고 있다.

자동 논술 채점은 컴퓨터 프로그램을 이용해 사람과는 전혀 다른 방식으로 채점된다. 이 과정은 먼저 채점 전문가가 수백 개 이상의 답안에 대해 자세히 주석을 달며 점수를 매긴 다음 그 정보를 컴퓨터에 입력해 데이터베이스로 저장한다. 자동 채점 프로그램은 이 데이터베이스로부터 각 점수대에 해당하는 글들에서 관찰되는 글자 수 혹은 사용된 단어와 같은 표면적 특징을 분석한다. 그다음에 채점할 답안을 분석하고 여러 표면적 특징이 어느 점수대와 가장 유사한지를 계산해 점수를 매긴다. 이처럼 의미나 수사학적 분석과 무관하게 표면적 특징만을 이용하는데, 놀랍게도 채점 결과는 전문가의 점수와 유사하다.

그렇지만 컴퓨터 채점의 약점도 몇몇 밝혀졌다. 길이가 상대적으로 긴 글, 복잡한 사고를 나타내는 ‘왜냐하면’ 혹은 ‘더구나’ 등이 포함된 글, 그리고 자주 쓰이지 않는 어려운 단어가 사용된 글이 상대적으로 높은 점수를 받는다. 그리고 어쩌면 가장 심각한 한계일 수 있는데, 내용을 요약하는 부분에서는 논술 자동 채점 프로그램 간 상관이 높지만, 창의적인 사고를 요구하는 글의 경우는 그렇지 않다는 연구 결과도 있다. 따라서 자동 채점 프로그램을 고차적 사고 평가 도구로 사용하기에는 아직 갈 길이 멀다.

선다형 시험 방식 때문에 공부가 암기 활동으로 축소된 부분이 있는 것은 사실이지만, 선다형 시험 방식 폐지와 서술형 평가가 고차적 사고력을 요구하는 평가인지는 별개의 문제다. 현행 5급 행정 시험이나 변호사 시험이 서술형이지만 여전히 암기를 요구하는 평가라는 점은 이를 잘 보여 준다. 요컨대 선다형에서 서술형으로의 전환만으로는 큰 변화를 만들어 내기 어렵다. 따라서 시험 방식에 초점을 두기보다는 고차적인 생각을 하도록 하는 평가가 이루어지도록 하는 방안을 찾아내는 것이 더 중요하다.

이런 맥락에서 자동 논술 채점의 대안으로 동료 평가를 고려해 볼 수 있다. 동료 평가란 통상 교수자나 채점 전문가가 담당하는 평가를 피평가자에게 하도록 하는 것이다. 즉 피평가자로 하여금 먼저 과제를 수행하게 한 다음 다시 평가자의 역할도 하게 하는 것이다. 두 가지 활동을 차례로 해야 하기 때문에 피평가자의 시간과 노력은 커질 수밖에 없다. 다행히도 그런 시간과 노력이 상쇄될 수 있을 만한 다양한 교육적 효과가 있는데, 그 내용은 다음 번에 다루도록 하겠다.