앞서 이 칼럼을 통해 우리 교육 개혁의 한 방법으로 암기 중심의 평가 대신 고차적 사고력 평가가 이루어져야 한다고 주장했다. 구체적으로 비판, 평가, 혹은 대안 제시를 요구하는 문항을 주로 사용하고, 채점은 피평가자가 과제 수행 후 평가자 역할도 수행하는 동료평가를 이용할 것을 제안했다.동료평가는 다른 학습을 통해 얻기 어려운 여러 가지 긍정적 교육 효과가 있다. 먼저 다른 학생들의 생각을 알게 하고 문제를 다각도로 바라볼 수 있게 하여 배우는 내용에 대해 반성하며 검토하도록 한다. 또한 다른 사람의 글에 대한 장단점을 지적하는 과정을 통해 비판적 사고를 배양할 수 있게 한다. 여기에 자기주도적 평생 학습자가 되는 데 꼭 필요한 자기평가 능력을 향상시킨다는 점을 추가할 수 있다. 평가에 참여함으로써 학생들은 무엇이 왜 중요한지를 배우게 되고, 평가 방법을 점차 내면화하고 스스로에 대해 평가할 수 있게 된다. 요컨대 정확한 자기평가는 독자적인 연구, 기술 개발, 혹은 창조 활동을 위해서는 불가결한 요소다.

문제는 이 방식을 선발이나 자격증 수여와 같은 중요한 결정이 내려지는 고부담 시험에 적용할 수 있는가다. 필자가 주변 사람들에게 피평가자로 하여금 다른 피평가자의 결과물을 평가하게 한다고 하면, 대부분 회의적인 반응을 보인다. 제대로 하지 못하거나 의도적으로 낮게 평가하리라 생각하기 때문이다. 실제로 동료평가의 결과를 성적에 그대로 반영한다고 공지했는데도 다른 학생의 글을 의도적으로 낮게 평가하는 정직하지 않은 학생이 있다는 것을 직접 확인하기도 했다. 그나마 다행은 그런 학생은 소수였다. 그 소수의 학생 덕에 동료평가의 장점을 하나 더 알게 됐는데, 그것은 인성교육의 대상을 찾아낼 수 있게 해 준다는 것이다.

동료평가를 이용한 선행 연구에 따르면 채점의 정확성은 분명히 개선의 여지가 있다. 동료평가 결과와 전문가 채점 결과 간의 상관계수가 0.7 정도로 두 점수 간의 일치도가 충분히 높지 않기 때문이다. 이를 근거로 동료평가 사용을 비판하는 연구자도 있다. 이 비판은 전문가들끼리의 채점 결과가 일치할 경우 타당하다. 그런데 여러 연구에서 전문가들의 채점 점수 간에 편차가 크다는 사실이 반복적으로 확인됐다. 영국의 연구자인 블록스햄과 동료들(2016)은 상세한 채점 기준이나 채점자 회의 등을 통해 정확성을 높이기 위해 노력해야 하지만, 그렇게 하더라도 “너무 복잡하고, 직관적이고, 암묵적이기 때문에 편차는 불가피하다”고 언급한다.

다시 말해 논술 채점은 누구에게나 어려운 일이라는 것이다. 그럼에도 생각의 폭과 깊이를 알아보는 데 더 좋은 대안이 없어서 논술을 사용하는 것이다. 따라서 지금으로서는 더 많은 사람이 참여해 합의를 만드는 것이 유망한 대안이다.

이를 위한 한 방법은 피평가자가 평가 결과에 승복할 수 없으면 이의를 제기하는 절차를 도입하는 것이다. 이의가 제기되면 더 많은 피평가자나 전문가 집단으로 하여금 재검토하도록 하는 것이다. 이의 제기가 남발되는 것을 막기 위해 이의 제기 횟수를 제한하거나 과거에 이의 제기했지만, 점수 변동이 없었던 사람은 이의 제기 자체를 못 하도록 할 수도 있다. 이의 제기를 통해 그동안 교수자의 고유 권한으로 인식돼 불필요하고 비밀스럽게 이루어져 온 평가과정이 투명해질 수 있다. 사실 비밀스러운 평가는 평가자나 행정상의 편의를 위해 유지돼 온 측면이 없지 않다. 평가의 과정과 결과가 투명해지면 평가의 순기능이 극대화될 수 있기 때문에 더이상 이런 전통을 지속할 필요가 없다.

평가의 정확성을 높이도록 충분한 훈련과 함께 여러 조정 기법을 도입할 수 있다. 그중 하나는 정확히 채점한다면 가산점을 주는 것이다. 예를 들어 전문가가 채점한 한 개의 글을 모든 평가자가 채점하게 하고, 그 편차가 작을수록 정확성 점수를 높게 부여하며 그에 상응하는 가산점을 주는 것이다.

이와 같은 동료평가를 이용해 고부담 시험이 치러지는 사례는 다른 나라에서 아직 찾아볼 수 없다. 그런데 그렇기 때문에 시도하지 않는다면, 우리 교육은 또다시 누군가가 한 것을 따라하는 수준에 머무를 수밖에 없을 것이다.