우리나라 인공지능(AI) 챗봇 이루다가 논란을 일으키기 한참 전인 2016년 이미 마이크로소프트사의 챗봇 테이는 극우 성향 사용자들이 훈련시킨 인종차별적, 성차별적 발언을 비속어와 함께 쏟아냈다. 이 바람에 시범서비스를 시작한 지 16시간 만에 운영이 중단됐다.

같은 해 미국 법원과 교도소에서 형량, 가석방, 보석 등의 판결에 이용된 컴퍼스(COMPAS) 알고리즘이 유색인종에게 편파적인 판단을 하는 심각한 오류가 있음이 프로퍼블리카지에 의해 폭로된 바 있었다. 적용 대상자에게는 “알고리즘에 대한 확인 및 이의제기 기회”가 주어지지 않았고 알고리즘의 중요 내용도 알려지지 않아 적법절차 원칙 위반 여부가 논란이 됐다.

그러나 미 위스콘신주 대법원은 인공지능 알고리즘 자동화에만 근거해 판단한 것이 아니라 종국적인 판단은 법관에게 맡겨져 있어 적법절차 위반이 아니라고 판단했다. 컴퍼스 알고리즘 열람 청구 역시 기각됐다.

2017년 아마존은 인공지능 채용 프로그램을 개발했으나 젠더 편향적으로 남성 지원자가 여성 지원자보다 지속적으로 더 높은 점수를 받는 결정적 오류가 드러났다. 이 프로그램이 폐기됐음은 물론이다.

이 외에도 여러 인공지능 프로그램으로 인한 심각한 차별이 수면 위로 드러나자 뉴욕시의회는 2017년 알고리즘 설명책임법안을 통과시켰다. 이에 따라 뉴욕시에서 사용되는 알고리즘에는 연령, 인종, 종교, 성별, 성적 지향, 시민권 여부 등을 근거로 차별하는지에 대한 조사가 의무화됐다.

미 연방의회에서도 알고리즘이 주거ㆍ교육ㆍ고용 또는 신용기회 등에 미치는 영향평가 시행을 의무화한 소비자 온라인 프라이버시 법안(Consumer Online Privacy Act), 노동 현장에서 인공지능과 영향에 대한 보고서를 미 의회에 제출하도록 하는 인공지능 직업 법안(AI JOB Act), 자동화된 의사결정 과정에 대한 영향평가 등을 정한 알고리즘 책임 법안(Algotithmic Accountablity Act) 등이 우후죽순 발의됐다.

한국은 아직 차별금지법도 통과시키지 못한 나라다. 인공지능 개발을 위해 범부처 데이터를 제공해야 한다는 데이터댐 같은 정책이 논의되고 있으나, 아직까지도 알고리즘으로 야기될 수 있는 차별적 조치에 대해서는 진지한 논의가 이루어지지 못하고 있다.

사회의 가치가 고려되지 않은 기술의 발전은 오히려 사회 시스템을 후진적으로 악화시킬 수 있다. 비무장 흑인에 대한 과잉진압으로 드러났던 극단적인 인종차별적 조치가, 노동 현장에서의 성차별적 조치들이 이의제기조차 할 수 없는 기술에 의해 당연한 것처럼 받아들여질 수 있다. 인공지능이라는 미명하에 우리 삶은 쉽게 차별 조치에 익숙해지거나 부당한 현실이 강제될 수 있다.

지금이라도 차별금지법을 제정해 차별 금지의 구체적인 원칙을 세우자. 그리고 디지털 세상에서 이를 실현할 수 있도록 기술자, 학자, 시민사회, 기업 등 이해관계자들이 함께 머리를 맞대고 현실적인 방법을 찾아 나가자.