소리의 높낮이를 촉각패턴으로 전환해 전달하는 ‘촉각 피치시스템’ 개발

20일은 우리 주변의 장애인을 살펴보고 그들에 대한 인식을 개선하자는 의미에서 만들어진 ‘장애인의 날’이다. 최근에는 과학계에서도 장애인을 비롯한 다양한 사회적 약자를 위한 ‘유니버설 디자인’을 적용한 기술들을 내놓고 있다.

국내 연구진이 청각장애인들을 위해 촉각으로 소리를 인식할 수 있는 기술을 개발해 보다 정확한 음으로 말하고 노래를 부를 수 있도록 도움을 줄 것으로 기대되고 있다.

한국전자통신연구원(ETRI) 휴먼증강연구실, 강남대 사회복지학부 공동연구팀은 주위 소리와 청각장애인 스스로 목소리의 음높이를 분석해 촉각 패턴으로 변환시켜주는 ‘촉각 피치 시스템’을 개발했다고 19일 밝혔다.

청각장애인들도 인공와우 수술을 받으면 소리를 듣고 대화를 할 수 있지만 음의 높낮이를 구분하기는 어려워 대화 이외 음악을 듣거나 노래를 부르기는 어렵다는 문제가 있다. 이런 문제를 해결하기 위해 미국 스탠포드대, 라이스대, 페이스북 등에서는 음성과 문서 정보를 촉각으로 전달하는 연구가 진행되고 있지만 모든 정보를 전달할 수 없어 상용화하기에는 아직 부족하다는 평가이다.

이에 연구팀은 소리에서 주파수 신호를 추출해 음을 인식한 뒤 촉각 패턴으로 만들어 착용자 피부에 전달하는 방식의 기술을 개발했다. 이 기술을 활용하면 주변 소리나 자신의 목소리에서 나오는 음의 높이를 피부로 느낄 수도 있다.

연구팀은 한 손에 3옥타브에 해당하는 36개의 음계를 서로 다른 촉각패턴으로 표현해 장갑에 진동으로 전달되도록 했다. 손의 부위별 진동위치에 따라 음 높낮이를 파악하는 것이기 때문에 주변 소리와 자신의 목소리 높낮이를 촉각으로 읽히기 위해서는 1달 가량의 훈련이 필요하다고 연구팀은 설명했다.

연구팀은 인공와우 수술을 받은 청각장애인 2명을 대상으로 한 임상시험을 실시한 결과 한 달, 15시간 훈련을 통해 촉각으로 음을 이해하고 목소리 높낮이에 따라 원하는 음을 낼 수 있는 능력이 3배 가량 향상됐다는 것을 획인했다. 또 촉각을 통해 훈련한 음악을 노래로 표현하는데도 성공했다.

연구팀에 따르면 청각장애인들이 촉각 피치시스템과 언어재활 훈련법을 병행할 경우 소리에 대한 이해력을 발전시킬 수 있을 뿐만 아니라 음악활동도 일반인과 가깝게 즐길 수 있을 것으로 기대하고 있다.

신형철 ETRI 휴먼증강연구실 실장은 “이번 연구결과는 단순히 기술을 위한 기술이 아닌 사회적 약자인 장애인들이 정말로 필요한 적정기술”이라며 “좀 더 편하게 착용할 수 있도록 손목이나 암밴드 등 웨어러블 형태로 장비 개선을 할 계획이며 화재나 교통신호 등 위험 상황을 알리는 소리도 빠르게 인식할 수 있도록 하는 촉각기술도 개발 중”이라고 말했다.

유용하 기자 edmondy@seoul.co.kr