ETRI, 청각장애인에게 촉각 통한 소리 전달 성공- 장갑 끼고 손가락 위치별 진동 느껴 음의 높낮이 파악 가능
배포일2020.04.19담당자 IDX+연구단 휴먼증강연구실
ETRI사진자료1
- ETRI 연구진이 개발한 촉각 피치 시스템으로 진동을 통해 정확한 음정을 파악하는 훈련 과정을 시연하는 모습
(왼쪽부터 신승용 선임연구원, 정승은 선임연구원)
ETRI사진자료2
- ETRI 신승용 선임연구원이 소리를 내면서 주파수에 따라 음정이 손 부위별로 진동이 전해지는 모습을 시연하는 모습
ETRI사진자료3
- ETRI 연구진이 개발한 학습 소프트웨어와 연동된 촉각 피치 시스템의 장갑형 버전과 밴드형 버전
ETRI사진자료4
- ETRI 연구진이 개발중인 촉각 피치 시스템의 다양한 웨어러블 시제품 (손목밴드, 암밴드, 장갑)
ETRI사진자료5
- ETRI 연구진이 개발한 촉각 피치 시스템의 장갑형 버전과 밴드형 버전 장비 모습
<장애인의 날 기획>
ETRI, 청각장애인에게 촉각통한 소리전달 성공
- 장갑 끼고 손가락 위치별 진동 느껴 음의 높낮이 파악 가능
- 인공와우 청각장애인 임상 연구 참여해 노래 부르기 성공
국내 연구진이 청각장애인을 위해 촉각으로 소리 인식이 가능한 기술을 개발했다. 이로써 청각장애인이 보다 정확한 음을 내며 원하는 목소리와 노래를 부를 수 있게될 전망이다.
한국전자통신연구원(ETRI)은 주위 소리와 자신 목소리의 음높이(Pitch)를 분석해 촉각 패턴으로 변환해주는‘촉각 피치 시스템’을 개발했다고 19일 밝혔다.
[Embargo : 온라인 : 4.19.(일) 정오 / 신문 : 4.20(월) 조간용]
청각장애인들도 인공와우 청신경에 전기자극을 주어 소리를 들을 수 있게 해주는 장치
수술을 받으면 일반인과 원활한 구어 대화가 가능할 정도로 의료와 ICT의 발전이 이뤄졌다. 그러나 아직까지는 의사소통에 필요한 소리의 의미를 파악할 수 있는 정도이며 음의 높낮이를 구분하는 데 한계가 있다. 이로 인해 청각장애인들이 음악을 감상하거나 노래를 부르는 활동에 많은 제약이 있었다.
이를 해결하기 위해 ETRI가 청각이 아닌 촉각 신경을 통해 소리를 들을 수 있는 기술을 개발했다. 음악이나 소리 등 청각 정보로부터 소리의 주파수 신호를 뽑아내, 음을 인식한 뒤, 촉각 패턴으로 만들어 착용자의 피부에 전달하는 사용자 인터페이스(UI) 기술이다.
본 기술을 활용하면 주변 소리나 자신의 목소리에서 나오는 음의 높이를 피부로 느낄 수 있다. 연구진이 고안한 방법은 주변에서 4옥타브 계이름‘도’소리가 들리면 사용자가 왼손에 낀 장갑을 통해 검지 첫째 마디에 진동이 느껴지도록 하는 방식이다.
[Embargo : 온라인 : 4.19.(일) 정오 / 신문 : 4.20(월) 조간용]
이처럼 손의 구조와 인지 용이성을 설계에 반영, 한 손에 3개 옥타브 범위(3옥타브‘도’에서 5옥타브‘시’까지)에 해당하는 반음 포함 36개의 음계를 촉각 패턴으로 표현했다. 손 부위별 진동 위치에 따라 음의 높낮이를 파악할 수 있기에 주변 소리와 내 목소리의 높낮이를 촉각으로 익히는 훈련이 한 달가량 필요하다.
나아가 함께 개발된 학습 방법 및 훈련 과정을 거치면 자신의 목소리를 원하는 음에 맞춰 낼 수도 있다. 청각장애인뿐 아니라 고령인 등도 언어 및 음향 학습 보조수단으로 활용할 수 있다.
연구진은 촉각 피치 시스템의 효과를 관찰하기 위해 강남대학교와 위탁연구를 수행했다. 임상연구에는 인공와우 수술을 받은 청각장애인 2명이 참여했다. 참가자들은 약 한 달간 15시간 훈련을 통해 촉각을 이용, 음을 이해하고 자신의 목소리로 원하는 음을 낼 수 있는 능력이 약 3배 향상되었다. 뿐만 아니라 촉각으로 훈련한 노래를 정확한 음으로 낼 수 있게 되었다.
기존에도 미국의 스탠포드대(Stanford), 라이스대(Rice), 페이스북(Facebook) 등 여러 기관에서 음성, 텍스트 정보를 촉각으로 전달하는 연구들이 여럿 진행되었다. 하지만 모든 정보를 촉각을 통해서만 전달할 수 있을 정도로 상용화 하기엔 아직 많은 후속 연구가 필요한 상황이었다.
ETRI 촉각 피치 시스템은 인공와우 및 보청기 사용자들이 모든 정보가 아니라 음 높낮이라도 파악하기를 원한다는 실제 요구사항을 토대로 개발한 시스템이다. 덕분에 사용자 환경에 바로 적용할 수 있다는 장점이 있으며 임상을 통해 증명한 연구 중 최초 사례다.
한편, 언어 재활 훈련 과정 중 음악 활동을 병행하면 음성 언어 및 소리에 관한 이해력 발전에 도움이 된다는 기존 연구가 있다. 연구진은 본 기술로 단순히 청각장애인의 음악 활동뿐만 아니라 의사소통을 개선하는데도 크게 도움을 줄 수 있을 것으로 보고 있다.
[Embargo : 온라인 : 4.19.(일) 정오 / 신문 : 4.20(월) 조간용]
이렇게 촉각 피치 시스템과 언어 재활 훈련법 병행 연구를 발전시켜나가면 청각장애인들이 언어뿐 아니라 음악 활동도 동일하게 즐길 수 있을 것으로 기대된다. 연구진은 시스템의 착용성 및 완성도를 개선 시키고 보다 효과적인 특수교육법 및 훈련 기법 표준안을 만들기 위해 관련 협회 및 단체와도 협력을 진행할 예정이다.
연구책임자인 ETRI 신형철 휴먼증강연구실장은“기술을 위한 기술이 아닌 우리 사회 소수자들이 정말로 필요로 하는 적정(適正) 기술 한 공동체의 문화·정치·환경적인 면들을 고려하여 만들어진 기술을 말함.
을 개발하기 위해 노력했다. 본 기술이 실질적으로 여러 사람들을 도울 수 있는 따뜻한 복지 ICT로 많이 활용되었으면 한다”고 밝혔다.
강남대 사회복지학부 이준우 교수도“일반적으로 청각장애인이 낼 수 있는 소리의 범위가 있다. 본 훈련을 통해 그동안 내기 어려웠던 소리 영역 부분을 낼 수 있다는 자체가 획기적이라 생각한다”고 말했다.
연구진은 향후 더욱 쉽게 훈련을 진행하고 편한 착용이 이뤄질 수 있도록 손목/암배드 등 웨어러블 형태로 장비를 개발할 계획이다.
ETRI는 이외에도 화재 알람이나 교통 신호 등 위험 상황을 알리는 소리를 어느 방향, 위치에서 발생했는지 파악해 웨어러블 기기 등을 통해 촉각으로 전달하는 기술을 개발 중이며 청각장애인 대상 필드 테스트를 준비 중이다.
본 연구는 과학기술정보통신부 『신체기능의 이상이나 저하를 극복하기 위한 휴먼 청각 및 근력 증강 원천 기술 개발』 과제의 일환으로 진행되었다. <보도자료 본문 끝>
참고1
피치에 따른 촉각 패턴 설계
참고2
실험 후 발성 음역 해상도 및 정확도 변화
참고3
실험 후 노래 시 음 정확도 변화