인간처럼 인지적 촉감 느끼는 촉감 아바타 기술 개발-개인별 감성 복제 촉감 아바타 기술 실마리

인간처럼 인지적 촉감 느끼는 촉감 아바타 기술 개발-개인별 감성 복제 촉감 아바타 기술 실마리

 

등록일 2021.02.18.

 

 

인간처럼 인지적 촉감 느끼는 촉감 아바타 기술 개발
개인별 감성 복제 촉감 아바타 기술 실마리

□ 통증이나 촉감을 느낄 수 있는 의수나 로봇팔 연구가 활발한 가운데 다기능 촉각센서와 머신러닝 방식으로 사람마다 다른 인지적 촉각을 구현하는 아바타 기술이 소개됐다.
○ 단순한 움직임을 위한 손의 물리적 촉각기능을 대신하는 것이 아니라 촉각 자극에 대한 감성적 인지까지 모사할 수 있는 가능성을 보여줌으로써 스마트폰이나 로봇이 사람처럼 인지적 감성을 구현하는데 응용될 수 있을 것으로 기대된다.

□ 한국연구재단(이사장 노정혜)은 장재은, 최지웅, 문제일 교수(대구경북과학기술원) 연구팀이 접촉한 물체의 표면정보를 읽어낼 수 있는 다기능 촉각센서를 구현하고, 이를 기계학습 기반 신호처리와 융합하여, 사용자 개인의 독특한 촉감 감성을 모사하여 해석할 수 있는 아바타 기술을 구현했다고 밝혔다.
○ 같은 재질의 옷감에 대해 사람마다 거칠다, 부드럽다 등 인지적 촉각이 다를 수 있는데 사용자의 고유한 촉각감성을 학습하여 유사하게 구현하는 한편, 학습되지 않은 촉각자극에도 사용자의 인지적 촉감을 예측해 구현하는 것이다.
□ 연구팀은 손마디 크기에 수 십 개의 센서를 배열, 물체의 거칠기, 온도와 단단함, 형태 등을 감지하도록 했다.
○ 촉각센서가 옷감을 누르고 문질러서 옷감 표면의 물리적 특성을 파악하고 이를 기반으로 인공감성을 구현하여, 개인별로 다를 수 있는 촉감에 따른 감성을 90% 이상의 일치율로 구현했다.

□ 피부에 가해지는 압력이나 진동을 모방해 자연스럽게 물체를 잡거나 움직이는 물리적인 모방에서 나아가 우리 뇌가 촉각자극으로 인한 전기화학적 신호를 감성적 신호로 변환하는 인지구조를 모방하고자 하였다.

□ 40여개의 다양한 옷감에서, 개인마다 다른‘거칠다/부드럽다’라는 감성의 정도차이를 학습한 아바타 시스템은 새로운 옷감에 대해서도 특정한 학습대상의 감성과 거의 일치하는 결과를 얻을 수 있었다.

□ 기계학습에서 기존에 학습된 사항에 대한 판단의 정확도는 매우 높아지고 있으나, 학습되지 않은 내용을 판단하는 정확도를 높이는 것은 큰 도전이다.
○ 연구팀은 이번 연구에서 학습되지 않은 물체에 대해서도 촉감 아바타가 사용자와 거의 유사한 감성판단을 내리는 의미 있는 결과를 얻었다고 설명했다.

□ 과학기술정보통신부와 한국연구재단이 추진하는 휴먼플러스융합연구개발사업과 중견연구사업 등의 지원으로 수행된 이번 연구의 성과는 국제학술지‘어드밴스드 사이언스(Advanced Science)’에 2월 8일(온라인판) 게재되었다.

주요내용 설명

<작성 : DGIST 정보통신융합전공 장재은 교수>

논문명
Tactile avatar : Tactile sensing system mimicking human tactile cognition
저널명
Advanced Science
키워드
Tactile system (촉각 시스템), tactile avatar (촉각 아바타)
저 자
장재은 교수(교신저자/DGIST), 최지웅교수 (공동 교신저자/DGIST), 김경수 박사 (제1저자/ DGIST & UCSF), 심민경박사 (공동 제1저자/ DGIST)

1. 연구의 필요성
○ 인간의 오감을 모사하기 위한 연구가 시작된 이후로, 시각이나 청각과 같은 모사의 완성단계에 이르렀고, 녹음기, 카메라 TV 등 사회적 경제적으로 매우 높은 파급력을 유발하였다. 따라서 아직 완전히 모사되지 않는 촉각, 미각, 후각 감각을 모사하기 위해 많은 연구가 진행 중이며, 이중 촉각의 모사가 가장 활발히 이루어지고 있다.
○ 기존에는 촉각센서의 물리적 성능을 높이기 위한 연구를 많이 진행 했지만 사람이 실제 느끼는 정신감각적인 자극의 구분을 위한 연구는 거의 이뤄지지 않은 상태이다.
○ 따라서 본 연구에서는 인공 촉각센서 개발을 통해 사람의 촉각과 유사 하게 물체의 표면형태, 온도, 강도 등을 감지하고, 이를 인간이 물체로부터 느끼는 감성적인‘거칠다’,‘부드럽다’의 판단결과와 기계학습을 하여 인간처럼 인지적 촉감을 생성할 수 있는 촉감 아바타 기술을 개발하였다.

2. 연구내용
○ 인공 촉각센서의 개발과 이를 기반으로 사람이 다양한 옷감 재질에서 느끼는 ‘거칠다’와 ‘부드럽다’의 촉감을 생성하는 부분을 모사 하는 기계학습 기반의 신호처리를 수행하였다.
○ 인지적 촉감을 생성하기 위해서는 사람처럼 물체로부터 정교한 물리 인자를 획득하는 센서의 개발이 필수적이다. 본 연구에서는 신호 생성시 전력을 소모하지 않는 압전현상을 기반으로 하는 센서를 개발 하였고, 촉감 신호처리의 핵심인자인, 온도, 물체의 단단함, 표면 형태를 하나의 센서 구조에서 모두 측정할 수 있는 시스템을 개발 하였다.
○ 센서에서 얻은 촉각신호에 인공지능(AI) 기술을 적용, 개인별 촉감 히스토그램과 매핑될 수 있도록 학습시켜 개개인의 촉각 아바타를 구현할 수 있는 머신러닝 기술을 개발하였다. 기존의 단순 매질 구분이 아닌 개인별 촉각 편차를 히스토그램화 하였다는 측면에서 차별성을 가진다.
※ 촉감 히스토그램 : 개인별로 다르게 느끼는 촉감의 정도를 반복적으로 수행된 인지 실험을 바탕으로 평균값 대비 차이를 매겨 그 해당 값을 매질에 따라 분포시킨 히스토그램

3. 연구성과/기대효과
○ 촉감은 감성적인 부분을 가지고 있어 같은 옷감에 대해서도 개인이 느끼는 촉감은 상이할 수 있어 기계학습으로도 해결하기 매우 어렵다.
○ 본 연구에서는 특정인(마스터)의 감성을 모사하고 이를 기반으로 학습된 촉감 아바타 시스템이 마스터와 동일한 촉감을 느끼는 기술을 개발하여 학습된 물체에 대해서는 아바타-마스터의 판단 일치율을 최대 98% 이상으로 구현하였다.
○ 특히 학습되지 않은 새로운 물질-즉 마스터가 어떤 감성을 느끼는지 모르는 상황-에 대해서도 최대 91%의 감성 일치율을 보여, 기계학습 분야에서 매우 새롭고 의미 있는 결과를 도출하였다.
○ 이 기술은 향후 휴먼-시스템 인터페이스에서 감성전달의 실마리가 될 수 있을 것으로 기대된다. 또한 전자상거래 등에서도 구매자를 대신 하여 구매하려는 옷의 재질의 개인적 호불호를 판단하는 등의 가상 공간에서 촉감을 대신하는 감성적 가상촉감 기술로 응용할 수 있을 것으로 기대된다.

그림 설명

 

(그림 1) 촉감 아바타 시스템 개략도
개인별로 다른 촉감감성을 그대로 모사한 촉감 아바타 기술 : 개인별로 옷감 등에서 느끼는 감성과 인공 촉각센서에서 옷감에서 얻어진 물리적 데이터를 기반으로 기계학습을 수행하여 개인의 촉감 감성을 모방할 수 있는 아바타 시스템을 구현함. 아바타 시스템을 통해 다양한 재질의 옷감에서‘거칠다’와 ‘부드럽다’는 판단을 내렸을 때, 개인(마스터)별 취향과 동일한 결과를 획득 하였음.
그림설명 및 그림 출처 : DGIST, 장재은, 교수

 

(그림 2) 사람 손가락 모방 촉각센서 및 아바타 시스템
(왼 쪽) 손가락 모양의 촉각센서 : 사람 손가락의 촉각세포 분포와 유사하게 1cm2에 자리잡은 32~64개의 센서가 물체의 온도, 단단함, 형태를 감지함.
(오른쪽) 촉감 아바타 시스템 : 사람 손가락처럼 촉각센서가 옷감을 누르고 문질러서 옷감 표면의 물리적인 특성(거칠기나 단단함 등)을 파악하고 이를 기반으로 개개인별로 다를 수 있는 촉감에 따른 감정(이를테면 거칠다 부드럽다 등)을 90% 이상의 일치율로 구현해 냄.
그림설명 및 그림 출처 : DGIST, 장재은, 교수

 

 

(그림 3) 참여연구원 사진
왼쪽부터 장재은 교수, 심민경 박사, 임성호 박사, 최지웅 교수
그림설명 및 그림 출처 : DGIST, 장재은, 교수

 

연구 이야기

<작성 : DGIST 정보통신융합전공 장재은 교수>
□ 연구를 시작한 계기나 배경은?

인간의 오감을 모방하기 위한 기계를 개발하려는 시도는 오래 전부터 있었다. 이미 청각은 레코더와 축음기로, 시각은 카메라와 TV 등으로 모방에 성공했다. 이런 모방은 인간의 삶을 획기적으로 변화시킨 발명으로 이어졌지만 아직 촉각, 후각, 미각은 여전히 미지의 영역으로 남아있었다. 감각을 모사하기 위한 연구의 수준이 각기 다른 이유는 모사해야 하는 요소가 몇 개인지에 달려있다. 청각은 주파수, 시각은 적색, 녹색, 청색(R, G, B)과 명암을 감지하는 4개의 입력으로 구성된다. 하지만 후각이나 미각과 같은 경우는 수십~수백 개의 요소를 감지해야하기에 모사가 매우 어렵다. 하지만 촉각의 경우 압력, 온도 등 일곱 개 정도의 요소로 결정되는 만큼 생체모방기기의 차세대 주자로 주목받고 있어 촉각 센서의 개발을 연구하기 시작했다. 특히 1980년대 사이언스지에 게재된 논문에서 인간의 피부에서 전기신호를 발생시키는 원리가 압전효과와 매우 유사하다는 연구결과를 통해, 압전 물질을 이용한 센서를 개발하기 시작했다. DGIST 뇌·인지과학전공 문제일 교수팀과 함께 모방해야 하는 인간피부의 기계적 수용체와 관련된 융합연구를 수행했고, 정보통신융합전공 최지웅 교수팀과고통 신호 발생 신호처리 기술을 함께 연구하여 본 연구에서 결실을 맺게 되었다.

□ 연구하면서 어려웠던 점이나 장애요소는 무엇인지? 어떻게 극복(해결)하였는지?

촉감은 시각이나 청각과 비교하면 표현방법이 분명하지 않다. 다양한 촉감을 표현하는 용어들이 존재하지만, 실제 사람을 대상으로 실험해본 결과 촉감의 표현이 사람마다 달랐다. 또한, 정해진 표현방법 (부드럽다, 거칠다) 등으로 다양한 촉감 매질을 구분하였을 때에도 분명한 기준을 세울 수 없을 정도로 사람에 따라 동일한 촉감을 표현하는 표현 차이가 존재했다. 다양한 연구를 통해 촉감을 시청각의 정량화(RGB 및 음의 주파수)와 같이 정확하게 정량하고 수치로 표현할 수 있겠지만, ‘빨주노초파남보’나 ‘도레미파솔라시도’와 같이 대표적인 표현법에 비해, 정확하게 학습하지 않은 촉감의 경우는 사람 간의 인지 및 표현의 차이가 컸다. 또한, 여러 번의 반복적인 촉감 인지 실험을 통해 촉감을 구분하는 능력을 평가해 보았을 때, 사람의 촉감에 대한 인지가 정확하지 않고 비슷한 몇몇 촉감 매질들 간의 차이를 분명하게 구분하지 못하는 모호성이 존재했다. 이 때문에 대표적인 기준을 통해 여러 사람에게 보편적으로 사용 가능한 인간의 감각을 모방하기에 한계가 있었다. 이를 극복하기 위하여 개개별의 반복적인 촉감 인지 테스트를 통해 수집한 데이터를 바탕으로 기존의 머신러닝에 기반한 개인별 촉감 머신을 구현하여 개인 간의 차이가 반영된 시스템을 구현하여 해결하였지만, 한편으로는 새로운 매질을 학습하기 위해서는 새로운 매질에 대한 개인의 인지 테스트와 학습이 반복적으로 이루어져야 하는 문제가 있었다. 이 부분을 극복하는 데에는 문제점으로 생각되었던 촉감 평가의 모호성이 오히려 이점으로 작용하였다. 개인이 촉감 매질들 간에 정확하게 구분하지 못하는 모호성 데이터를 바탕으로 촉감 매질과 사람의 인지 평가를 일대일 매칭으로 학습하는 것이 아닌 사람과 마찬가지로 모호하게 학습하도록 촉감 인지 표현을 다양화하고 이러한 다양한 표현에 서로 다른 가중치를 두어 학습시키는 방법을 적용하였다. 이는 개인 간의 모호성 특징을 학습시키는 머신에 적용할 수 있도록 하였고, 새로운 촉감 매질을 학습된 머신이 평가할 때도 인지의 주체였던 개인의 촉감 평가 특징이 반영된 아바타를 구현할 수 있었다. 이는 개인이 가지는 모호성의 특징이 오히려 새로운 촉감 매질에 대한 개인 간 촉감 인지의 차이를 이해하는 데 도움을 주었기 때문이며 이러한 접근은 개인의 특징을 기계적으로 학습하는데 다양하게 활용될 수 있을 것으로 기대한다.

□ 이번 성과, 무엇이 다른가?

촉각센서를 개발하기 위한 다양한 연구들은 주로 센서 성능을 향상시키기 위한 연구다. 예를 들어 특정한 패턴을 이용하여 민감도를 극대화시킨다던지 유연기판 및 전극패턴 기술을 이용해 유연하고 외부자극에 손상을 입지 않고 오래 사용할 수 있는 기술을 많이 연구했다. 하지만 본 연구팀은 사람이 입력된 물리적인 촉각 신호를 기반으로 뇌에서 다양한 촉감 감성을 만들어 내는 촉감 인지 시스템을 모방하는 시도를 수행하였다. 특히 뇌의 신호처리 방식이 명확히 규명되지 않아 AI기술 중 하나인 머신러닝을 기반으로 연구를 진행하였다. 개인별로 다양한 촉감 감성을 모방하기 위해 개인별 감성판단과 촉각센서의 물리적 신호를 기반으로 머신러닝을 수행하여, 특정인의 감성판단을 그대로 구현하는 촉감 아바타 기술을 개발하였다. 나아가 머신러닝 기술에서 고급기술에 해당하는 기존에 학습되지 않은 물체에 대해서도 마스터의 감성과 아바타 시스템이 판단 감성이 매우 높은 유사도 보여주었다.

□ 실용화된다면 어떻게 활용될 수 있나? 실용화를 위한 과제는?

휴머노이드 로봇 적용을 위해 하드웨어 개선이 필요할 것으로 예상된다. 다만 사용자 인터페이스 또는 전자상거래 기술은 플랫폼만 개발된다면 조만간 상용화가 가능할 것으로 생각된다.

□ 꼭 이루고 싶은 목표나 후속 연구계획은?

인간이 느끼는 여러 자극을 그대로 재현하는 인공피부를 개발하여 휴머노이드 로봇분야 및 재활로봇 등 실생활에서 체감할 수 있도록 완성시키고 싶다. 또한 센서 기술을 토대로 인공촉감을 사람이 느끼게 하는 역공학 기술인 엑츄에이터 기술도 개발하여, 카메라-디스플레이 조합처럼, 인공촉각센서-엑츄에이터 조합개발을 진행하고자 한다.

□ 기타 특별한 에피소드가 있었다면?

인간이 촉감 감성을 모방하여야 하는데, 대부분의 모방 마스터들은 감성에서 비슷한 성향을 가지고 있어 비교가 어려웠다. 하지만 연구단의 한 구성원은 남들이 부드럽다고 느끼는 옷감에 대해 거칠다고 느끼는 경우가 많아, 모방 아바타가 실제 마스터의 독특한 감성을 따라하는지 비교, 분석할 수 있었다.