증강현실 안경으로 물체를 바라보아 고르면, 인공지능이 그 물체를 인식하고 3차원 좌표를 산출해 로봇팔이 스스로 다가가 집어 오는, 컨트롤러 없는 로봇팔 제어 시스템.
발명의 배경과 필요성
로봇팔은 사람의 손을 대신해 물건을 집고 옮기는 강력한 도구지만, 대개 조이스틱 같은 컨트롤러를 손으로 조작하거나 미리 정해 둔 좌표를 따라 움직인다. 문제는 정작 이 도움이 가장 절실한 사람들, 즉 손을 자유롭게 쓰기 어려운 사지 마비 환자에게는 컨트롤러 조작 자체가 큰 벽이라는 데 있다. 그 결과 이들이 로봇팔을 능동적으로 다룰 방법은 매우 제한적이었다.
이를 풀기 위해 사용자의 시선으로 로봇팔을 조종하는 방식이 연구되어 왔다. 모니터에 띄운 가상 조종 화면을 계속 응시하면, 화면에 달린 센서가 시선이 머무는 곳을 읽어 로봇팔을 움직이는 방식이다. 그러나 이 방법은 사용자가 조종 화면과 로봇팔의 현재 위치를 동시에 번갈아 살펴야 하고, 시선을 추적하는 동안 로봇팔이 계속 함께 움직여 충돌 위험이 있었다. 게다가 화면을 계속 응시해야만 로봇팔이 작동하니, 조작이 번거롭고 직관성도 떨어졌다.
필요한 것은, 사용자가 그저 ‘저기 저 물건’을 자연스럽게 가리키기만 하면 정밀한 이동은 로봇이 알아서 처리해 주는 방식이었다. 조이스틱도, 따로 응시해야 하는 조종 화면도, 로봇팔이 엉뚱하게 움직일 위험도 없이 말이다.
때마침 이를 가능하게 할 두 기술이 무르익었다. 현실 위에 정보를 겹쳐 보여 주면서 깊이와 시선까지 읽어 내는 증강현실 기기, 그리고 실시간 영상 속 물체를 즉시 찾아내 이름표를 붙이는 인공지능 객체 인식 기술이다. 이 둘을 결합하면, 사용자의 시선으로 목표를 고르고 그 위치를 인공지능과 증강현실이 정확히 계산해 로봇에게 넘겨주는 새로운 길이 열린다.
기술 원리 및 구현 방법
본 발명은 사용자가 쓴 증강현실 안경, 영상을 분석하는 데이터 처리 서버, 그리고 로봇팔 세 가지를 하나로 잇는다. 비유하자면 안경은 사용자의 눈이자 가리키는 손가락이고, 서버는 사물을 알아보는 두뇌이며, 로봇팔은 물건을 가져다주는 손이다. 사용자는 그저 바라보기만 하면, 나머지는 시스템이 알아서 해낸다.
먼저 안경은 사용자가 보는 장면을 실시간 영상으로 서버에 보낸다. 서버는 인공지능 객체 인식 모델로 영상 속 물체들을 찾아내 그 결과를 안경으로 돌려준다. 그러면 안경은 사용자의 시야 안에서 인식된 물체마다 테두리 상자를 그려 보여 준다. 덕분에 사용자는 컵이나 병 같은 후보 물체들이 상자로 표시된 모습을 눈앞에서 확인하게 된다.
물체를 고르는 방법은 단순하다. 원하는 물체의 상자를 몇 초간 바라보기만 하면 된다. 시선이 한 상자에 정해진 시간 이상 머무르면 시스템은 그것을 ‘선택’으로 받아들이고, 상자의 색을 바꿔 선택되었음을 알려 준다. 버튼도, 조이스틱도 필요 없이 시선만으로 목표를 정하는 것이다.
선택이 끝나면 안경은 그 물체가 공간의 어디에 있는지를 정확히 알아내야 한다. 이를 위해 주변 공간을 3차원 그물망으로 만들고, 바라본 물체를 향해 가상의 광선을 쏘는 ‘광선 투사’ 방식으로 물체까지의 거리와 상대 위치를 잰다. 화면 속 2차원 위치를 3차원 좌표로 바꾸는 것이다. 여기에 로봇팔에 붙은 QR 코드를 함께 읽어 로봇팔의 방향과 현재 위치까지 파악하면, 사용자·물체·로봇팔이 모두 하나의 좌표계 위에 놓인다.
이렇게 물체의 좌표와 로봇팔의 위치가 정해지면, 로봇팔은 스스로 물체로 다가가 이를 집어 사용자에게 가져오거나 제자리에 되돌려 놓는다. 바라보고, 확인하고, 좌표를 계산하고, 가져오는 이 모든 과정이 사용자가 어떤 컨트롤러도 만지지 않은 채 이어진다. 게다가 위치를 실시간으로 추적하며 움직이기 때문에, 계산한 좌표와 실제 이동 사이의 오차가 매우 낮다.
기술의 장점 및 기대 효과
기술의 장점 가장 큰 강점은 오직 사용자의 시선만으로 로봇팔을 제어한다는 점이다. 조이스틱도, 컨트롤러도, 따로 응시해야 하는 조종 화면도 필요 없다. 사용자는 현실의 물건을 바라보기만 하고, 목표를 향한 정밀한 이동은 로봇이 알아서 수행한다. 선택 표시가 실제 장면 위에 겹쳐 보이고 로봇이 스스로 경로를 계산하므로, 화면과 로봇팔을 번갈아 살피던 부담과 충돌 위험이 사라진다. 좌표 계산도 정밀해 로봇팔이 목표에 안정적으로 도달한다.
이는 컨트롤러 방식과 시선 추적 방식 모두와 근본적으로 다르다. 컨트롤러는 정작 대상 사용자가 갖추기 어려운 손의 정교함을 요구하고, 모니터 응시 방식은 주의가 분산되고 충돌 위험이 따랐다. 본 기술은 선택을 현실 공간에서 자연스러운 시선으로 처리하고, 물체 인식과 3차원 위치 계산, 이동 실행이라는 무거운 일은 인공지능과 로봇에 맡긴다. 널리 쓰이는 증강현실 기기와 인공지능 인식 모델, QR 코드 기반 영점 조절 같은 검증된 구성 요소로 이루어져 있어 실용성과 재현성도 갖춘다.
활용방안 가장 직접적인 활용처는 거동이 불편한 사람들을 위한 생활 보조와 재활이다. 손을 쓰기 어려운 마비 환자도 시선만으로 일상의 물건을 스스로 집어 옮길 수 있고, 휠체어에 설치하면 개인용 보조 로봇팔이 된다. 돌봄 영역을 넘어, 손을 쓰지 않고 직관적으로 다뤄야 하는 원격 작업 등으로도 같은 방식을 넓혀 갈 수 있다.
사용자가 시선만으로 스스로 물건을 다룰 수 있게 되면, 심한 신체 제약이 있는 사람도 일상의 자립도를 되찾고 삶의 질을 크게 높일 수 있다. 증강현실 기기와 실시간 인공지능 인식 기술이 점점 좋아지고 값싸지는 흐름 속에서, 이처럼 직관적이고 안전하며 컨트롤러가 필요 없는 조작 방식은 재활·돌봄을 비롯한 서비스 로봇 전반의 기반이 될 것으로 기대된다.
특허매물 IBL-26-0826
발명자 고려대학교 뇌공학과 김동주 교수, 김학승, 이세호, 형정우
