본 기술은 단안 RGB 이미지 시퀀스와 카메라 자세 데이터를 입력받아 CNN과 GRU 융합으로 3차원 피쳐 볼륨을 생성하고 이를 TSDF 볼륨으로 예측하여 밀집 3차원 메쉬로 복원하는 딥러닝 기반 장면 복원 기술입니다.
단안 RGB 기반 3차원 복원 시 기존 기술은 깊이 맵의 품질에 대한 의존도가 높거나 실시간 복원 시 계산량이 많고 복원 완성도가 낮아 정밀한 장면 표현이 어려운 문제점이 있었습니다.
본 기술은 키 프레임 선정과 로컬 조각 분할, 특징 추출 네트워크와 3차원 CNN 및 GRU 융합부, 정제 네트워크를 결합하여 복원 성능과 효율을 최적화합니다. 자율주행과 AR·VR 콘텐츠 제작, 로봇 공간 인지에 적용될 수 있어 깊이 센서 없이 카메라만으로 정밀한 3차원 공간을 확보합니다.
본 발명은 과학기술정보통신부의 극한 환경에서의 이벤트 카메라 및 물리 센서와 딥러닝의 융합을 통한 강건한 자세 추정 및 3차원 환경 복원 알고리즘 지원을 통해 개발되었습니다.
N/A
