본 기술은 딥러닝 모델의 특정 레이어에 마일스톤 식별자를 미리 할당해 두고, 추론 중 해당 지점까지의 소요 시간을 목표 시간과 비교한 지연 값에 따라 프로세서 주파수를 동적으로 변경하는 전자 장치입니다.
학습된 딥러닝 모델은 스마트폰, 감시 카메라, 자율주행 차량 등 모바일 장치에서 추론에 쓰이지만, 이러한 장치는 프로세서 성능과 공급 전력이 한정되어 있어 추론 레이턴시와 전력 효율을 동시에 맞추기 어려운 문제가 있었습니다.
본 기술은 QoS 기준으로 모델을 압축하고 프로파일링으로 일정 시간 간격마다 동작하는 레이어에 마일스톤을 배정한 뒤, 지연 값이 임계 범위를 벗어난 정도만큼 성능을 올리거나 내립니다. 온디바이스 AI를 탑재한 스마트폰과 엣지 카메라에 적용될 수 있어 추론 결과를 예측 가능한 시간 안에 내놓으면서 불필요한 클럭 상승에 따른 전력 소모를 줄입니다.
본 발명은 교육부의 지능형 모바일/임베디드 시스템을 위한 저전력, 실시간, 경량 딥러닝 SW프레임워크 핵심기술 개발 지원을 통해 개발되었습니다.
N/A
