본 기술은 학습된 인공 신경망의 시냅스별 가중치를 텐서로 표현해 분해하고, 저차 근사화로 얻은 인수들의 곱의 합 형태로 가중치를 압축한 뒤 구조가 조정된 신경망을 다시 학습시키는 뉴로모픽 하드웨어 구현 방법입니다. 근사화된 인수는 뉴로모픽 회로에 저장되어 학습과 추론에 사용됩니다.
대규모 인공 신경망은 수백만에서 수십억 개의 시냅스 가중치를 저장해야 하므로, 폰 노이만 구조에서는 메모리와 연산 유닛 간 데이터 이동으로 에너지 소비와 병목이 컸습니다. 뉴로모픽 회로로 구현하더라도 n x m 가중치 행렬마다 nm개의 상수 저장 공간과 nm번의 곱셈이 필요해 메모리 자원과 회로 전력 소비가 크게 늘어나는 문제가 있었습니다.
본 기술은 분할 정복 방식의 특이값 분해로 가중치 텐서를 재귀적으로 분해하고 랭크보다 작은 차수로 근사화하여 저장할 가중치 수와 곱셈 횟수를 함께 줄입니다. 근사화 후 재학습을 반복해 정확도 손실을 보완하고, 시냅스가 감소된 시간 지연 신경망으로 변환해 셀 기반 회로로 구현할 수도 있습니다. AI 가속기 칩, 엣지 디바이스용 신경망 프로세서 등에 적용될 수 있어 기존에 학습된 심층 신경망을 작은 칩 면적과 적은 메모리로 탑재할 수 있습니다.
본 발명은 교육부의 사물 인터넷을 위한 범용 인베디드 뉴로모픽 프로세서 연구 지원을 통해 개발되었습니다.
N/A
