데이터 전송 시스템 및 방법

CPU 소켓별 스레드 스케줄링과 메모리 버퍼 배치를 활용한 고속 데이터 전송 시스템

본 기술은 송신단과 수신단 각각을 복수의 CPU 소켓과 소켓별 메모리 버퍼로 구성하고, 각 CPU 소켓에 마스터 스레드·커뮤니케이션 스레드·입출력 스레드를 할당하여 노드 간 데이터를 전송하는 데이터 전송 기술입니다.

대용량 데이터를 노드 간에 전송할 때 스토리지·CPU·메모리 사이에서 병목 현상이 발생하고, 메모리 접근 지연과 메모리 제어기 부하로 인해 전송 효율이 저하되는 문제가 있었습니다.

본 기술은 메모리 버퍼의 위치에 기초하여 각 CPU 소켓에 스레드를 할당하고 마스터 스레드와 커뮤니케이션 스레드를 동일한 NUMA 노드에 배치함으로써, 고성능컴퓨팅과 빅데이터 처리 등 대규모 데이터 전송 환경에 적용되어 메모리 접근 지연과 제어기 부하를 줄여 전송 효율을 높일 수 있습니다.

‍

‍

Key Features:

• 복수의 CPU 소켓들과 각 CPU 소켓마다 배치된 메모리 버퍼를 포함하는 데이터 전송 시스템
• 각 CPU 소켓은 마스터 스레드, 커뮤니케이션 스레드 및 입출력 스레드가 할당된 CPU 코어를 포함
• 각 CPU 소켓은 해당 소켓에 포함된 CPU 코어들로 구성된 NUMA 노드를 다수 포함하는 구성
• 마스터 스레드와 커뮤니케이션 스레드는 동일한 NUMA 노드에 포함된 CPU 코어들에 할당되는 구성

‍

본 발명은 과학기술정보통신부의 빅데이터 처리 고도화 핵심기술개발 사업 지원을 통해 개발되었습니다.

‍