유해 사이트 분류 방법

도메인 접속 선별과 HTML 분석으로 유해 사이트를 분류하는 방법

본 기술은 도메인 주소의 숫자를 변경하며 접속을 시도해 접속 가능한 사이트를 선별하고, HTML 소스코드를 분석하여 유해 여부를 분류하는 방법에 관한 것입니다.

기존 유해 사이트 차단은 폐쇄·변경되는 도메인에 대응하기 어렵고 방대한 사이트를 자동으로 분류하기 어려웠습니다.

이를 해결하기 위해 본 기술은 도메인 숫자 변경 기반의 접속 선별과 HTML 소스코드 분석을 결합하여, 접속 가능한 사이트를 자동으로 수집·분류합니다.

※ 본 발명은 중소벤처기업부의 지원을 받아 수행된 '불법 콘텐츠 유통 사이트 모니터링을 위한 AI 정보수집' 과제의 결과입니다.

‍

‍

Key Features:

• 도메인 주소에서 숫자를 추출하고 숫자 위치를 변경하며 접속을 반복 시도하여 접속 가능한 웹 사이트를 선별하는 단계
• 접속이 가능한 인터넷 웹 사이트의 HTML 소스코드를 추출하고 전처리하는 단계
• 전처리된 HTML 소스코드를 분석하여 웹 사이트의 유해 여부를 판별하는 단계
• 판별 결과에 따라 인터넷 웹 사이트를 유해 사이트로 분류하는 단계