머신러닝 기반의 유해 사이트 분류 방법

HTML 토큰화와 머신러닝으로 유해 사이트를 분류하는 방법

본 기술은 접속한 웹 사이트의 HTML 소스코드를 토큰화·벡터화하여 머신러닝 모델로 유해 여부를 분류하는 방법에 관한 것입니다.

기존 규칙 기반 유해 사이트 차단은 신종·변형 사이트를 탐지하기 어렵고 오탐이 많았습니다.

이를 해결하기 위해 본 기술은 HTML 소스코드를 토큰화하여 머신러닝 모델에 입력함으로써, 신종 유해 사이트도 학습 기반으로 정확하게 분류합니다.

※ 본 발명은 중소벤처기업부의 지원을 받아 수행된 '불법 콘텐츠 유통 사이트 모니터링을 위한 AI 정보수집' 과제의 결과입니다.

‍

‍

Key Features:

• 도메인 주소에서 숫자를 추출·변경하며 접속을 반복 시도하여 특정 웹 사이트에 접속하는 단계
• 웹 사이트의 HTML 소스코드를 추출하고 전처리하여 토큰화를 수행하는 단계
• 기 설정된 알고리즘에 따라 각각의 토큰을 벡터화하여 머신러닝 모델에 입력하는 단계
• 머신러닝 모델의 출력을 기초로 웹 사이트를 유해 사이트로 분류하는 단계