목록데이터 스크롤링 (1)
원광성
노벨피아 부수기 #1 (데이터 스크래핑)
0. 서론 웹소설 플랫폼 노벨피아를 즐겨보는 주인장. 어느 날 어떤 장르/제목등의 소설이 잘 나가는지에 관해 탐구해 보기로 결심하게 되는데... 1. 이론 노벨피아에서 어떤 장르가 잘 나가는지, 얼마나 많은 작가들이 연중을 때리고 탈주를 쳤는지 등을 알아보려 합니다. 노벨피아에는 현재 약 6,000여개의 소설이 있습니다. 여려 분들이 약 6,000여 개의 소설을 모두 손으로 통계낼 의지가 없다면 데이터 스크래핑이라는것을 해야 합니다. 노벨피아와 같은 보통의 회사는 자기네들의 고유의 데이터를 가져가서 재사용하는 걸 싫어합니다. 스크래핑 봇은 공개된 웹사이트를 돌아다니며 원하는 데이터를 가져올 수 있습니다. 데이터 스크래핑은 다음과 같은 단계를 거칩니다. 1. 먼저, 스크래퍼 봇이라고 하는, 정보를 빼내오는..
소프트웨어
2024. 3. 20. 13:55