웹 개발/크롤링(Crawling) 썸네일형 리스트형 [웹 개발] 웹 페이지 크롤링 ( Web page crawling) ※ 이번 포스팅 실습은 Windows Platform으로 진행됩니다. ※ 다양한 카테고리의 웹 사이트 중, 어떠한 특정 사이트 링크들을 모아놓은 사이트 이를테면, 각종 전자기기들의 가격, 가성비, 스펙 등 비교하는 사이트들 많다. 어떻게 한걸까? 바로 웹페이지를 스크랩핑하여 페이지에 노출시킨것이다. 스크래핑이란, 웹 페이지 또는 시스템에 있는 데이터 중에서 필요한 정보를 추출 및 가공하여 제공하는 것이다. 그렇게 데이터를 모으고 모으고 모으다보면 어마어마한 양의 데이터를 어딘가에 적재할 수 있게 된다. 그런 데이터를 빅 데이터(Big Data)라고 하는데, 빅 데이터는 다양한 의미가 있지만 기본적으로 하루 100GB초과하는 대부분의 데이터 스크림이 빅 데이터 범주에 속한다고 한다. 필자는 총 40TB정도.. 더보기 이전 1 다음
