놀랍게도 오늘날 모든 인터넷 사용자는 데이터 생성자이기도 하다. 모든 인터넷 사용자의 온라인 행동은 데이터로 생성된다. 복수 연구 기관의 보고에 따르면 전 세계에는 4.6억 6,000만여 명의 활성 인터넷 사용자가 활동하고 있으며, 이들은 하루에 25경 바이트의 데이터를 생성한다.
데이터 과학 생태계는 이런 인터넷상의 데이터를 이용하여 다양한 비즈니스 문제에 대한 해결책을 제시하고자 한다. 웹 크롤링은 데이터 과학을 이용하기 위하여 데이터를 찾고 수집하는 데 핵심 역할을 한다. 많은 기업이 웹 크롤러를 통하여 고객, 제품에 대한 정보를 수집한다. 데이터 과학 프로젝트는 우선 해결하고자 하는 사업 문제를 정의하며, 그 이후 필요한 데이터를 수집하여 문제에 대한 해결책을 모색한다.
이 때문에 인도 IT 전문 잡지 애널리틱스 인사이트는 웹 크롤링의 중요성을 강조했다.
그런데 웹 크롤링은 정확히 무엇인가? 웹 크롤링은 자동화된 스크립트나 프로그램을 이용하여 웹사이트상의 정보를 인덱싱하는 과정이다. 이들 프로그램을 웹 크롤러, 스파이더, 스파이더봇, 크롤러 등 다양한 이름으로 부른다.
웹 크롤러는 처리한 웹 페이지를 복사하여 검색 엔진을 생성하여 이용자가 저장한 페이지의 정보를 더 효율적으로 찾고 탐색할 수 있게 한다. 크롤러의 목적은 웹페이지의 내용을 분석하여 저장하는 것이며, 이를 통해 이용자는 어떤 페이지의 정보이든 필요시 추출할 수 있다.
그렇다면, 웹 크롤링이 중요한 이유는 무엇일까?
2013년, IBM은 전 세계에 존재하는 데이터의 약 90%가 지난 2년간 생성된 것이며 2년마다 데이터 생성 속도는 2배가 된다고 발표하였다. 하지만 대다수 데이터는 구조화되어 있지 않으며 웹 크롤러는 구조화되지 않은 방대한 양의 데이터를 인덱싱하여 검색 엔진이 찾고자 하는 정보를 찾도록 지원한다.
구글 데이터로 입증된 바와 같이 웹 크롤러에 대한 관심은 2004년 이후로 꾸준히 감소하고 있다. 그러나 웹 크롤링은 데이터 과학 프로젝트에서 중요한 역할을 한다. 그렇다면, 데이터 과학 분야에서의 주된 웹 크롤링 활용 사례로 어떤 사례를 언급할 수 있을까?
가장 먼저 소셜 미디어 감성 데이터 분석을 언급할 수 있다. 많은 기업이 페이스북, 트위터, 인스타그램 등 다양한 소셜미디어 플랫폼에 게재되는 게시물과 댓글을 수집하는 데 웹 크롤링을 활용한다. 기업은 이를 바탕으로 브랜드 성과와 제품, 서비스 고객 만족도 및 반응 등을 파악한다.
주식 시장에서도 웹 크롤링을 주로 활용한다. 주식시장은 변동성으로 점철되어 있어 주가 예측이 굉장히 중요하다. 웹 크롤링을 이용하면 다양한 플랫폼에서 원하는 기간만큼의 주가 데이터를 수집할 수 있다. 수집된 데이터는 트렌트나 규칙을 발견하는 데 이용되거나 미래 주가 예측 모델을 만드는 데에도 활용될 수 있다. 증권 중개인들은 해당 정보를 이용하여 필요한 비즈니스 의사결정에 도움을 받을 수 있다.
부동산 시장에서도 웹 크롤링을 활용한다. 부동산 시장에서는 가격 예측뿐만 아니라 가격 책정 시에도 웹 크롤링을 활용한다. 과거 데이터는 웹 크롤러를 이용하여 인터넷의 다양한 출처에서 수집한다. 부동산 기업은 해당 정보를 마케팅 전략이나 의사결정 과정에 활용하기도 한다.
실제로 미국 주요 부동산 거래 플랫폼 질로우(Zillow)는 인터넷에 공개된 정보를 수집하여 부동산의 적정 가격을 평가한다.
[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]
