일상의 영감, Nomad-engHu

지난 시간에 스벅 웹사이트에서 지점을 찾는 간단한 예시를 했다면 이번에는 온라인서점에서 리뷰 데이터를 수집해 보겠습니다 selenium을 사용한 예시를 보고싶은 분들을 위한 영상입니다 1. 간단히 원리를 알기 위해 2. element 들을 찾는게 까다로워서 어떤 요소들을 골라써야 하는지부터 영상으로 담아 보았습니다 1. 더보기를 누르기 전 selector (리뷰내용) 2. 더보기를 누른후 selector (반드시 리뷰 5개 모두 누른후 해야함) 3. 페이지 버튼 4. 1번리뷰의 더보기 누르고 2번 리뷰로 넘어가는 과정 5. 한 페이지에 리뷰 5개를 모두 보고 나서 다음 페이지로 이동 (next 버튼)

빅데이터란? 기존 컴퓨팅 기술로 저장,관리,분석이 불가능할 정도의 큰 데이터집합과 관련기술,인력 등을 포괄하는 의미 TB,PB,EB,ZB,YB (테라,페타,엑사,제타,요타바이트...) 빅 데이터의 생성속도 하루 250경 바이트의 비정형 정보가 증가! (NoSQL: 관계형 데이터베이스와 같은 표준커리(정형화된 데이터)를 처리할 뿐만 아니라 비정형화된 데이터를 처리할 수 있다.) *정형데이터= 문자,숫자,날짜 *비정형데이터= 문자,숫자,날짜+ 동영상,사진,좌표 예시 1. 자라(ZARA)는 전세계에 매장이 있는 의류브랜드로 빅데이터를 이용해 선호도, 수요조사를 한다 2. 택시의 위치정보 전송으로 탑승위치의 정확성 높임 (또는 택시를 요청하는 사람들이 어디에 많이 있는지 택시기사가 알 수 있게 보여주는 기술까지..