[Bigdata] 1. 빅데이터란? (처리과정 기술 6단계)

빅데이터란?

 기존 컴퓨팅 기술로 저장,관리,분석이 불가능할 정도의 큰 데이터집합과

관련기술,인력 등을  포괄하는 의미

 

TB,PB,EB,ZB,YB

(테라,페타,엑사,제타,요타바이트...)

 

빅 데이터의 생성속도

하루 250경 바이트의 비정형 정보가 증가! 

(NoSQL: 관계형 데이터베이스와 같은 표준커리(정형화된 데이터)를 처리할 뿐만 아니라

비정형화된 데이터를 처리할 수 있다.)

 

*정형데이터= 문자,숫자,날짜

*비정형데이터= 문자,숫자,날짜+ 동영상,사진,좌표

 

예시

1. 자라(ZARA)는 전세계에 매장이 있는 의류브랜드로

빅데이터를 이용해 선호도, 수요조사를 한다

 

GoldenWired INC.

2. 택시의 위치정보 전송으로 탑승위치의 정확성 높임

(또는 택시를 요청하는 사람들이 어디에 많이 있는지

택시기사가 알 수 있게 보여주는 기술까지도 가능할 것)

 

3. 구글 무인자동차

 

4 . 의료장비에 생성되는 스트림 빅데이터

 

데이터가 어떤 가치가 있는지가 가장 중요 (5V속성)

 

빅데이터 처리과정 기술 6단계

생성(내부.외부 데이터)

수집(크롤링,ETL)

저장(NOSQL,storage,Server)

처리(맵리듀스,프로세싱)

분석(머신러닝,직렬화)

표현(시각화,획득)

 

다음 글에서는 수집과정에 대해 알아보겠습니다!