Bigdata Bigdata

3. 빅데이터 수집 빅데이터 수집 개요 빅데이터 수집에 활용되는 기술 수집 파일럿 실행 1단계 - 수집 아키텍처 수집 파일럿 실행 2단계 - 수집 환경 구성 수집 파일럿 실행 3단계 - 플럼 수집 기능 구현 수집 파일럿 실행 4단계 - 카프카 수집 기능 구현 수집 파일럿 실행 5단계 - 수집 기능 테스트 빅데이터 수집 개요 빅데이터 시스템 구축은 수집부터 시작 수집이 전체 공정의 절반 이상 차지 수집 범위 P106 그림 3-2 참고 조직 전체 시스템 외부 시스템(SNS, 포털, 정부기관 등) 빅데이터 프로세싱 과거 수집 / 적재 후 맵리듀스 기반의 주기적인 배치성 분석 현재 수집과 동시에 분석 ESP(Event Stream Proccessing) 파일럿 : 운저자 상태 정보 실시간 수집하고 다양한 운행패..