Bigdata Bigdata

5. 빅데이터 적재 - 실시간 로그 파일 적재 빅데이터 실시간 적재 개요 빅데이터 실시간 적재에 활용되는 기술 실시간 적재 파일럿 실행 1단계 - 적재 아키텍처 실시간 적재 파일럿 실행 2단계 - 적재 환경 구성 실시간 적재 파일럿 실행 3단계 - 적재 기능 구현 실시간 적재 파일럿 실행 4단계 - 적재 기능 테스트 빅데이터 실시간 적재 개요 적재 직전에 실시간 분석 작업 수행 => 인메모리 시스템 Redis 실시간 발생하는 대규모 메세지 시속하게 영구 저장 => NoSQL => HBase 제약 사항이 적고 랜덤 액세스가 가능해져 대규모 실시간 처리 가능 빅데이터 실시간 적재에 활용할 기술 NoSQL HBase http://hbase.apache.org 하둡 기반 칼럼지향(Column-Oriented) ..

빅데이터 파일럿 프로젝트 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 파일럿 프로젝트용 PC 환경 구성 빅데이터 파일럿 프로젝트용 PC 서버 구성 CM(Cloudera Manager) 설치 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 파일럿 프로젝트 도메인(관심사) 이해 도메인 이해 무엇을 하는 시스템이고 어떤 프로세스를 통해 사용자에게 어떤 가치를 만드는 지 이해 자동차의 전자장치와 무선통신을 결합한 스마트카 서비스 https://www.asiae.co.kr/article/2016010212334673018 새벽 5시 스마트폰의 알람에 눈을 뜬 A씨는 스마트폰으로 오늘의 날씨를 확인한다. 영하 6도 강추위다. 애플리케이션을 통해 차량 배터리 상태를 확인한 뒤 6시에 출발 예약..