Bigdata Bigdata

7. 빅데이터 분석 빅데이터 분석 개요 빅데이터 분석에 활용되는 기술 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 파일럿 실행 2단계 - 분석 환경 구성 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 빅데이터 분석 개요 탐색 단계 : 데이터를 관찰하고 이해하는 과정 분석 단계 : 탐색과 분석을 반복하며 의미 있는 데이터를 추출해 문제를 명확히 정의하고 해결하는 과정 강력한 오픈소스 기술을 기반으로 수평적 확장이 가능해 저비용으로 선형적인 분석 성능 보장 내부업무 시스템에서 발생했던 수년치 데이터를 외부 데..

6. 빅데이터 탐색 빅데이터 탐색 개요 빅데이터 탐색에 활용되는 기술 탐색 파일럿 실행 1단계 - 탐색 아키텍처 탐색 파일럿 실행 2단계 - 탐색 환경 구성 탐색 파일럿 실행 3단계 - 탐색 기능 구현 탐색 파일럿 실행 4단계 - 탐색 기능 테스트 빅데이터 탐색 개요 탐색 영역은 적재된 데이터를 가공하고 이해하는 단계 데이터 이해 => 데이터들의 패턴, 관계, 트렌드 찾기 => 탐색적 분석(EDA:Exploratory Data Analysis) 탐색 과정은 분석에 들어가기에 앞서 빅데이터의 품질과 인사이트를 확보하는 매우 중요한 단계 비정형 데이터를 정교한 후처리 작업(필터링, 클린징, 통합, 분리 등) => 정형화 데이터 탐색 결과는 곧 바로 분석 마트를 위한 기초데이터로 활용 이런 일련의 처리/탐색,..

5. 빅데이터 적재 - 실시간 로그 파일 적재 빅데이터 실시간 적재 개요 빅데이터 실시간 적재에 활용되는 기술 실시간 적재 파일럿 실행 1단계 - 적재 아키텍처 실시간 적재 파일럿 실행 2단계 - 적재 환경 구성 실시간 적재 파일럿 실행 3단계 - 적재 기능 구현 실시간 적재 파일럿 실행 4단계 - 적재 기능 테스트 빅데이터 실시간 적재 개요 적재 직전에 실시간 분석 작업 수행 => 인메모리 시스템 Redis 실시간 발생하는 대규모 메세지 시속하게 영구 저장 => NoSQL => HBase 제약 사항이 적고 랜덤 액세스가 가능해져 대규모 실시간 처리 가능 빅데이터 실시간 적재에 활용할 기술 NoSQL HBase http://hbase.apache.org 하둡 기반 칼럼지향(Column-Oriented) ..

4. 빅데이터 적재 - 대용량 로그 파일 적재 빅데이터 적재 개요 빅데이터 적재에 활용되는 기술 적재 파일럿 실행 1단계 - 적재 아키텍처 적재 파일럿 실행 2단계 - 적재 환경 구성 적재 파일럿 실행 3단계 - 적재 기능 구현 적재 파일럿 실행 4단계 - 적재 기능 테스트 빅데이터 적재 개요 수집한 데이터를 어디에, 어떻게 저장 할 것인가? 적재 후 분석 방식과 업무 시스템 성격에 따라 달리 구성 분산 파일, NoSQL, 메모리 캐시등 적재 저장소 유형 P137 그림 4-2 참고 내/외부 원천 데이터 정형 데이터 : 데이터베이스(관계/계층/객체/네트워크) 반정형 데이터: HTML / XML / JSON / 서버로그 비정형 데이터: 소셜미디어, 문서, 이미지, 오디오, 비디오, IoT 적재 저장소 유형 ..

3. 빅데이터 수집 빅데이터 수집 개요 빅데이터 수집에 활용되는 기술 수집 파일럿 실행 1단계 - 수집 아키텍처 수집 파일럿 실행 2단계 - 수집 환경 구성 수집 파일럿 실행 3단계 - 플럼 수집 기능 구현 수집 파일럿 실행 4단계 - 카프카 수집 기능 구현 수집 파일럿 실행 5단계 - 수집 기능 테스트 빅데이터 수집 개요 빅데이터 시스템 구축은 수집부터 시작 수집이 전체 공정의 절반 이상 차지 수집 범위 P106 그림 3-2 참고 조직 전체 시스템 외부 시스템(SNS, 포털, 정부기관 등) 빅데이터 프로세싱 과거 수집 / 적재 후 맵리듀스 기반의 주기적인 배치성 분석 현재 수집과 동시에 분석 ESP(Event Stream Proccessing) 파일럿 : 운저자 상태 정보 실시간 수집하고 다양한 운행패..

빅데이터 파일럿 프로젝트 파일럿 프로젝트 도메인 이해 빅데이터 파일럿 아키텍처 이해 빅데이터 파일럿 프로젝트용 PC 환경 구성 빅데이터 파일럿 프로젝트용 PC 서버 구성 CM(Cloudera Manager) 설치 스마트카 로그 시뮬레이터 설치 파일럿 환경 구성 파일럿 프로젝트 도메인(관심사) 이해 도메인 이해 무엇을 하는 시스템이고 어떤 프로세스를 통해 사용자에게 어떤 가치를 만드는 지 이해 자동차의 전자장치와 무선통신을 결합한 스마트카 서비스 https://www.asiae.co.kr/article/2016010212334673018 새벽 5시 스마트폰의 알람에 눈을 뜬 A씨는 스마트폰으로 오늘의 날씨를 확인한다. 영하 6도 강추위다. 애플리케이션을 통해 차량 배터리 상태를 확인한 뒤 6시에 출발 예약..