티스토리

Bigdata

검색하기

블로그 홈

Bigdata

essim92.tistory.com/m

긔 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

팀 프로젝트 팀명 : GB the finance 작업기간 : 8/3 ~ 8/14 (2주) 평일 2시~7시 작업 주제 : 금융 데이터 분석 담당 : 커뮤니티 키워드 링크 : https://kimhg9511.github.io/bigdata_project/home 작업물 : 대시보드 - 심은식 notebook 아쉬운점 1. 셀레니움으로 크롤링 진행에 에러가 많아 시간이 생각보다 많이 소요됨(첫주는 거의 오류수정으로 날리게됨) 2. 구글링 해보고 나서 requests로 크롤링 진행하는데 time.sleep() 옵션을 안주면 디도스로 오해받아 약 1시간 정도 크롤링 불가능하여 적절한 값을 찾아야 했음 3. 크롤링 시간이 약 4일정도 걸려서 작업이 딜레이됨 4. 2019년 한 해 글이 가장 많았던 디시인사이드 '비트코인 갤러리.. 공감수 0 댓글수 0 2020. 8. 18.
교차검증 데이터를 검증하는 방법 모델의 타당성을 검증하는 크로스 밸리데이션 교차 검증 - Cross-validation 모델의 타당성을 검증하는 방법 중 하나 특정 데이터를 훈련 전용데이터와 테스트 전용 데이터로 분할 훈련데이터로 학습하고 테스트 데이터로 학습의 타당성 검증하는 방법 K 분할 교차 검증 : K-fold cross validation 3-fold cross validation 집합 X 를 3개로 분할 : A, B, C A:테스트, (B,C):훈련 => 정밀도 s1 B:테스트, (A,C):훈련 => 정밀도 s2 C:테스트, (A,B):훈련 => 정밀도 s3 s1, s2, s3의 평균을 구해 최종적인 분류 정밀도 구하기 붓꽃 데이터 데이터 검증해보기 scikit-learn 이용 model_selecti.. 공감수 0 댓글수 0 2020. 7. 28.
랜덤 포레스트 랜덤 포레스트 - Random Forest 집단 학습을 기반으로 고정밀 분류, 회귀, 클러스트링 구현 학습 데이터로 다수의 의사결정 트리를 만들고 그 결과의 다수결로 결과 유도로 높은 정밀도 무작위 샘플링과 다수의 의사결정 트리 => Random Forest 결정 트리(Decision Tree) 분류(Classification)와 회귀(Regression) 모두 가능한 지도 학습 모델 중 하나 결정 트리는 스무고개 하듯이 예/아니오 질문을 이어가며 학습 한번의 분기 때마다 변수 영역을 두 개로 구분 매, 펭귄, 돌고래, 곰을 구분한다고 생각해봅시다 Terminal Node는 LeafNode 라고도 함 프로세스 먼저 데이터를 가장 잘 구분할 수 있는 질문을 기준으로 나누기 나뉜 각 범주에서 또 다시 데이터.. 공감수 0 댓글수 0 2020. 7. 28.
SVM 머신러닝 서포트 벡터 머신(SVM) - Support Vector Machine 다양한 연구를 통해 굉장히 높은 인식 성능 발휘 선을 구성하는 매개변수를 조정해서 요소의 구분선을 찾고 이른 기반으로 패턴 인식 주어진 데이터가 어느 카테고리에 속할지 판단하는 이진 선형 분류 모델 서포트 벡터 머신(SVM) 개념 빨간 X와 파란 O 구분하는 선중 두 데이터를 잘 구분한 선은? Margin의 최대화 가운데 선이 Margin을 최대화 Margin은 선과 가장 가까운 양 옆 데이터와의 거리 서포트 백터(Support) : 선과 가장 가까운 포인트 Margin은 선과 서포트 벡터와의 거리 Descision Boundary : 데이터 구분하는 선 Robustness 양 옆 서포트 벡터와의 Margin을 최대화하면 r.. 공감수 0 댓글수 0 2020. 7. 28.
데이터 전처리 데이터 전처리 Data Preprocessing 어떤 데이터를 입력으로 가지느냐에 따라 결과가 크게 달라짐 (Garbage In, Garbage Out) 사이킷런 ML 알고리즘을 적용하기 전 처리할 기본 사항 결손값, NaN, Null 허용 안됨 문자열값 허용 안됨 결손값, NaN, Null 처리 결손값등이 얼마 되지 않는 다면 피처의 평균값 등으로 간단히 처리 결손값등이 대분이라면 해당 피처 Drop 결손값등이 일정 수준 이상되는 경우 일정 수준의 기준이 없어 선택이 어려움 중요도가 높은 피처이고 단순히 평균값등로 대체할 경우 예측 왜곡이 심할 수 있다면 상세히 검토해 더 정밀한 대체 값을 선정 해야 함 문자열값 처리 모든 문자열은 인코딩돼서 숫자로 변환 문자열 피처는 카테고리형 피처와 텍스트 피처를 .. 공감수 0 댓글수 0 2020. 7. 23.
Machine-Learning 머신러닝이란? 머신러닝(machine learning) 개요 머신러닝이란 인공지능 연구 과제 중 하나 인간의 뇌가 학습하는 것처럼 학습의 능력을 컴퓨터로 구현하는 방법 샘플 데이터 입력 => 분석 => 특징과 규칙 발견 => 데이터분류 또는 예측 어떻게 특징과 규칙을 찾을까? 특징량을 기반으로 구분선 그리기 머신러닝 계산을 통해 구분선을 찾아 내는 것 많은 경우 거리가 가까우면 비슷한 데이터라고 판정 특징 추출 Raw Data => 데이터가 어떤 특징을 가지고 있는 지 확인 => 벡터(vector) 벡터란 공간에서 크기와 방향을 가지는 것을 의미 어떤 특징을 추출할지가 포인트 회귀 분석 regression analysis Y가 연속된 값일 때 Y = f(x) 모델로 나타 내는 것 Y = aX + b 인 .. 공감수 1 댓글수 0 2020. 7. 23.
자연어 처리 예제 여자친구 선물 고르기 네이버에서 여자친구 선물 검색 검색 결과를 가지고 텍스트 마이닝 작업 import pandas as pd import numpy as np import platform import matplotlib.pyplot as plt %matplotlib inline path = "c:/Windows/Fonts/malgun.ttf" from matplotlib import font_manager, rc if platform.system() == 'Darwin': rc('font', family='AppleGothic') elif platform.system() == 'Windows': font_name = font_manager.FontProperties(fname=path).get_name.. 공감수 0 댓글수 0 2020. 7. 22.
KoNLP(자연어처리) 자연어 처리 시작하기 https://wikidocs.net/book/2155 설치 목록 JDK (Java SE Downloads) JAVA_HOME 설정 JPype 설치 (https://lovit.github.io/nlp/2018/07/06/java_in_python/) KoNLPy 설치 (Lucy Park님이 개발 https://pinkwink.kr/1025) nltk 설치(https://wikidocs.net/22488), https://datascienceschool.net/view-notebook/8895b16a141749a9bb381007d52721c1/ Word Cloud 설치 한글 자연어 처리 기초 - KoNLPy 및 필요 모듈의 설치 콘다 콘솔에서 설치 KoNLPy : pip install.. 공감수 0 댓글수 0 2020. 7. 22.
Pandas - pivot_table, Seaborn pandas의 pivot_table 익히기 import pandas as pd import numpy as np df = pd.read_excel("DataScience_Ing/data/02. sales-funnel.xlsx") df.head() Account Name Rep Manager Product Quantity Price Status 0 714466 Trantow-Barrows Craig Booker Debra Henley CPU 1 30000 presented 1 714466 Trantow-Barrows Craig Booker Debra Henley Software 1 10000 presented 2 714466 Trantow-Barrows Craig Booker Debra Henley Mai.. 공감수 0 댓글수 0 2020. 7. 20.
Pandas 기초 가장 많이 사용하는 것들 위주로 정리 Pandas 시작 - 파일을 DataFrame 로딩, 기본 API 웨스 매키니(Wes McKinney) 월스트리트 금융회사 분석 전문가 회사에서 사용하는 분석용 데이터 핸들링 툴이 마음에 안들어서 Pandas 개발 행과 열로 이루어진 2차원 데이터를 효율적으로 가공/처리할 수 있는 기능 제공 파이썬의 리스트, 넘파이, CSV등 파일을 쉽게 DataFrame으로 변경해 데이터의 가공/분석을 편리하게 수행 Series 칼럼이 하나 뿐인 데이터 구조체 DataFrame 컬럼이 여러 개인 데이터 구조체 여러개의 Series로 구성 Index RDBMS의 PK 처럼 개별 데이터를 고유하게 식별하는 Key 값 Series, DataFrame은 모두 index를 Key 값으로 가.. 공감수 0 댓글수 0 2020. 7. 16.
Numpy 기본 가장 많이 사용하는 것들 위주로 정리 Numpy ndarray 개요 머신러닝 주요 알고리즘은 선형대수와 통계 등에 기반함 Numpy는 선형대수 기반 프로그램을 쉽게 만들 수 있는 패키지 루프 없이 대량의 데이터 배열 연산을 빠르게 처리 2차원 행과 열의 데이터 처리는 판다스(Pandas)가 더 편리 기반 데이터 타입 : ndarray #pip install numpy import numpy as np # 파이썬의 list 값을 ndarray로 변환 array1 = np.array([1,2,3]) print('array1 type : ', type(array1)) # 1차원 리스트를 넣으면 행이 기본 print('array1 array 형태 : ', array1.shape) array2 = np.array.. 공감수 0 댓글수 0 2020. 7. 16.
추정치 구하기 추정치 구하기 predict() 사용 야구 데이터 추정하기 홈런(HR)에 대한 루타(TB) 회귀분석 하기 # 데이터 로드 df_kbo |t|) (Intercept) -109.26964 24.92619 -4.384 0.00234 ** TB 0.14411 0.01661 8.677 2.42e-05 *** --- Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: 7.963 on 8 degrees of freedom Multiple R-squared: 0.9039, Adjusted R-squared: 0.8919 F-statistic: 75.28 on 1 and 8 DF, p-value: 2.423e-05 #.. 공감수 0 댓글수 0 2020. 7. 14.
회귀분석 회귀 분석 단순 선형 회귀모델(Simple linear regression) 키가 큰 아이를 낳기 위해서는 키 큰 배우자와 결혼? 연구자 : 칼톤(Galton) => 피어슨(Pearson) 진화론 반박을 위해 연구 가설 : 진화론에 따르면 키가 큰 아버지의 자직은 점점 커지고 키가 작은 아버지의 자식은 점점 작아 진다 피어슨 공식 : Y = 83.73 + 0.516 X , X는 아버지의 키 키가 큰 아버지의 자식은 아버지보다 작고 전체 평균보다는 크다 키가 작은 아버지의 자식은 아버지보다 크고 전체 평균보다는 작다 자식의 키는 아버지 키에 영향을 받는다 하더라도 결국 평균으로 돌아가려는 현상 아버지의 키와 아들의 키가 서로 연관성이 있다는 사실 회귀분석 상관계수는 관계의 긴밀함을 수치적으로 계산 회귀분석.. 공감수 0 댓글수 0 2020. 7. 13.
확률 - 예제 확률(Probability) 실전예제 10년치 편의점 판매 데이터 분석하기 1500만건 특정 상품을 정해 시간당 몇 개씩 팔리는 지 분석 확률실험 관측값(팔린갯수)를 확률변수로 사용 ★ 확률변수 : 무작위 실험을 했을 때, 특정 확률로 발생하는 각각의 결과를 수치적 값으로 표현하는 변수 ex) 동전 2개를 던져 숫자가 나오는 경우의 확률변수 = [0, 1, 2] / 주사위 2개를 던져 나온 눈의 합의 평균을 구할때 확률변수 = [2~12] https://drhongdatanote.tistory.com/49 https://namu.wiki/w/%ED%99%95%EB%A5%A0%20%EB%B3%80%EC%88%98 시간당 판매갯수 확률변수로 분석하기 # 대량의 데이터 빠르게 library(data.table.. 공감수 0 댓글수 0 2020. 7. 13.
확률 확률(Probability) 기술통계 : 시각화와 표본 확률 : 모집단 확률 실험 => 확률 변수 => 확률 분포 => 모수 추론 => 검증 => 의미파악 위 과정을 거처 모집단의 특징을 말하는 것 => 추론 통계학은 모두 조사할 수 없는 모집단을 알기 위해 표본을 설명하면서 발전 최근에는 IT 기술 발전으로 큰데이터를 다룰 수 있어 그 의미가 변해가고 있음 정해진 확률 구하기 확률실험 실험으로 나올 수 있는 결과를 모두 알고 있지만 어떤 결과가 나올지 모르는 실험 동전 던지기 앞면 나올 확률 주사위 던지기 2 나올 확률 표본 공간 확률실험에서 나올 수 있는 결과 집합 동전 : {앞면, 뒷면} 주사위 : {1, 2, 3, 4, 5, 6} 사건 표본 공간에서 알고 싶은 결과 표본 공간의 부분집합 동전던지기.. 공감수 0 댓글수 0 2020. 7. 13.
시각화 - D3.js 시각화 보고를 위한 그래프 그리기 D3.sj 와 그 외 JS 그래프 D3.js 는 html, javascirpt 로 만들 수 있는 그래프 R에서는 rCharts 를 이용 html, js를 몰라도 사용 가능 rChart : JS 라이브러리를 R 에서 직접 사용하게 해주는 패키지 D3.js 는 인터랙티브 그래프 install.packages('devtools') also installing the dependencies 'ini', 'gh', 'rematch2', 'rex', 'crosstalk', 'xopen', 'brew', 'usethis', 'covr', 'DT', 'git2r', 'memoise', 'rcmdcheck', 'remotes', 'roxygen2', 'rversions', 'sessio.. 공감수 0 댓글수 0 2020. 7. 9.
시각화 - 예제 시각화 EDA 연습 상관관계가 높은 변수쌍 찾기 DataSet : mtcars - R 기본 내장 Motor Trend Car Road Test Motor Trend 잡지로 부터 추출된 자료 1973~1974년도 각기 종류가 다른 32대의 자동차 자료 mpg(Miles/gallon) : 연비 cyl(Number of cylinders) : 실린더 수 disp(Displacement) : 배기량 hp(Gross horsepower) : 마력 drat(Rear axle ratio) : 후방 차축 비율 wt(Weight) : 차체 무게 qsec (1/4 mile time) : 400m 까기 걸리는 시간 vs(V/S) am (Transmission 0 = auto, 1 = manual) gear (Number o.. 공감수 0 댓글수 0 2020. 7. 9.
시각화 시각화 여러 그래프로 데이터 나타내기 분석 탐색적 자료 분석(EDA, Exploratory Data Analysis) 확증적 자료 분석(CDA, Cofirmatory Data Analysis) 탐색적 자료 분석(EDA, Exploratory Data Analysis) 빠르게 자료의 특징을 찾는 행위 확증적 자료 분석(CDA, Cofirmatory Data Analysis) 느리더라도 확실한 결론을 내리는 행위 자료의 현시성 자료를 빠르게 그래프로 그리고 그래프를 통해 자료의 특징을 찾아내고 탐색하는 것 시각화 시각화를 통해 데이터의 특징을 찾아내는데 효과적 자료의 특징은 어떤 결론을 확증하는 증거 Report 탐색적 자료 분석의 정신이 필요 아무것도 보이지 않는 데이터를 가지고 조금씩 길을 찾아가는 정신.. 공감수 0 댓글수 0 2020. 7. 7.
기술통계 - 실전 예제 기술 통계 실전 예제 전국 연령별 평균 월급 조사 # 데이터 로드 # 통계청 2013년 발표 연령, 남녀, 경력별 평균월급 데이터셋 df 영문으로 바꾸기 colnames(df) colnames(df) 공감수 0 댓글수 0 2020. 7. 7.
기술통계 기술통계 통계로 개념 이해하기 기술통계 데이터를 수학으로 기술하는 것 수치로 특징을 말하는 이유는 정확하기 때문 어떤 사실을 말할 때 높은 설득력 평균(mean) 모든 데이터를 끌어안고 무게중심을 지키는 평균 기호( Summation) 의 정의는 다음과 같다. 모집답 vs 표본 모평균 vs 표본평균 모분산 vs 표본분산 모표준편차 vs 표본표준편차 기술통계에서 말하는 값들은 모두 표본에 해당하는 값 아웃라이어(outlier) 평균을 크게 변하게 만드는 값 아웃라이어를 찾기 위한 그래프 Box Plot 무조건 제거 대상이 아니라 1차적 분석대상 왜 발생했는지와 데이터에 어떤 영향을 미치는 지등 파악 중앙값(median) outlier에 의해 데이터 대표값(평균등)이 많이 변하는 점 보완 [52, 52, 6.. 공감수 0 댓글수 0 2020. 7. 6.
데이터 개념 예제로 이해하기 데이터 개념 이해하기 예제로 이해하기 hflights 패키지 - 20만건 이상의 데이터 # 패키지 설치 install.packages('hflights') package 'hflights' successfully unpacked and MD5 sums checked The downloaded binary packages are in C:\Users\205\AppData\Local\Temp\RtmpwtIKSj\downloaded_packages # 공통 패키지 로드 library(ggplot2) Warning message: "package 'ggplot2' was built under R version 3.6.3" library(hflights) # 구조 살펴보기 - str() str(hflights) .. 공감수 0 댓글수 0 2020. 7. 6.
데이터 개념 이해하기 데이터 개념 이해하기 통계로 개념 이해하기 표로 데이터 정리하기 통계에서 데이터를 다루는 것은 데이터를 '표'로 잘 정리하고 나타내는 것 데이터의 종류 데이터의 종류에 따라 데이터 분석 방법이 다름! 수치형 데이터 이산형 데이터 : 독립적인 값, 정수 > 이항 분포를 따르는 확률질량함수 연속형 데이터 : 연속적인 값, 실수 > 확률밀도함수 범주형 데이터 명목형 데이터 : 순서 없는 문자 > 남,여 순서형 데이터 : 순서 있는 문자 > 학점(A~F) 데이터 손질하기 데이터를 표로 잘 정리하는 것은 통계 전체 작업에서 50%이상을 완성 했다는 의미 명목형 변수 - 도수분포표 도수 : 거듭하는 횟수 측정한 값의 빈도수를 정리한 표 명목형 변수 - 상대도수분포표 상대도수 : 변수값이 전체 변수값에서 어떤 비중을.. 공감수 0 댓글수 0 2020. 7. 2.
R 필수 설치 패키지 진행에 필요한 예제파일 다운로드 https://cafe.naver.com/peelr/1070 압축 풀고 폴더명 'r-ggagi-data'로 변경할 것 필수 설치 패키지 install.packages('ggplot2') Installing package into 'C:/Users/205/Documents/R/win-library/3.6' (as 'lib' is unspecified) also installing the dependency 'isoband' package 'isoband' successfully unpacked and MD5 sums checked package 'ggplot2' successfully unpacked and MD5 sums checked The downloaded binar.. 공감수 1 댓글수 0 2020. 7. 2.
Python 가상환경 생성 및 R 주피터 노트북 연결 Python 가상환경 생성 및 R 주피터 노트북 연결 Anaconda Prompt 실행 파이썬 버전 확인 python --version / python -V 아나콘다 버전 확인 conda --version / conda -V 아나콘다 update conda update conda 가상환경 list conda info --envs 가상환경 생성 conda create --name (venv_name) python python=3.7 venv_name 에 원하는 가상환경 이름 넣기 r_study로 작성 가상환경 삭제 conda remove --name (venv_name) --all 가상환경 활성화 conda activate (venv_name) 주피터 노트북 설치 conda install jupyter n.. 공감수 0 댓글수 0 2020. 7. 2.
R 기초 R 기초 1-1 함수와 객체 기초는 R studio로 작성(R studio에 익숙해지기 위함) 이후 jupyter notebook으로 작성 https://cran.r-project.org/bin/windows/base/ https://rstudio.com/products/rstudio/download/ 함수 사용 방법 # hello world 출력 print('Hello World') [1] "Hello World" # R은 계산기 9*8*7*6*5*4*3*2*1 # factorial(9) factorial(9) # 함수 인자 rep(x='밥먹자', times=5) # 함수 인자 생략 rep('밥먹자', 5) # 함수 인자 위치 바꾸기 rep(times=5, x='밥먹자') # 함수 인자 생략시 순서 중.. 공감수 0 댓글수 0 2020. 7. 2.
빅데이터 분석 7. 빅데이터 분석 빅데이터 분석 개요 빅데이터 분석에 활용되는 기술 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 파일럿 실행 2단계 - 분석 환경 구성 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 빅데이터 분석 개요 탐색 단계 : 데이터를 관찰하고 이해하는 과정 분석 단계 : 탐색과 분석을 반복하며 의미 있는 데이터를 추출해 문제를 명확히 정의하고 해결하는 과정 강력한 오픈소스 기술을 기반으로 수평적 확장이 가능해 저비용으로 선형적인 분석 성능 보장 내부업무 시스템에서 발생했던 수년치 데이터를 외부 데.. 공감수 0 댓글수 0 2020. 7. 1.
빅데이터 탐색 6. 빅데이터 탐색 빅데이터 탐색 개요 빅데이터 탐색에 활용되는 기술 탐색 파일럿 실행 1단계 - 탐색 아키텍처 탐색 파일럿 실행 2단계 - 탐색 환경 구성 탐색 파일럿 실행 3단계 - 탐색 기능 구현 탐색 파일럿 실행 4단계 - 탐색 기능 테스트 빅데이터 탐색 개요 탐색 영역은 적재된 데이터를 가공하고 이해하는 단계 데이터 이해 => 데이터들의 패턴, 관계, 트렌드 찾기 => 탐색적 분석(EDA:Exploratory Data Analysis) 탐색 과정은 분석에 들어가기에 앞서 빅데이터의 품질과 인사이트를 확보하는 매우 중요한 단계 비정형 데이터를 정교한 후처리 작업(필터링, 클린징, 통합, 분리 등) => 정형화 데이터 탐색 결과는 곧 바로 분석 마트를 위한 기초데이터로 활용 이런 일련의 처리/탐색,.. 공감수 0 댓글수 0 2020. 7. 1.
빅데이터 적재 - 실시간 로그 파일 적재 5. 빅데이터 적재 - 실시간 로그 파일 적재 빅데이터 실시간 적재 개요 빅데이터 실시간 적재에 활용되는 기술 실시간 적재 파일럿 실행 1단계 - 적재 아키텍처 실시간 적재 파일럿 실행 2단계 - 적재 환경 구성 실시간 적재 파일럿 실행 3단계 - 적재 기능 구현 실시간 적재 파일럿 실행 4단계 - 적재 기능 테스트 빅데이터 실시간 적재 개요 적재 직전에 실시간 분석 작업 수행 => 인메모리 시스템 Redis 실시간 발생하는 대규모 메세지 시속하게 영구 저장 => NoSQL => HBase 제약 사항이 적고 랜덤 액세스가 가능해져 대규모 실시간 처리 가능 빅데이터 실시간 적재에 활용할 기술 NoSQL HBase http://hbase.apache.org 하둡 기반 칼럼지향(Column-Oriented) .. 공감수 0 댓글수 0 2020. 6. 26.
빅데이터 적재 - 대용량 로그 파일 적재 4. 빅데이터 적재 - 대용량 로그 파일 적재 빅데이터 적재 개요 빅데이터 적재에 활용되는 기술 적재 파일럿 실행 1단계 - 적재 아키텍처 적재 파일럿 실행 2단계 - 적재 환경 구성 적재 파일럿 실행 3단계 - 적재 기능 구현 적재 파일럿 실행 4단계 - 적재 기능 테스트 빅데이터 적재 개요 수집한 데이터를 어디에, 어떻게 저장 할 것인가? 적재 후 분석 방식과 업무 시스템 성격에 따라 달리 구성 분산 파일, NoSQL, 메모리 캐시등 적재 저장소 유형 P137 그림 4-2 참고 내/외부 원천 데이터 정형 데이터 : 데이터베이스(관계/계층/객체/네트워크) 반정형 데이터: HTML / XML / JSON / 서버로그 비정형 데이터: 소셜미디어, 문서, 이미지, 오디오, 비디오, IoT 적재 저장소 유형 .. 공감수 0 댓글수 0 2020. 6. 25.
빅데이터 수집 3. 빅데이터 수집 빅데이터 수집 개요 빅데이터 수집에 활용되는 기술 수집 파일럿 실행 1단계 - 수집 아키텍처 수집 파일럿 실행 2단계 - 수집 환경 구성 수집 파일럿 실행 3단계 - 플럼 수집 기능 구현 수집 파일럿 실행 4단계 - 카프카 수집 기능 구현 수집 파일럿 실행 5단계 - 수집 기능 테스트 빅데이터 수집 개요 빅데이터 시스템 구축은 수집부터 시작 수집이 전체 공정의 절반 이상 차지 수집 범위 P106 그림 3-2 참고 조직 전체 시스템 외부 시스템(SNS, 포털, 정부기관 등) 빅데이터 프로세싱 과거 수집 / 적재 후 맵리듀스 기반의 주기적인 배치성 분석 현재 수집과 동시에 분석 ESP(Event Stream Proccessing) 파일럿 : 운저자 상태 정보 실시간 수집하고 다양한 운행패.. 공감수 0 댓글수 0 2020. 6. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.