Bigdata Bigdata

머신러닝이란? 머신러닝(machine learning) 개요 머신러닝이란 인공지능 연구 과제 중 하나 인간의 뇌가 학습하는 것처럼 학습의 능력을 컴퓨터로 구현하는 방법 샘플 데이터 입력 => 분석 => 특징과 규칙 발견 => 데이터분류 또는 예측 어떻게 특징과 규칙을 찾을까? 특징량을 기반으로 구분선 그리기 머신러닝 계산을 통해 구분선을 찾아 내는 것 많은 경우 거리가 가까우면 비슷한 데이터라고 판정 특징 추출 Raw Data => 데이터가 어떤 특징을 가지고 있는 지 확인 => 벡터(vector) 벡터란 공간에서 크기와 방향을 가지는 것을 의미 어떤 특징을 추출할지가 포인트 회귀 분석 regression analysis Y가 연속된 값일 때 Y = f(x) 모델로 나타 내는 것 Y = aX + b 인 ..

7. 빅데이터 분석 빅데이터 분석 개요 빅데이터 분석에 활용되는 기술 분석 파일럿 실행 1단계 - 분석 아키텍처 분석 파일럿 실행 2단계 - 분석 환경 구성 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 빅데이터 분석 개요 탐색 단계 : 데이터를 관찰하고 이해하는 과정 분석 단계 : 탐색과 분석을 반복하며 의미 있는 데이터를 추출해 문제를 명확히 정의하고 해결하는 과정 강력한 오픈소스 기술을 기반으로 수평적 확장이 가능해 저비용으로 선형적인 분석 성능 보장 내부업무 시스템에서 발생했던 수년치 데이터를 외부 데..