Bigdata Bigdata

여자친구 선물 고르기 네이버에서 여자친구 선물 검색 검색 결과를 가지고 텍스트 마이닝 작업 import pandas as pd import numpy as np import platform import matplotlib.pyplot as plt %matplotlib inline path = "c:/Windows/Fonts/malgun.ttf" from matplotlib import font_manager, rc if platform.system() == 'Darwin': rc('font', family='AppleGothic') elif platform.system() == 'Windows': font_name = font_manager.FontProperties(fname=path).get_name..

자연어 처리 시작하기 https://wikidocs.net/book/2155 설치 목록 JDK (Java SE Downloads) JAVA_HOME 설정 JPype 설치 (https://lovit.github.io/nlp/2018/07/06/java_in_python/) KoNLPy 설치 (Lucy Park님이 개발 https://pinkwink.kr/1025) nltk 설치(https://wikidocs.net/22488), https://datascienceschool.net/view-notebook/8895b16a141749a9bb381007d52721c1/ Word Cloud 설치 한글 자연어 처리 기초 - KoNLPy 및 필요 모듈의 설치 콘다 콘솔에서 설치 KoNLPy : pip install..

pandas의 pivot_table 익히기 import pandas as pd import numpy as np df = pd.read_excel("DataScience_Ing/data/02. sales-funnel.xlsx") df.head() Account Name Rep Manager Product Quantity Price Status 0 714466 Trantow-Barrows Craig Booker Debra Henley CPU 1 30000 presented 1 714466 Trantow-Barrows Craig Booker Debra Henley Software 1 10000 presented 2 714466 Trantow-Barrows Craig Booker Debra Henley Mai..

가장 많이 사용하는 것들 위주로 정리 Pandas 시작 - 파일을 DataFrame 로딩, 기본 API 웨스 매키니(Wes McKinney) 월스트리트 금융회사 분석 전문가 회사에서 사용하는 분석용 데이터 핸들링 툴이 마음에 안들어서 Pandas 개발 행과 열로 이루어진 2차원 데이터를 효율적으로 가공/처리할 수 있는 기능 제공 파이썬의 리스트, 넘파이, CSV등 파일을 쉽게 DataFrame으로 변경해 데이터의 가공/분석을 편리하게 수행 Series 칼럼이 하나 뿐인 데이터 구조체 DataFrame 컬럼이 여러 개인 데이터 구조체 여러개의 Series로 구성 Index RDBMS의 PK 처럼 개별 데이터를 고유하게 식별하는 Key 값 Series, DataFrame은 모두 index를 Key 값으로 가..

가장 많이 사용하는 것들 위주로 정리 Numpy ndarray 개요 머신러닝 주요 알고리즘은 선형대수와 통계 등에 기반함 Numpy는 선형대수 기반 프로그램을 쉽게 만들 수 있는 패키지 루프 없이 대량의 데이터 배열 연산을 빠르게 처리 2차원 행과 열의 데이터 처리는 판다스(Pandas)가 더 편리 기반 데이터 타입 : ndarray #pip install numpy import numpy as np # 파이썬의 list 값을 ndarray로 변환 array1 = np.array([1,2,3]) print('array1 type : ', type(array1)) # 1차원 리스트를 넣으면 행이 기본 print('array1 array 형태 : ', array1.shape) array2 = np.array..

WEB-API(Application Programming Interface) 웹서비스의 정보를 웹사이트를 통해 제공 : 크롤링으로 수집(비공식 수집) 웹API : AIP 정보로 수집(공식적으로 수집) 공공데이터 포털 공공데이터 포털 가입 https://www.data.go.kr 앱 ID 등록(개발자 계정) 각 서비스 별로 신청 출입국관광통계서비스 사이트에서 검색 후 활용 신청 출입국관광통계조회 관광자원통계서비스 전국 유료 관광지 입장객 정보 수집 import requests import os import sys import datetime import time #pip install matplotlib import matplotlib.pyplot as plt import matplotlib from ma..

Naver_API를 이용한 검색기(json) import requests 책 검색 함수 def py_xml_proc_book(resp): book = resp.json() book_all = book['items'] for book_one in book_all: title_b = book_one['title'] title = title_b.replace('','').replace('','') price = book_one['price'] discount = book_one['discount'] print('* Title : {}'.format(title)) print('* Price : {}'.format(price)) print('* Discount : {}'.format(discount)) print..

Naver_API를 이용한 검색기(xml) from bs4 import BeautifulSoup import requests 책 검색 def py_xml_proc_book(resp): soup = BeautifulSoup(resp.text) book_all = soup.select('item') for book_one in book_all: title_b = book_one.select_one('title').text title = title_b.replace('','').replace('','') price = book_one.select_one('price').text discount = book_one.select_one('discount').text print('* Title : {}'.forma..