Bigdata Bigdata

카카오API를 사용하여 호식이두마리치킨 가맹점 찾기 가맹점이름(jijum), 전화번호(tel), 주소(addr), 위도(x), 경도(y) tinydb를 사용하여 데이터 저장 folium을 이용하여 지도에 표시 구글지도 : 96개 / 네이버지도 : 300개 정도 검색됨, 카카오지도에서 800개이상 지점 확인 카카오API로 찾을 때 'total_count'값이 45가 넘으면 46번째부터는 출력 불가능 ★ rect로 지도를 사각형 범위로 잘라서 지점을 확인하고 'search_count'가 45를 넘으면 해당 지점 4등분 하여 다시 지점 확인 import requests import folium import collections from tinydb import TinyDB, Query # kakao api를 ..

WEB-API(Application Programming Interface) 웹서비스의 정보를 웹사이트를 통해 제공 : 크롤링으로 수집(비공식 수집) 웹API : AIP 정보로 수집(공식적으로 수집) 공공데이터 포털 공공데이터 포털 가입 https://www.data.go.kr 앱 ID 등록(개발자 계정) 각 서비스 별로 신청 출입국관광통계서비스 사이트에서 검색 후 활용 신청 출입국관광통계조회 관광자원통계서비스 전국 유료 관광지 입장객 정보 수집 import requests import os import sys import datetime import time #pip install matplotlib import matplotlib.pyplot as plt import matplotlib from ma..

카카오 API와 openpyxl를 이용한 서울시 무인발급기 위치 확인하기 https://www.minwon.go.kr/new_info/customer/AA090_CM010_No_man_popup.jsp '설치장소' 이미지를 누르면 xls 다운로드됨 import openpyxl import requests import folium openpyxl을 이용하여 무인발급기 주소, 발급기명 저장 xls 파일은 오래된 파일이라 인식 X ==> xlsx 파일로 저장하고 진행 참고 블로그 : https://doitnow-man.tistory.com/159 ex = openpyxl.load_workbook('./2020년04월30일기준_무인민원발급창구_설치장소_및_운영시간(민원24).xlsx') muin = ex['4월..

식신로드, 역대 서울지역 '만점 식당' 20선에 나온 식당위치 지도에 표시하기 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from bs4 import BeautifulSoup import time import requests import folium chrome_driver = 'D:/bigdata/Jupyter_py..

Naver_API를 이용한 검색기(json) import requests 책 검색 함수 def py_xml_proc_book(resp): book = resp.json() book_all = book['items'] for book_one in book_all: title_b = book_one['title'] title = title_b.replace('','').replace('','') price = book_one['price'] discount = book_one['discount'] print('* Title : {}'.format(title)) print('* Price : {}'.format(price)) print('* Discount : {}'.format(discount)) print..

Naver_API를 이용한 검색기(xml) from bs4 import BeautifulSoup import requests 책 검색 def py_xml_proc_book(resp): soup = BeautifulSoup(resp.text) book_all = soup.select('item') for book_one in book_all: title_b = book_one.select_one('title').text title = title_b.replace('','').replace('','') price = book_one.select_one('price').text discount = book_one.select_one('discount').text print('* Title : {}'.forma..

WEB-API(Application Programming Interface) 웹서비스의 정보를 웹사이트를 통해 제공 : 크롤링으로 수집(비공식 수집) 웹API : AIP 정보로 수집(공식적으로 수집) 네이버 API 네이버 가입 https://www.naver.com 앱 ID 등록(개발자 계정) https://developers.naver.com/ 서비스API > 검색 > OpenAPI 신청 Client ID / Client Secret 발급 확인 검색 API 활용 책, 뉴스, 블로그, 카페 글 수집 c_id = '__User_id__' c_secret = '__User_secret__' # naver api 개발 가이드 기본 코드 import os import sys import urllib.reques..

Selenium 웹페이지 테스트 자동화용 모듈 개발/테스트용 드라이버(웹브라우저)를 사용하여 실제 사용자가 사용하는 것처럼 동작 크롬 드라이버 다운로드 PhantomJS 사용자는 크롬 headliess 모드 사용 추천 Anaconda Navigator > Environments > Not installed> selenium 설치 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium..