Bigdata Bigdata

스타벅스 전국 매장 Crawling 찾은 스타벅스 매장 지도에 표시 데이터 csv 파일로 저장 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from bs4 import BeautifulSoup import time import folium import collections from collections import Or..

카카오API를 사용하여 호식이두마리치킨 가맹점 찾기 가맹점이름(jijum), 전화번호(tel), 주소(addr), 위도(x), 경도(y) tinydb를 사용하여 데이터 저장 folium을 이용하여 지도에 표시 구글지도 : 96개 / 네이버지도 : 300개 정도 검색됨, 카카오지도에서 800개이상 지점 확인 카카오API로 찾을 때 'total_count'값이 45가 넘으면 46번째부터는 출력 불가능 ★ rect로 지도를 사각형 범위로 잘라서 지점을 확인하고 'search_count'가 45를 넘으면 해당 지점 4등분 하여 다시 지점 확인 import requests import folium import collections from tinydb import TinyDB, Query # kakao api를 ..

WEB-API(Application Programming Interface) 웹서비스의 정보를 웹사이트를 통해 제공 : 크롤링으로 수집(비공식 수집) 웹API : AIP 정보로 수집(공식적으로 수집) 공공데이터 포털 공공데이터 포털 가입 https://www.data.go.kr 앱 ID 등록(개발자 계정) 각 서비스 별로 신청 출입국관광통계서비스 사이트에서 검색 후 활용 신청 출입국관광통계조회 관광자원통계서비스 전국 유료 관광지 입장객 정보 수집 import requests import os import sys import datetime import time #pip install matplotlib import matplotlib.pyplot as plt import matplotlib from ma..

카카오 API와 openpyxl를 이용한 서울시 무인발급기 위치 확인하기 https://www.minwon.go.kr/new_info/customer/AA090_CM010_No_man_popup.jsp '설치장소' 이미지를 누르면 xls 다운로드됨 import openpyxl import requests import folium openpyxl을 이용하여 무인발급기 주소, 발급기명 저장 xls 파일은 오래된 파일이라 인식 X ==> xlsx 파일로 저장하고 진행 참고 블로그 : https://doitnow-man.tistory.com/159 ex = openpyxl.load_workbook('./2020년04월30일기준_무인민원발급창구_설치장소_및_운영시간(민원24).xlsx') muin = ex['4월..

식신로드, 역대 서울지역 '만점 식당' 20선에 나온 식당위치 지도에 표시하기 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from bs4 import BeautifulSoup import time import requests import folium chrome_driver = 'D:/bigdata/Jupyter_py..

Naver_API를 이용한 검색기(json) import requests 책 검색 함수 def py_xml_proc_book(resp): book = resp.json() book_all = book['items'] for book_one in book_all: title_b = book_one['title'] title = title_b.replace('','').replace('','') price = book_one['price'] discount = book_one['discount'] print('* Title : {}'.format(title)) print('* Price : {}'.format(price)) print('* Discount : {}'.format(discount)) print..

Naver_API를 이용한 검색기(xml) from bs4 import BeautifulSoup import requests 책 검색 def py_xml_proc_book(resp): soup = BeautifulSoup(resp.text) book_all = soup.select('item') for book_one in book_all: title_b = book_one.select_one('title').text title = title_b.replace('','').replace('','') price = book_one.select_one('price').text discount = book_one.select_one('discount').text print('* Title : {}'.forma..

WEB-API(Application Programming Interface) 웹서비스의 정보를 웹사이트를 통해 제공 : 크롤링으로 수집(비공식 수집) 웹API : AIP 정보로 수집(공식적으로 수집) 네이버 API 네이버 가입 https://www.naver.com 앱 ID 등록(개발자 계정) https://developers.naver.com/ 서비스API > 검색 > OpenAPI 신청 Client ID / Client Secret 발급 확인 검색 API 활용 책, 뉴스, 블로그, 카페 글 수집 c_id = '__User_id__' c_secret = '__User_secret__' # naver api 개발 가이드 기본 코드 import os import sys import urllib.reques..