Bigdata Bigdata

팀명 : GB the finance 작업기간 : 8/3 ~ 8/14 (2주) 평일 2시~7시 작업 주제 : 금융 데이터 분석 담당 : 커뮤니티 키워드 링크 : https://kimhg9511.github.io/bigdata_project/home 작업물 : 대시보드 - 심은식 notebook 아쉬운점 1. 셀레니움으로 크롤링 진행에 에러가 많아 시간이 생각보다 많이 소요됨(첫주는 거의 오류수정으로 날리게됨) 2. 구글링 해보고 나서 requests로 크롤링 진행하는데 time.sleep() 옵션을 안주면 디도스로 오해받아 약 1시간 정도 크롤링 불가능하여 적절한 값을 찾아야 했음 3. 크롤링 시간이 약 4일정도 걸려서 작업이 딜레이됨 4. 2019년 한 해 글이 가장 많았던 디시인사이드 '비트코인 갤러리..

스타벅스 전국 매장 Crawling 찾은 스타벅스 매장 지도에 표시 데이터 csv 파일로 저장 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from bs4 import BeautifulSoup import time import folium import collections from collections import Or..

카카오API를 사용하여 호식이두마리치킨 가맹점 찾기 가맹점이름(jijum), 전화번호(tel), 주소(addr), 위도(x), 경도(y) tinydb를 사용하여 데이터 저장 folium을 이용하여 지도에 표시 구글지도 : 96개 / 네이버지도 : 300개 정도 검색됨, 카카오지도에서 800개이상 지점 확인 카카오API로 찾을 때 'total_count'값이 45가 넘으면 46번째부터는 출력 불가능 ★ rect로 지도를 사각형 범위로 잘라서 지점을 확인하고 'search_count'가 45를 넘으면 해당 지점 4등분 하여 다시 지점 확인 import requests import folium import collections from tinydb import TinyDB, Query # kakao api를 ..

카카오 API와 openpyxl를 이용한 서울시 무인발급기 위치 확인하기 https://www.minwon.go.kr/new_info/customer/AA090_CM010_No_man_popup.jsp '설치장소' 이미지를 누르면 xls 다운로드됨 import openpyxl import requests import folium openpyxl을 이용하여 무인발급기 주소, 발급기명 저장 xls 파일은 오래된 파일이라 인식 X ==> xlsx 파일로 저장하고 진행 참고 블로그 : https://doitnow-man.tistory.com/159 ex = openpyxl.load_workbook('./2020년04월30일기준_무인민원발급창구_설치장소_및_운영시간(민원24).xlsx') muin = ex['4월..

식신로드, 역대 서울지역 '만점 식당' 20선에 나온 식당위치 지도에 표시하기 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from bs4 import BeautifulSoup import time import requests import folium chrome_driver = 'D:/bigdata/Jupyter_py..