Bigdata Bigdata

팀명 : GB the finance 작업기간 : 8/3 ~ 8/14 (2주) 평일 2시~7시 작업 주제 : 금융 데이터 분석 담당 : 커뮤니티 키워드 링크 : https://kimhg9511.github.io/bigdata_project/home 작업물 : 대시보드 - 심은식 notebook 아쉬운점 1. 셀레니움으로 크롤링 진행에 에러가 많아 시간이 생각보다 많이 소요됨(첫주는 거의 오류수정으로 날리게됨) 2. 구글링 해보고 나서 requests로 크롤링 진행하는데 time.sleep() 옵션을 안주면 디도스로 오해받아 약 1시간 정도 크롤링 불가능하여 적절한 값을 찾아야 했음 3. 크롤링 시간이 약 4일정도 걸려서 작업이 딜레이됨 4. 2019년 한 해 글이 가장 많았던 디시인사이드 '비트코인 갤러리..