Web-Crawling (다음 뉴스)

다음뉴스 크롤링하기

%%html

<!-- 에디터 폰트를 조정합니다. -->
<style type='text/css'>
.CodeMirror{
    font-size: 14px;
    font-family: Bitstream Vera Sans Mono;}
</style>

import requests
from bs4 import BeautifulSoup

제목 가져오는 함수

def get_daum_news_title(news_id):   
    url = 'https://news.v.daum.net/v/{}'.format(news_id)
    response = requests.get(url)
    status_code = response.status_code
    if status_code == 200:
        soup = BeautifulSoup(response.text)
        title_h3 = soup.select_one('h3.tit_view')
        ret_title = title_h3.text.replace('\'','').replace('"','')
    else:
        soup = 'status_code:{}'.format(status_code)
    return ret_title

get_daum_news_title('20200605102016392')

'바이러스가 숙주세포 모방해 생존하는 원리 밝혀'

내용 가져오는 함수

def get_daum_news_content(news_id):   
    url = 'https://news.v.daum.net/v/{}'.format(news_id)
    response = requests.get(url)
    status_code = response.status_code
    ret_content = ''
    if status_code == 200:
        soup = BeautifulSoup(response.text)
        content = soup.select('div#harmonyContainer p')
        for p in content:
            ret_content += p.text
    else:
        ret_content = 'status_code:{}'.format(status_code)
    return ret_content

get_daum_news_content('20200605102016392')

'(대전=연합뉴스) 박주영 기자 = 바이러스가 숙주세포를 모방해 스스로 생존하는 원리가 밝혀졌다. 기초과학연구원(IBS)은 RNA 연구단(단장 김빛내리) 연구팀이 B형 간염 바이러스와 거대 세포 바이러스(CMV)가 숙주 세포의 RNA(리보핵산·DNA에 담긴 유전정보를 매개하는 물질) 보호 시스템을 모사해 살아남는 원리를 규명했다고 5일 밝혔다. B형 간염 바이러스는 만성 간염, 간경변, 간암을 일으키는 바이러스로, 전 세계적으로 연간 80만명의 사망자를 낸다. 거대 세포 바이러스는 전 세계인의 70%가 감염된 흔한 바이러스로, 사람 몸속에서 다양한 신경계 질환이나 정신지체, 동맥경화 등을 일으킨다. 이처럼 치명적인 감염성 바이러스지만 이들 세포의 생존 전략이 밝혀지지 않아 근본적인 치료법은 없는 상황이다. 연구팀은 자체 개발한 RNA 염기서열 분석법인 \'꼬리서열분석법\'을 이용, B형 간염 바이러스와 거대세포 바이러스의 RNA에 다양한 염기로 이뤄진 \'혼합 꼬리\'가 존재한다는 것을 확인했다. 혼합 꼬리는 세포가 자신의 RNA를 보호하기 위해 활용하는 시스템이다. 당초 RNA는 아데닌 염기로 이뤄진 꼬리를 갖는다고 알려져 있었지만, 연구팀은 이전 연구에서 아데닌 뿐만 아니라 구아닌 등 다른 종류의 염기가 추가된 혼합 꼬리가 있다는 사실을 처음으로 밝혀냈다. 혼합 꼬리는 RNA의 분해를 막아 안정화하는 역할을 하는데, 바이러스 역시 이 혼합 꼬리를 이용해 자신을 보호하는 것이다. 연구팀은 이와 함께 혼합 꼬리 형성을 돕는 \'TENT4 단백질\'과 \'ZCCHC14 단백질\'도 찾아냈다. 김빛내리 단장은 "B형 간염 바이러스와 거대 세포 바이러스의 생존 전략인 혼합 꼬리 생성 원리를 밝혔다"며 "혼합 꼬리를 이용한 유전자 치료 기술에 활용할 수 있을 것"이라고 말했다.이번 연구 결과는 국제 학술지 \'네이처 구조 분자 생물학\'(Nature Structural & Molecular Biology) 지난 달 25일 자 온라인 판에 실렸다. jyoung@yna.co.kr'

댓글 가져오기

• F12 - Network - comments?~~ 의 copy link address

• Headers탭 - Requests Header에 Authorization값

news_id = '20200605114023995'
url = 'https://news.v.daum.net/v/{}'.format(news_id)
response = requests.get(url)
soup = BeautifulSoup(response.text)

news_id = '20200605114023995'
url = 'https://comment.daum.net/apis/v1/posts/@{}/comments'.format(news_id)
params = {'parentId':'0','offset':'0','limit':'10','sort':'RECOMMEND','isInitial':'true'}
# Header값 매일 바뀜
headers = {'Authorization' : 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJmb3J1bV9rZXkiOiJuZXdzIiwiZ3JhbnRfdHlwZSI6ImFsZXhfY3JlZGVudGlhbHMiLCJzY29wZSI6W10sImV4cCI6MTU5MTYyMzEwNCwiYXV0aG9yaXRpZXMiOlsiUk9MRV9DTElFTlQiXSwianRpIjoiODVhZWE1N2YtY2Y3Mi00MTZlLTk1NGMtNDQzYmZjZDI4MmFkIiwiZm9ydW1faWQiOi05OSwiY2xpZW50X2lkIjoiMjZCWEF2S255NVdGNVowOWxyNWs3N1k4In0.GvQEGss4S9Qy8ighPOI33nno0dJWeEO65ksEJ7inCPA'}
response = requests.get(url, headers=headers, params=params)
status_code = response.status_code
#status_code
comment_all = response.json()
# soup = BeautifulSoup(response.text)

for item in comment_all:
    print(item['content'])

괜찮아 큰 힘에는 큰 책임이 따르는 법!!!

민주당은 국민이 주신 큰 힘을 국민을 위해 마음껏 사용하라!!
나참 본회의 보면서 이렇게 편안~~~한 마음으로 보게 되는군요 ㅋㅋㅋㅋ

좋으다 ~~~
상임위원장도 모두 민주당이 책임있게 하자,,,,,,,,,,,,,,,,,,,
통합당 의원 여러분 가슴에 손을 대고 반성하시기 바랍니다.

20대 국회에서 대통령이 그렇게 협치를 요청할때는 쳐다보지도 않더니, 국민의 선택으로 의석 수가 줄어드니 협치를 이야기 합니까?

이런 걸 인과응보라고 합니다.

이제 국민의 선택에따라 민주당은 각종 개혁 작업을 신속하게 처리해주시기 바랍니다.

야당과 상의는 해야겠지만 발목 잡으면 냉정하게 뿌리치고 할일을 하셔야 합니다.

괜히 보수 언론의 눈치보다가 다음 선거 망치지 마시기 바랍니다.
통합당은 국민한테 외면받은 지역정당 주제에 아직도 땡깡이나 부리고 있으니, 민주당은 저런거 받아줄 필요 없습니다.  버릇돼요..  국민이 위임해준 의석대로 소신껏 책임정치 하시면 됩니다.
맞다 ~~~ 모든 책임은 민주당의 몫이다..

모든 책임에 합당한 지위를 맏아야 한다...

책임은 맏기면서 지위를 주기 주저하는 미래통합당~~!!

인간도 아닌  금수보다 못한 집단이다...

모든 책임에 합당한 지위를 받아라~~!!

18개 상임위원장도 모두 민주당이 맏고 책임을 져라~~!!

4년후에 그 책임을 묻겠다...
민주당이  책임지고
밀어 붙이셍노
180석 그냥 준거
아닙니다

검찰개혁 
언론개혁
또 퇴장 하기 시작이네요 
굿!
옛날 군인들이 정치할 때는 
국회의원들 타고 있는 버스 통채로 납치해서
어디 끌고가서 
까불지 말라며 조인트 까고 그랬으니까
헌정 사상 초유... 뭐 이런 거짓말은 
자꾸 하시면 안되고요,
민주당에는 국민들이 힘 쓰라고 표를 몰아 준거니까
힘을 쓰는 모습을 보이는 것이 
국민에 대한 도리 입니다
민주당이 모두 책임질테니 상임위원장 모두 포기해라... 동의?
국회는 바뀌여야 한다.

새로운 질서와 관행을 정착시키자

원칙과 협치는 다른 것이다.

국민들이 멍청하지 않다 (단 대구 경북은 제외)

정정당당한 방향이면 눈치보지 말고 앞으로 전진하자.

기레기 언론들과 나라팔아먹어도 지지하는 무리들이 행패를 부릴지언정~~~

실시간 댓글 갯수 가져오기

news_id = '20200605114023995'
url = 'https://comment.daum.net/apis/v1/posts/@{}'.format(news_id)
headers = {'Authorization' : 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJmb3J1bV9rZXkiOiJuZXdzIiwiZ3JhbnRfdHlwZSI6ImFsZXhfY3JlZGVudGlhbHMiLCJzY29wZSI6W10sImV4cCI6MTU5MTYyMzEwNCwiYXV0aG9yaXRpZXMiOlsiUk9MRV9DTElFTlQiXSwianRpIjoiODVhZWE1N2YtY2Y3Mi00MTZlLTk1NGMtNDQzYmZjZDI4MmFkIiwiZm9ydW1faWQiOi05OSwiY2xpZW50X2lkIjoiMjZCWEF2S255NVdGNVowOWxyNWs3N1k4In0.GvQEGss4S9Qy8ighPOI33nno0dJWeEO65ksEJ7inCPA'}
response = requests.get(url, headers=headers)
status_code = response.status_code
# 개발자도구 - Network - XHR에서 ajax로 통신하는걸 확인 ==> json()
count_all = response.json()

print(count_all['commentCount'])

651