import requests
from bs4 import BeautifulSoup
def get_daum_news_title(news_id):
url = 'https://news.v.daum.net/v/{}'.format(news_id)
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'lxml')
title_tag = soup.select_one('h3.tit_view')
if title_tag:
return title_tag.get_text()
return ''
get_daum_news_title(20200110071011691)
'스마트홈부터 커넥티드카까지..구글·아마존 AI비서 경쟁 격화'
def get_daum_news_content(news_id):
url = 'https://news.v.daum.net/v/{}'.format(news_id)
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'lxml')
content = ''
for p in soup.select('div#harmonyContainer p'):
content += p.get_text()
return content
get_daum_news_content(20200110071011691)
'(라스베이거스=연합뉴스) 채새롬 기자 = 7일(현지시간)부터 미국 라스베이거스에서 열리는 세계 최대 IT·가전전시회 \'CES 2020\'에서는 구글 어시스턴트와 아마존 알렉사 간 치열한 경쟁이 계속됐다.구글과 아마존은 스마트 홈을 넘어 자동차에서까지 \'지배적인\' 인터페이스가 되기 위해 가전업체·자동차업체와의 전방위 협력을 과시했다.먼저 구글은 작년에 이어 올해도 야외 부스를 차리고 삼성전자, LG전자, 소니, TCL 등 제조사 기기를 진열하는 한편 구글 어시스턴트의 다양한 용례를 소개했다. 구글은 CES에서 구글 어시스턴트가 웹페이지를 읽어주는 기술, 에어컨, 공기청정기, 커피메이커 등 20개가 넘는 스마트 디바이스를 정해진 스케줄대로 작동하게 하는 기능 등을 선보였다. 이뿐만 아니라 각 가전업체 부스에 구글 어시스턴트를 위한 공간을 조성해 구글과의 연동을 강조했다.또 구글 어시스턴트가 탑재된 볼보 차량 등 2대를 전시하고, 차량 내 구글 어시스턴트를 이용해 내비게이션을 이용하는 것은 물론, 집안 내 전등 전원을 제어하는 모습도 시연했다.아마존은 이번 전시에서 특히 자동차 업체와의 협력을 강조했다. 전시 부스도 자동차 업체가 주로 있는 모빌리티 쪽에 자리를 잡고 아마존 알렉사를 탑재한 차량 3대를 전시했다.아마존은 이번 CES에서 람보르기니 우라칸 에보, 전기차 업체인 리비안 2개 차종에 알렉사를 탑재하기로 했다고 발표했다. 아마존은 2017년부터 도요타, BMW, 포드 등 다양한 차량 업체와 협력관계를 맺어왔다.부스에서 만난 아마존 관계자는 "소비자들이 스마트홈의 경험을 차량에서도 하기를 원하기 때문에 아마존도 차량 업체와의 협력을 가속하고 있다"며 "알렉사 이용자라면 차 안에서도 집에서 가능한 모든 제어를 할 수 있다"고 소개했다.아마존은 이와 함께 주유소를 운영하는 \'엑손 모빌\'과 제휴를 맺고 알렉사를 지원하는 차량 이용자가 엑손 모빌의 주유소에서 음성을 통해 아마존 페이로 결제를 할 수 있는 기능도 선보였다. 물론 알렉사를 탑재한 다양한 제조사 단말도 한쪽에 전시됐다.업계 관계자는 "자동차가 스마트폰에 이은 넥스트 \'스마트 디바이스\'로 주목받는 만큼 자동차 내 AI 경쟁도 심화하고 있다"고 말했다.삼성전자 역시 이번 CES에서 자사 AI 비서인 \'빅스비\'가 운전자의 상황에 맞는 운전 환경을 조성하는 5G 기반의 \'디지털 콕핏\'을 선보였고, SK텔레콤도 차량용 통합 인포테인먼트(IVI)에 자사 AI인 \'누구\'를 넣어 선보였다. 박정호 SK텔레콤 사장은 이와 관련 이번 CES에서 국내 기업이 각자 살길을 찾아서는 AI에서 구글, 아마존, 페이스북 등 글로벌 기업들과 경쟁하기 어렵다며 국내 주요 ICT 기업에 \'AI 초협력\'을 제안하기도 했다.srchae@yna.co.kr'
url = 'https://comment.daum.net/apis/v1/posts/@20200110071011691/comments?parentId=0&offset=3&limit=10&sort=RECOMMEND&isInitial=false'
requests.get(url)
<Response [401]>
headers = {
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJmb3J1bV9rZXkiOiJuZXdzIiwiZ3JhbnRfdHlwZSI6ImFsZXhfY3JlZGVudGlhbHMiLCJzY29wZSI6W10sImV4cCI6MTU3ODkzMTQzNSwiYXV0aG9yaXRpZXMiOlsiUk9MRV9DTElFTlQiXSwianRpIjoiMWJjZjJiZTEtYTdkZS00MzZkLWJkMzUtYjFmOGE2YmVjOGQzIiwiZm9ydW1faWQiOi05OSwiY2xpZW50X2lkIjoiMjZCWEF2S255NVdGNVowOWxyNWs3N1k4In0.B-tRCNqj_SZIlSf8v2nWm0wxi0MIZtCfAEaeSWMhpo4',
'Connection': 'keep-alive',
'Cookie': 'webid=5c722b7f04af4ba6964dc8f673793fb9; webid_sync=1578888236313; TIARA=zAZ2uRST4BVty9VU6zSypPaYtjcSkCzD7Q4YkeXvlT4rkBsSB6fa_2u_SZHtC4iplHAZaydMHCsc3xEsuYk8MG5MJRW114wB',
'Host': 'comment.daum.net',
'Origin': 'https://news.v.daum.net',
'Referer': 'https://news.v.daum.net/v/20200110071011691',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-site',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
}
requests.get(url, headers=headers)
<Response [200]>
resp = requests.get(url, headers=headers)
resp.json()
[{'childCount': 0, 'content': '구글 어시스턴트 인식률이 갑자기 좋아짐. 기술이 갑자기 좋아짐. 무슨일이 벌어지고 있는지', 'createdAt': '2020-01-10T12:03:07+0900', 'dislikeCount': 0, 'flags': 256, 'forumId': -99, 'id': 466127169, 'likeCount': 0, 'parentId': 0, 'postId': 139382726, 'recommendCount': 0, 'status': 'S', 'type': 'COMMENT', 'updatedAt': '2020-01-10T12:03:07+0900', 'user': {'commentCount': 2748, 'description': '', 'displayName': '아스트로', 'flags': 0, 'icon': 'https://t1.daumcdn.net/profile/rBGVphJq1AY0', 'id': 4835823, 'providerId': 'DAUM', 'providerUserId': 'TVce', 'roles': 'ROLE_USER,ROLE_DAUM,ROLE_IDENTIFIED', 'status': 'S', 'type': 'USER', 'url': '', 'username': 'DAUM:TVce'}, 'userId': 4835823}, {'childCount': 0, 'content': '네콘 화이팅!!', 'createdAt': '2020-01-10T08:08:08+0900', 'dislikeCount': 0, 'flags': 256, 'forumId': -99, 'id': 466027448, 'likeCount': 0, 'parentId': 0, 'postId': 139382726, 'recommendCount': 0, 'status': 'S', 'type': 'COMMENT', 'updatedAt': '2020-01-10T08:08:08+0900', 'user': {'commentCount': 0, 'description': '', 'displayName': '오소리', 'flags': 0, 'icon': 'https://t1.daumcdn.net/profile/7Wmn-jI.zds0', 'id': 1095880, 'providerId': 'DAUM', 'providerUserId': '7WxTB', 'roles': 'ROLE_USER,ROLE_DAUM,ROLE_IDENTIFIED', 'status': 'S', 'type': 'USER', 'url': '', 'username': 'DAUM:7WxTB'}, 'userId': 1095880}, {'childCount': 1, 'content': '아, 국내 초대 기업들이 미국에 또 엎드리는 건가?\n한국의 미래 서비스 시장은 미국의 텃밭이 되겠네요ㅠ 초국적 자본권력은 어쩔수 없는건가?', 'createdAt': '2020-01-11T23:39:24+0900', 'dislikeCount': 1, 'flags': 256, 'forumId': -99, 'id': 466698185, 'likeCount': 0, 'parentId': 0, 'postId': 139382726, 'recommendCount': -1, 'status': 'S', 'type': 'COMMENT', 'updatedAt': '2020-01-11T23:39:24+0900', 'user': {'commentCount': 138, 'description': '', 'displayName': '신희', 'flags': 0, 'icon': 'https://t1.daumcdn.net/profile/xweWxDcsDIs0', 'id': 24101899, 'providerId': 'DAUM', 'providerUserId': 'AyZ0', 'roles': 'ROLE_USER,ROLE_DAUM,ROLE_IDENTIFIED', 'status': 'S', 'type': 'USER', 'url': '', 'username': 'DAUM:AyZ0'}, 'userId': 24101899}, {'childCount': 0, 'content': '스마트홈이고 커넥티드카고 나발이고 \n\n구로대림가리봉건대입구쪽 조선족타운 전부폐쇄하라!!!! \n\n불법체류자들 천지다!!!! \n불법체류자들 강력단속해서 전부추방하라!!! \n\n조선족중국인들 외노자들 전부 돌려보내라!!! \n\nH2비자 방문취업제 즉시 폐지하라!!!! \n\n제주도 무비자즉시 폐지하라!!!! \n\n보이스피싱으로 한해 수천억이 빠져나가고있다!!! \n\n지금도 좀비처럼 아무죄의식없이 보이스피싱은 계속되고있다 !!!! \n\n토종국민들에 피눈물이 한강을뒤덥고있다!!!', 'createdAt': '2020-01-10T12:40:13+0900', 'dislikeCount': 1, 'flags': 256, 'forumId': -99, 'id': 466143059, 'likeCount': 0, 'parentId': 0, 'postId': 139382726, 'recommendCount': -1, 'status': 'S', 'type': 'COMMENT', 'updatedAt': '2020-01-10T12:40:13+0900', 'user': {'commentCount': 44710, 'description': '', 'displayName': '저녁노을', 'flags': 0, 'icon': 'https://t1.daumcdn.net/profile/qRPE6N4TYQo0', 'id': -68574481, 'providerId': 'DAUM', 'providerUserId': '4DJm1', 'roles': 'ROLE_USER,ROLE_DAUM,ROLE_IDENTIFIED', 'status': 'S', 'type': 'USER', 'url': '', 'username': 'DAUM:4DJm1'}, 'userId': -68574481}]
def get_daum_news_comments(news_id):
headers = {
'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJmb3J1bV9rZXkiOiJuZXdzIiwiZ3JhbnRfdHlwZSI6ImFsZXhfY3JlZGVudGlhbHMiLCJzY29wZSI6W10sImV4cCI6MTU3ODkzMTQzNSwiYXV0aG9yaXRpZXMiOlsiUk9MRV9DTElFTlQiXSwianRpIjoiMWJjZjJiZTEtYTdkZS00MzZkLWJkMzUtYjFmOGE2YmVjOGQzIiwiZm9ydW1faWQiOi05OSwiY2xpZW50X2lkIjoiMjZCWEF2S255NVdGNVowOWxyNWs3N1k4In0.B-tRCNqj_SZIlSf8v2nWm0wxi0MIZtCfAEaeSWMhpo4',
'Connection': 'keep-alive',
'Cookie': 'webid=5c722b7f04af4ba6964dc8f673793fb9; webid_sync=1578888236313; TIARA=zAZ2uRST4BVty9VU6zSypPaYtjcSkCzD7Q4YkeXvlT4rkBsSB6fa_2u_SZHtC4iplHAZaydMHCsc3xEsuYk8MG5MJRW114wB',
'Host': 'comment.daum.net',
'Origin': 'https://news.v.daum.net',
'Referer': 'https://news.v.daum.net/v/20200110071011691',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-site',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
}
url_template = 'https://comment.daum.net/apis/v1/posts/@{}/comments?parentId=0&offset={}&limit=10&sort=RECOMMEND&isInitial=false'
offset = 0
comments = []
while True:
url = url_template.format(news_id, offset)
resp = requests.get(url, headers=headers)
data = resp.json()
if not data:
break
comments.extend(data)
offset += 10
return comments
len(get_daum_news_comments('20200110071011691'))
7
for i in get_daum_news_comments('20200110071011691'):
print(i['content'])
print('\n')
예전 하던 창업오디션 프로그램좀 다시 해라.... 황금의 팬타곤 같은 프로...... 국민이 세상 기술도 알고... 창업하고자 하는 마음도 생기고 .... 정말 필요한 프로그램 들인데..... 왜 말로만 스타트업 하면서..... 방송에서는 맨날 드라마, 가수, 먹방만 보여주는지.... 요즘 kbs,mbc,sbs 보면 한심하다. ai 초협력 좋타 아마존과 구글의 각축전이 볼만 하겠군! 구글 어시스턴트 인식률이 갑자기 좋아짐. 기술이 갑자기 좋아짐. 무슨일이 벌어지고 있는지 네콘 화이팅!! 아, 국내 초대 기업들이 미국에 또 엎드리는 건가? 한국의 미래 서비스 시장은 미국의 텃밭이 되겠네요ㅠ 초국적 자본권력은 어쩔수 없는건가? 스마트홈이고 커넥티드카고 나발이고 구로대림가리봉건대입구쪽 조선족타운 전부폐쇄하라!!!! 불법체류자들 천지다!!!! 불법체류자들 강력단속해서 전부추방하라!!! 조선족중국인들 외노자들 전부 돌려보내라!!! H2비자 방문취업제 즉시 폐지하라!!!! 제주도 무비자즉시 폐지하라!!!! 보이스피싱으로 한해 수천억이 빠져나가고있다!!! 지금도 좀비처럼 아무죄의식없이 보이스피싱은 계속되고있다 !!!! 토종국민들에 피눈물이 한강을뒤덥고있다!!!