뉴스 기사 제목만 크롤링 하는 방법좀요!!

뉴스 기사 제목만 크롤링 하는 방법좀요!!

작성일 2021.07.06댓글 1건
    게시물 수정 , 삭제는 로그인 필요

네이버 뉴스 사이트에서 기사 제목만 깔끔하게 크롤링하고 싶은데

코드를 어떻게 작성해야 하나요?


#뉴스 기사 #뉴스 기사 출처 표기법 #뉴스 기사 인용 #뉴스 기사 크롤링 #뉴스 기사 사이트 #뉴스 기사 참고문헌 #뉴스 기사 영어로 #뉴스 기사 인용 방법 #뉴스 기사 형식 #뉴스 기사 대본

profile_image 익명 작성일 -

뉴스 사이트에서 기사 제목을 크롤링하고 싶다면 기사 제목에 해당하는 태그를 찾아야 하는데요,

뉴스 기사를 찾는 코드의 일부분을 설명드리겠습니다.

soup = BeautifulSoup(resp.content, 'lxml') #본문을 가져오는 방법은 각자 다를 수 있습니다.

본문을 긁어왔다면, 기사제목을 찾아야 하는데요, 뉴스의 경우 헤드라인 토픽과 정치, 경제, 사회 등의 영역의 태그 이름이 다르답니다.

따라서 두 종류의 태그를 찾으면 됩니다.

 #먼저 헤드라인 토픽의 기사를 찾는 코드입니다. topic_list = soup.find('div', 'main_content_inner _content_inner').find_all('div','hdline_article_tit') news_topic=[] #기사를 저장할 리스트 for i in topic_list : news_topic.append(i.text.strip()) #제목만 깔끔하게 추출 #그 외 토픽 의 기사를 찾는 코드입니다. topic_list2 = soup.find('div', 'main_content_inner _content_inner').select(' li > a ') for i in topic_list2 : news_topic.append(i.text.strip()) 

※ 질문주신 내용 이외에도, 웹크롤링과 관련하여 궁금한 것들이 있다면,

아래 제 블로그에 방문해 관련된 글을 참고하시기 바랍니다 :D

https://dinolabs.tistory.com/category/BLOG/웹크롤링

기사제목 크롤링 어떻게 하나요 !!!

... 기사제목 크롤링하는 방법도 같이 알려주세요! 네이버 뉴스를 selenium을 사용하지 않고 접속하면 접속이 불가능하다고 뜰 수 있는데요, 이러한...

파이썬 크롤링 질문

... 관련된 기사의 본문 날짜 제목크롤링하는 방법을 알고 싶습니다. 하나하나 1000개의 사이트를 크롤링하기는 불가능하고요 구글뉴스같은 사이트를...

파이썬 코드 질문이요!!!

... 아래 코드는 네이버 뉴스 본문 페이지의 제목, 날짜 기사 본문을 크롤링하는 코드의 일부분입니다. 참고하시기 바랍니다. resp...