네이버뉴스 파이썬 크롤링 질문

게시물 수정 , 삭제는 로그인 필요

아래 조건으로 네이버뉴스를 파이썬으로 크롤링하고 싶은데 아무런 추출이 안되어 문의드립니다.

1. 페이지: 네이버뉴스 경제 카테고리 1페이지, 2페이지

->입력값: https://news.naver.com/main/main.naver?mode=LSD&mid=shm&sid1=101, https://news.naver.com/main/main.naver?mode=LSD&mid=shm&sid1=101#&date=%2000:00:00&page=2

2. 조건: 뉴스 본문 중 '금리'가 포함된 뉴스

3. 결과값: 뉴스 제목과 링크

아래와 같이 코드를 입력했는데 'Process finished with exit code 0' 메시지만 떠서 문의드립니다.

<입력 코드>

import requests
from bs4 import BeautifulSoup

def scrape_articles(url, keywords):
# 웹 페이지의 HTML을 가져옴
   response = requests.get(url)
    html = response.text

# BeautifulSoup을 사용하여 HTML을 파싱
   soup = BeautifulSoup(html, 'html.parser')

# 기사 목록을 찾음
   articles = soup.find_all('li', class_='cluster_item')  # 예시: 실제 HTML 구조에 따라 수정해야 함

   # 각 기사에 대해 처리
   for article in articles:
# 기사 제목과 링크를 추출
       title_tag = article.find('a', class_='cluster_text_headline')
        title = title_tag.get_text(strip=True)
        link = title_tag['href']

# 키워드가 기사 제목에 포함되어 있는지 확인하고 출력
       if any(keyword in title for keyword in keywords):
print(f"Title: {title}")
print(f"Link: {link}")
print('-' * 50)

# 스크래핑할 웹 페이지 URL과 키워드를 지정
url = 'https://news.naver.com/main/main.naver?mode=LSD&mid=shm&sid1=101#&date=%2000:00:00&page=2'
keywords = ['금리']

# 스크래핑 실행
scrape_articles(url, keywords)