웹크롤링 도무지 못하겠네요 도와주세요

이 웹 사이트는 자바스크립트를 사용하여 동적으로 콘텐츠를 생성하기 때문에, 일반적인 크롤링 방법으로는 데이터를 가져오기 어렵습니다. 그러나 개발자 도구를 사용하여 페이지의 네트워크 요청을 살펴보면, 데이터가 로드되는 API 엔드포인트를 찾을 수 있습니다.

​

이 경우, 데이터는 다음 URL에서 가져올 수 있습니다:

https://program.kbs.co.kr/1fm/radio/kfmmusic/pc/getProgramBoardList.html?bbs_loc=R2018-0058-03-644781&pageNo=1&searchKeyword=&searchDate=&smenu=94c6a7

​

이 엔드포인트에서 데이터를 크롤링하기 위해 requests와 BeautifulSoup를 사용할 수 있습니다.

​

import requests from bs4 import BeautifulSoup url = "https://program.kbs.co.kr/1fm/radio/kfmmusic/pc/getProgramBoardList.html?bbs_loc=R2018-0058-03-644781&pageNo=1&searchKeyword=&searchDate=&smenu=94c6a7" response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') song_list = soup.find_all('div', class_='songlist') for idx, song in enumerate(song_list): song_info = song.find_all('div', class_='info') song_artist = song_info[0].text.strip() song_title = song_info[1].text.strip() print(f"{idx + 1}. {song_artist} - {song_title}")

위 코드는 첫 페이지의 곡 목록만 가져옵니다. 모든 페이지의 곡 목록을 가져오려면 페이지 번호를 증가시키면서 요청을 보내야 합니다. 이를 위해 반복문을 사용할 수 있습니다.