파이썬 request.get(url) 문의 드립니다.

파이썬 request.get(url) 문의 드립니다.

작성일 2024.03.04댓글 1건
    게시물 수정 , 삭제는 로그인 필요

파이썬으로 크롤링을 하려고 합니다.

https://daon-e.goehs.kr/daon-e/ad/fm/foodmenu/selectFoodMenuView.do

위 페이지에서 오늘 날짜의 식단을 가져 오고자 합니다.

웹브라우저에서 보는 소스는 

today = soup.select_one('#detailForm > div > table > tbody > tr:nth-child(2) > td:nth-child(3) > div > p:nth-child(2)')
위치에 다음과 같이 나옵니다.

마지막 div > p:nth-child(2)

<div>
<p class="btn_style1 mini"><a href="javascript_:;" aria-controls="controls19341" class="open controls19341" onclick="fn_layer_pop_trigger2(document.getElementById('layerPop2'),'19341');"><i class="xi-search" aria-hidden="true"></i><span>상세보기</span></a></p>
<p class="">무농약 찹쌀밥
<br/>쇠고기미역국5.6.16.
<br/>LA갈비바베큐소스구이
<br/>1.2.5.6.10.12.13.15.
<br/>애호박전1.6.
<br/>포기김치9.
<br/>우리밀 초코무스 케이크
<br/>1.2.5.6.</p>
</div>

파이썬으로 확인할 때

url = 'https://daon-e.goehs.kr/daon-e/ad/fm/foodmenu/selectFoodMenuView.do'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
print(soup)

이렇게 보는 소스에는 웹페이지에서 보는 소스와 다르게 나와서 해당 위치가 다르게 나옵니다.

<div>
<p class="btn_style1 mini"><a aria-controls="controls19341" class="open controls19341" href="javascript_:;" onclick="fn_layer_pop_trigger2(document.getElementById('layerPop2'),'19341');"><i aria-hidden="true" class="xi-search"></i><span>상세보기
</span></a></p>
<br>1.2.5.6.</br></br></br></br></br></br></br></p>
</div>

이런 경우 어떻게 가져와야 하나요?



profile_image 익명 작성일 -

import requests from bs4 import BeautifulSoup url = 'https://daon-e.goehs.kr/daon-e/ad/fm/foodmenu/selectFoodMenuView.do' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') titles = soup.find_all("p", {"class": "txt_p"}) for index, title in enumerate(titles, 1): title_text = title.get_text(separator='\n', strip=True) print(title_text)

파이썬 urllib.request post 방식

안녕하세요, 파이썬 초보 입니다.... 부탁드립니다~ from urllib.request import urlopen... model=#content_body" r = s.get(url) bs = BeautifulSoup(r.text, "html....

네이버뉴스 파이썬 크롤링 질문

... 네이버뉴스를 파이썬으로 크롤링하고 싶은데 아무런 추출이 안되어 문의드립니다. 1.... requests.get(url) html = response.text # BeautifulSoup...

파이썬 크롤링 질문드립니다.

... from bs4 import BeautifulSoup import urllib.request from requests import get url = 'https://www.op.gg/ranking/ladder/' html_soup = BeautifulSoup(urllib.request....

파이썬 웹스크래핑 관련 질문

... py", line 76, in get return request('get', url, params=params, **kwargs)... 해결 방법좀 부탁드립니다. 빠른 시일안에 답변해주시면...