크롤링 셀레니움 도와주세요 ㅠ

본문 바로가기

크롤링 셀레니움 도와주세요 ㅠ

작성일 2022.04.16댓글 1건
    게시물 수정 , 삭제는 로그인 필요

제가 인스타그램 크롤링할려고합니다
일단 인스타그램 특정검색을 하면 그 검색에 따른 게시물들이 쫘라락 뜨거든요
그럼 그 게시물을 클릭하면 좌측에는 이미지, 우측에는 게시글, 해시태그, 댓글 등등 
그리고 양측에 끝에 다음게시물이나 이전게시물로 이동하는 버튼이있습니다.
제가 여기서 이미지랑 해시태그를 크롤링하고 다음 게시물넘어가고 이걸 반복하는 코드를 
작성하고있는데요

여기서 이 게시물 좌측 이미지와 우측 게시글을 모두포함하는 자바스크립트 코드를 그대로 가져와서 
insta 값에 넣었습니다.
그리고 그안에 KL4Bh라는 클래스가 2개가있습니다.
저는 2번째 KL4Bh를 가져오고 싶은데 어떻게 해야하나요???

html = driver.page_source soup = BeautifulSoup(html) insta = soup.select('._1XyCr.eTsBx')
일단 이걸로 좌측 이미지 우측 게시글 모두 포함하는 코드를 다가져왔구요

imgUrl = insta.select_one('.KL4Bh').img['src']
여기서 2번째 KL4Bh를 빼오고싶은데...
답변부탁드립다 ㅠ


#크롤링 셀레니움 #자바 크롤링 셀레니움 #네이버 지도 크롤링 셀레니움 #네이버 뉴스 크롤링 셀레니움 #파이썬 셀레니움 크롤링 예제 #셀레니움 이미지 크롤링 #셀레니움 로그인 후 크롤링 #셀레니움 페이지 이동 크롤링 #c# 셀레니움 크롤링 #vba 셀레니움 크롤링

profile_image 익명 작성일 -

select를 하시면 이터레이터 객체가 반환됩니다.

그러니 select_one이 아닌 select를 사용하셔야 합니다.

imgUrl = insta.select(".KL4Bh")[1].img['src'] # 오류 나시면 이렇게 해주세요 imgUrl = list(insta.select(".KL4Bh"))[1].img['src']

​

+ 셀레니움으로 웹사이트를 크롤링하시는 건 좋은 선택은 아닙니다.

왜냐하면 웹사이트의 구조가 바뀔 경우 먹통이 되는 경우가 흔하거든요.

셀레니움은 API, requests 등 다른 방법으로 가져오기 힘들 경우 사용하시는게 옳습니다.

인스타그램 API 사용법은 여기서 보고 따라하시면 됩니다.

연관된 질문 답변 리스트

크롤링 셀레니움 도와주세요 ㅠ

... 답변부탁드립다 ㅠ select를 하시면 이터레이터 객체가 반환됩니다. 그러니... img['src'] + 셀레니움으로 웹사이트를 크롤링하시는 건 좋은 선택은 아닙니다....