도매매,온채널,3mro등에서 상품db 제공을 해줄때..
익명 작성일 - 저런 사이트를 동일하게 제작하고 싶으신 것 같습니다
보통 저런 마케팅 DB를 쌓는 업체에서 제공하는 DB 수집 크롤러는
자체 제작인 경우가 많습니다
그 이유는 해당 DB를 수집해오는 사이트마다 구조가 다른데다가
마케팅 업체마다 수집하는 데이터의 위치가 노하우 처럼 외부에 공개되지 않은 경우가 많고요
해당 데이터를 실질적으로 수집해오는 사이트에서 API형태로 제공하는 곳도 있지만 그렇지 않은 곳도 많기 때문입니다.
예전에 쇼핑 관련 품목 수집 크롤러를 제작해서 판매한적이 있는데
그당시에 사용한 언어는 파이썬과 PHP를 이용하여
파이썬으로 데이터를 수집하여 MYSQL DB에 저장하고
해당 데이터를 가지고 웹페이지에 표시하여 관리자가 원하는 형태로 표시 및 검색
엑셀로 떨굴 수 있게 제공하였습니다.
아마 저 사이트도 동일하게
파이썬으로 제작된 웹 크롤러가 매시간 또는 매일마다 돌면서 관련 데이터를 DB서버에 저장하고
해당 DB를 사용자들이 검색 옵션을 넣어 원하는 설정대로 출력하게 해주는 구조로 이루어져있을겁니다.
파이썬이 웹크롤링할때 HTML 로 파싱하여 원하는 DIV나 TABLE을 찾아 원하는 데이터만 추려서 DB에 넣는겁니다.
사이트마다 구조가 다르지만 DB에 넣을때는 동일하게 맞춰서 넣을 수 있으니까요.
도매매,온채널,3mro등에서 상품db 제공을 해줄때.. 사용되는 웹크롤링, 기반을 어떤 프로그램을 사용하는지 알수 있을까요? 도매사이트를 만들고 시픈데 감이잘 안오네요...
... 정부는 이 같은 이유로 지난해부터 청주국제공항에 MRO... 친구 등 지인에게 사고 관련 정보가 전달될 수 있도록 시스템화 됐다. 수상 팀은 “운전을 할 때 운전자 간의...
... 정부는 이 같은 이유로 지난해부터 청주국제공항에 MRO... 친구 등 지인에게 사고 관련 정보가 전달될 수 있도록 시스템화 됐다. 수상 팀은 “운전을 할 때 운전자 간의...
... 정부는 이 같은 이유로 지난해부터 청주국제공항에 MRO... 친구 등 지인에게 사고 관련 정보가 전달될 수 있도록 시스템화 됐다. 수상 팀은 “운전을 할 때 운전자 간의...
... 정부는 이 같은 이유로 지난해부터 청주국제공항에 MRO... 친구 등 지인에게 사고 관련 정보가 전달될 수 있도록 시스템화 됐다. 수상 팀은 “운전을 할 때 운전자 간의...
... 새로운 상품 개발 연구, 투자 프로세스 연구 등 운용과... 이공계 출신을 뽑을 때, 실무 면접관으로... 컴퓨터 활용능력까지 수리/통계적 능력에 포함시킨 후 비교를 해 보죠....
