파이선 크롤링 외계어 'cp949'

Question

안녕하세요. 파이썬 크롤링 관련 문의드립니다.

파이썬 데이터 추출시 'cp949' codec can't encode character '\xa0' 오류가 발생합니다.

이를 해결하려고 추출 파일에 utf-8을 넣으면, 값이 외계어로 추출이 되구요..

도와주세요

Accepted Answer

​ 오류가 아니라 텍스트 인코딩 문제입니다. ​ 최근 웹 사이트들은 대부분 utf-8인데 오래된 웹사이트(xp 시절?)들은 더러 예전 인코딩을 사용하기도 합니다. ​ 이런건 try catch로 예외가 걸리면 인코딩을 utf-8로 변환해서 문자열을 바꾸는게 좋습니다. ​ https://www.google.com/search?q=cp949+to+utf-8+python&rlz=1CDGOYI_enKR794KR794&oq=cp949+utf&aqs=chrome.3.0i512l2j69i57j0i8i30l2j0i5i30l2j0i5i15i30j0i8i10i15i30.12794j0j4&hl=ko&sourceid=chrome-mobile&ie=UTF-8 cp949 to utf-8 python - Google Search   www.google.com ​ 대충 이런식으로 검색하면 자료는 넘쳐나게 나오니 참고해서 고치세요. ​ 오래전에 파이썬으로 크롤링하면서 써봤는데 옛날엔 버전 문제와 일부 코드가 C언어로 만들어져서 윈도우에서 쓰는데 애먹었던 기억이 있습니다만 ​ ​