관리자 글쓰기

파이썬의 requests 모듈로 웹 스크래핑을 하다가

requests.exceptions.ConnectionError 오류가 발생했다.

 

아무래도 특정 사이트에서 requests로 들어오는 걸 막은 것 같다.

 

 

해결 방법

 

해결 방법은 간단하다.

우리가 사이트에 들어가면 user-agent 정보를 전달하는데

requests의 user-agent 정보를 내 것으로 바꿔주면 된다.

 

먼저 아래의 사이트에서 자신의 agent 정보를 복사한다.

https://www.whatismybrowser.com/detect/what-is-my-user-agent 

 

What is my user agent?

Every request your web browser makes includes your User Agent; find out what your browser is sending and what this identifies your system as.

www.whatismybrowser.com

 

import requests

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."} # 개인마다 다르다
url = "https://squidcoding.tistory.com"

result = requests.get(url, headers = headers)

 

headers 변수 안에 딕셔너리를 만들고 "User-Agent"의 값으로 아까 복사했던 정보를 붙여넣기 한다.

그다음 requests.get의 url 정보 옆에 headers의 정보를 추가로 입력하면 끝이다.