목록인간은망각의동물 (1)
Kirito's Blog
파이썬 크롤링시 forbidden
가끔 크롤링이 안되고 403 forbidden이 뜨는 페이지가 있습니다. 실제로 403이 뜨는 페이지를 크롤링 하려면 from bs4 import BeautifulSoup from urllib.request import Request headers = {'User-Agent':'Chrome/81.0.4044.92'} w_url = 'https://www.worldometers.info/coronavirus/' w_req = Request(w_url, headers=headers) w_html = urllib.request.urlopen(w_req).read() w_soup = BeautifulSoup(w_html, 'html.parser') 위와같이 중간에 헤더를 추가해주면 됩니다. 셀레니움에서는 fro..
파이썬
2020. 4. 30. 12:26