我使用 urllib.request.Request 作为 memidex.com 页面的 url,但 urllib.request.urlopen(url) 行继续无法打开该 url。
url = urllib.request.Request("http://www.memidex.com/" + term)
my_request = urllib.request.urlopen(url)
info = BeautifulSoup(my_request, "html.parser")
我试过在不同的网站上使用相同的代码,它适用于那个网站,所以我不知道为什么它不适用于 memidex.com。
您需要向 url 请求添加标头以克服错误。BTW 'HTTP Error 403: Forbidden' 是你的错误吗?希望下面的代码对你有帮助。
import urllib.request
user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'
url = "http://www.memidex.com/"
headers={'User-Agent':user_agent,}
request=urllib.request.Request(url,None,headers)
response = urllib.request.urlopen(request)
data = response.read()
print(data)
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句