本质上,我正在尝试通过goLang在https站点上发送请求,以检查该站点上是否有项目。我试图尝试向主站点发送请求,但是一直拒绝访问,并且需要一种解决方法,我试图从正文中获取信息以将其分开,并找到正确的ID以检查是否存在问题网站。
package main
import (
"fmt"
"net/http"
"io/ioutil"
)
func main() {
url := "https://www.jdsports.co.uk/"
req, _ := http.NewRequest("GET", url, nil)
res, _ := http.DefaultClient.Do(req)
defer res.Body.Close()
body, _ := ioutil.ReadAll(res.Body)
fmt.Println(string(body))
}
经过一点测试,看起来该特定网站正在使用Akamai Ghost,并且已配置为阻止默认的go http软件包用户代理。
默认用户代理似乎是 Go-http-client/1.1
如果您更改用户代理
req.Header.Set("User-Agent", "my-client-app")
该请求将起作用。但是,有问题的网站似乎不想以编程方式进行爬网。也许您应该尊重他们的意愿。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句