将请求发送到Https站点

机器人测试:

本质上,我正在尝试通过goLang在https站点上发送请求,以检查该站点上是否有项目。我试图尝试向主站点发送请求,但是一直拒绝访问,并且需要一种解决方法,我试图从正文中获取信息以将其分开,并找到正确的ID以检查是否存在问题网站。

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
)

func main() {

   url := "https://www.jdsports.co.uk/"

   req, _ := http.NewRequest("GET", url, nil)

   res, _ := http.DefaultClient.Do(req)

   defer res.Body.Close()

   body, _ := ioutil.ReadAll(res.Body)

   fmt.Println(string(body)) 
}
托马斯:

经过一点测试,看起来该特定网站正在使用Akamai Ghost,并且已配置为阻止默认的go http软件包用户代理。

默认用户代理似乎是 Go-http-client/1.1

如果您更改用户代理

req.Header.Set("User-Agent", "my-client-app")

该请求将起作用。但是,有问题的网站似乎不想以编程方式进行爬网。也许您应该尊重他们的意愿。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

通过Curl将JSON请求发送到Flask

将发布请求发送到端点,但忽略响应

Android不使用不推荐使用的方法将https发布请求发送到服务器

将请求从Nodejs发送到Nodejs

Laravel将发送的数据发送到请求

将HTTPS请求发送到Alpine Linux中仅TLS1.0的服务器

使用带有ajax的post请求将html表单数据发送到php到https://foo.com

如何使用https-post将node.js的POST请求发送到php页面?

如何将jsdoc参数发送到Web请求?

如何将HTTP请求从我的FastAPI应用发送到另一个站点?

将SQL数据发送到站点的POST HTTP请求

JFOREX SDK-如何将HTTPS GET请求发送到www服务器ssl连接

fosRestBundle:将数组发送到Http请求标头中

使用HttpClient将请求发送到移动站点

将请求参数从操作方法发送到jsp

将HTTP发布请求发送到JSF应用程序中的外部站点,而无需重定向

无法将http / https请求发送到MEAN JS中的外部API

通过FQDN将Akka http重定向请求发送到https

将请求作为服务帐户发送到WebAPI

将数据从 Google App Script 发送到 php 站点

将查询参数发送到 POST 请求 laravel

将 POST 请求从 Unity WebGL 发送到 HTTPS

将 url 参数发送到 codeigniter 中的站点

如何将 https 请求从 Angular 6 发送到 node.js

将多个域的 http 流量发送到 HTTPS

使用python将HTTP请求行发送到jupyter

如何将 HTTPS 请求从 Angular 前端发送到使用自签名证书保护的服务器?

将 POST 请求从 js 文件发送到 php 文件

Play 框架,如何将 HTTP GET/POST 请求发送到另一个站点