为什么HTTP请求总是花费整个超时时间?

临时的:

我正在制作_golang git bruteforcer。它的行为有点奇怪,我想这与并发有关。sync.WaitGroup

这是代码:https : //dpaste.org/vO7y

package main

import { <snipped for brevity> }

// ReadFile : Reads File and returns it's contents
func ReadFile(fileName string) []string { <snipped for brevity> }

func joinString(strs ...string) string { <snipped for brevity> }

// MakeRequest : Makes requests concurrently
func MakeRequest(client *http.Client, url string, useragent string, ch chan<- string, wg *sync.WaitGroup) {
    defer wg.Done()
    // start := time.Now()
    request, err := http.NewRequest("GET", url, nil)
    if err != nil {
        fmt.Println(err)
        return
    }
    request.Header.Set("User-Agent", useragent)
    response, err := client.Do(request)
    if err != nil {
        return
    }
    // secs := time.Since(start).Seconds()
    if response.StatusCode < 400 {
        // fmt.Printf("Time elapsed %f", secs)
        bodyBytes, err := ioutil.ReadAll(response.Body)
        if err != nil {
            log.Fatal(err)
        }
        defer response.Body.Close()
        bodyString := string(bodyBytes)
        notGit, err := regexp.MatchString("<html>", strings.ToLower(bodyString))
        if !notGit && len(bodyString) > 0 { // empty pages and html pages shouldn't be included
            fmt.Println(bodyString)
            ch <- fmt.Sprintf(" %s ", Green(url))
        }
    }
}

func main() {
    start := time.Now()
    useragent := "Mozilla/10.0 (Windows NT 10.0) AppleWebKit/538.36 (KHTML, like Gecko) Chrome/69.420 Safari/537.36"
    gitEndpoint := []string{"/.git/", "/.git/HEAD", "/.gitignore", "/.git/description", "/.git/index"}
    timeout := 10 * time.Second
    var tr = &http.Transport{
        MaxIdleConns:      30,
        IdleConnTimeout:   time.Second,
        DisableKeepAlives: true,
        TLSClientConfig:   &tls.Config{InsecureSkipVerify: true},
        DialContext: (&net.Dialer{
            Timeout:   timeout,
            KeepAlive: time.Second,
        }).DialContext,
    }
    re := func(req *http.Request, via []*http.Request) error {
        return http.ErrUseLastResponse
    }
    client := &http.Client{
        Transport:     tr,
        CheckRedirect: re,
        Timeout:       timeout,
    }
    output := ReadFile(os.Args[1])
    // start := time.Now()
    ch := make(chan string)
    var wg sync.WaitGroup
    for _, url := range output {
        for _, endpoint := range gitEndpoint {
            wg.Add(1)
            go MakeRequest(client, "https://"+url+endpoint, useragent, ch, &wg)
        }
    }
    go func() {
        wg.Wait()
        close(ch)
    }()
    f, err := os.OpenFile("git_finder.txt", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
    for val := range ch {
        if err != nil {
            fmt.Println(Red(err))
        }
        _, err = fmt.Fprintln(f, val)
        fmt.Println(val)
    }
    f.Close()
    fmt.Printf("Total time taken %.2fs elapsed\n", time.Since(start).Seconds())
}

工作方式:

它从文件中读取URL,然后/.git, /.git/HEAD, /.git/description, /.git/index在Web服务器上进行检查

问题:如果我将http.Client超时更改为2 seconds将在2秒内完成,如果它是50秒,它将等待到50秒,那么输入文件包含10个URL还是500个URL都没有关系。我的理解是,如果有更多的url,它将等待直到goroutine传递的最后一个URL超时。

更新1:

正如adrian在评论中提到的那样,它看起来不像是一个并发问题,这就是主要问题之一,就是我无法直指此处的确切问题。

优生:

在代码中,您正在从文件中读取URL,然后与所有这些URL并行触发请求,然后等待所有并行请求完成。

因此,这实际上是有道理的,并不表示存在问题:

如果将http.Client超时更改为2秒,它将在2秒内完成;如果是50秒,它将等待直到50秒,输入文件包含10个URL还是500个URL都没有关系。

假设您的文件有500个URL。

您并行触发500个请求...然后等待所有请求完成(记住,它们都是并行执行的)。那要花多长时间?

在最坏的情况下(所有请求超时都为50秒),总共只需要50秒(因为它们都并行等待那50秒)。

在最好的情况下(所有请求都成功完成且没有超时),应该花费几秒钟。

在一般情况下,您可能会看到(在50秒处有一些超时),然后花费50秒(在最坏的情况下,您将等待这几个请求并行等待那50秒)。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

我可以全局设置HTTP连接的超时时间吗?

如何为REST保证的请求设置超时时间?

为什么AWS Lambda功能总是超时?

如何修改Node.js请求的默认超时时间?

NSURLSession:如何增加URL请求的超时时间?

更改排球超时时间

设置超时时间

弹性beantalk部署花费的时间超过超时时间,如何增加超时时间

任务超时时间上限

Docker:为什么等待总是超时?

如何在Rust中使用hyper,tokio和Future设置HTTP请求的超时时间?

为什么我的DispatchGroup的等待总是超时?

RDD CountClose花费的时间远远超过请求的超时时间

为什么整个计算(在这种情况下为benchmking_f)所花费的时间要比顺序计算所花费的时间长得多?

如果对HTTP持久连接的请求花费很长时间,客户端会超时吗?

为什么在计算程序时间时时间总是不同

为什么实时时间可以低于用户时间

为什么会出现“握手超时”?如何配置超时时间?

Cookie超时时间

如何设置Net :: HTTP.start的超时时间?

URLConnection,为什么会有两个不同的超时时间?(连接并阅读)

请求超时,错误早于超过最大超时时间

什么是“信号灯超时时间”?

为什么“ ls *”比“ ls”花费更长的时间?

如何在超时时重试HTTP请求?

为什么dd花费的时间太长?

Neo4j HTTP API 事务超时时间

如何使用restfb请求缩短超时时间?

为什么 NodeJS http 服务器在超时时关闭套接字而没有响应?