WinInet仅下载网页的一部分

iZeusify

我有一个将网页下载到文本文件中的功能

#include <iostream>
#include <string>
#include <fstream>
#include <Windows.h>
#include <WinINet.h>

#pragma comment(lib, "WinINet.lib")
void Download(wstring url)
{
    std::ofstream fout(L"temp.txt");
    HINTERNET hopen = InternetOpen(L"MyAppName",
        INTERNET_OPEN_TYPE_PRECONFIG, NULL, NULL, 0);
    if (hopen)
    {
        DWORD flags = INTERNET_FLAG_DONT_CACHE;
        if (url.find(L"https://") == 0)
            flags |= INTERNET_FLAG_SECURE;
        HINTERNET hinternet = InternetOpenUrl(hopen, url.c_str(), NULL, 0, flags, 0);
        if (hinternet)
        {
            char buf[1024];
            DWORD received = 0;
            while (InternetReadFile(hinternet, buf, sizeof(buf), &received))
            {
                if (!received) break;
                fout.write(buf, received);
            }
            InternetCloseHandle(hinternet);
        }
        InternetCloseHandle(hopen);
    }
    return;
}

当我给它“ https://camelcamelcamel.com/Lodge-LMS3-Miniature-Skillet/product/B000LXA9YI ”作为参数时，仅输出https://hastebin.com/gilomexomu.xml（太大了，不能放在这里），并且从而切断了大部分网页。我不确定网站上是否有一些反下载脚本，或者它是否太大。

塞尔比

这不是您的代码。这是网站。而且我相信它只能提供gzip压缩数据。否则，它会在几kb的数据后爆炸。curl显示网站正在过早终止传输：

$ curl https://camelcamelcamel.com/Lodge-LMS3-Miniature-Skillet/product/B000LXA9YI -o text.txt
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15725    0 15725    0     0   4702      0 --:--:--  0:00:03 --:--:--  4702
curl: (18) transfer closed with outstanding read data remaining

因此，我做了两件事，以使用您的代码更好地模拟Web浏览器

将与浏览器完全相同的标题和用户代理。
由于该网站似乎只希望返回gzip编码，因此我不得不调整文件保存代码，将其另存为二进制而不是文本（这会导致Windows CRT错误地“修复”换行符）。

然后，要解码整个HTML，只需在Bash命令提示符下运行它即可：

gunzip < temp.txt > temp_final.txt

结果是temp_final.txt具有整个html响应。

这是经过调整的代码：

#include <iostream>
#include <string>
#include <fstream>
#include <Windows.h>
#include <WinINet.h>

#pragma comment(lib, "WinINet.lib")
void Download(const std::wstring& url)
{
    FILE* file = fopen("temp.txt", "wb");
    HINTERNET hopen = InternetOpen(L"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
        INTERNET_OPEN_TYPE_PRECONFIG, NULL, NULL, 0);
    if (hopen)
    {
        DWORD flags = INTERNET_FLAG_DONT_CACHE;
        if (url.find(L"https://") == 0)
            flags |= INTERNET_FLAG_SECURE;

        LPCWSTR headers = L"User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36\r\n"
L"DNT: 1\r\n"
L"Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\r\n"
L"Accept-Encoding: gzip, deflate, br\r\n"
L"Accept-Language: en-US,en;q=0.9\r\n";


        HINTERNET hinternet = InternetOpenUrl(hopen, url.c_str(), headers, 0, flags, 0);
        if (hinternet)
        {
            char buf[1024+1]={};
            DWORD received = 0;
            while (InternetReadFile(hinternet, buf, 1024, &received))
            {
                if (!received) break;

                printf("%d\n", received);

                fwrite(buf, 1, received, file);
            }
            InternetCloseHandle(hinternet);
        }
        InternetCloseHandle(hopen);
    }
    return;
}

void main()
{
    Download(L"https://camelcamelcamel.com/Lodge-LMS3-Miniature-Skillet/product/B000LXA9YI");
}

我尝试玩弄接受编码或将其设置为“身份”。结果是服务器发回一半页面，然后中止。

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。