没有API的第三方网站抓取

斯卡罗斯·伊利亚斯

根据几个组合框上的选择，我需要废弃此网站。问题是没有API，而且URL是常量，因此我无法复制该URL以符合条件。

我使用firefox检查器设法弄清楚了post命令，在此处输入图片说明但是当在Java程序中使用它时，如下所示：

String url = "  https://gaiacrmkea.c-gaia.gr/city_thessaloniki/index.php";
    URL obj = new URL(url);
    HttpsURLConnection con = (HttpsURLConnection) obj.openConnection();

    //add reuqest header
    con.setRequestMethod("POST");
    con.setRequestProperty("Accept-Language", "el-GR,el;q=0.8,en-US;q=0.5,en;q=0.3");
    String urlParameters = "fyear=2015&esex=0&cdief=Όλες";
    // Send post request
    con.setDoOutput(true);
    DataOutputStream wr = new DataOutputStream(con.getOutputStream());
    wr.writeBytes(urlParameters);
    wr.flush();
    wr.close();

    int responseCode = con.getResponseCode();
    System.out.println("\nSending 'POST' request to URL : " + url);
    System.out.println("Post parameters : " + urlParameters);
    System.out.println("Response Code : " + responseCode);

    BufferedReader in = new BufferedReader(
            new InputStreamReader(con.getInputStream()));
    String inputLine;
    StringBuffer response = new StringBuffer();

    while ((inputLine = in.readLine()) != null) {
        response.append(inputLine+"\n");

    }
    in.close();

    //print result
    System.out.println(response.toString());

不起作用。它仅返回图形和按钮，但不返回实际数据。当我复制参数并将其粘贴到firefox时，例如https://gaiacrmkea.c-gaia.gr/city_thessaloniki/index.php?fyear=2015&esex=0&cdief=Όλες

我说对了。

有任何想法吗？

编辑：我希望每天自动完成。

编辑2：解决了！根据ÖzhanDüz提供的代码，我添加了这些

Select type= document
                .query("#esex")
                .getSelect();
            type.setSelectedIndex(1);
            type.change();

            Select dep =document
                    .query("#cdief")
                    .getSelect();

            dep.setSelectedIndex(1);
            dep.change();

为了获得所有三个组合框。现在，我只需要自动执行此操作即可。

用户名

您可以使用开放式的ui4j Web自动化库。下载ui4j-all jar并使用Java 8运行该示例。

package test;

import java.util.List;

import com.ui4j.api.browser.BrowserEngine;
import com.ui4j.api.browser.BrowserFactory;
import com.ui4j.api.browser.Page;
import com.ui4j.api.dom.Document;
import com.ui4j.api.dom.Element;
import com.ui4j.api.dom.Select;

public class WebScraping {

    public static void main(String[] args) throws InterruptedException {
        BrowserEngine webkit = BrowserFactory.getWebKit();

        // load the page
        Page page = webkit.navigate("https://gaiacrmkea.c-gaia.gr/city_thessaloniki/index.php");
        page.show();

        // get the DOM
        Document document = page.getDocument();

        // find the year combobox
        Select year = document
                        .query("#fyear")
                        .getSelect();

        // select year 2011
        year.setSelectedIndex(0);
        // trigger the change event
        year.change();

        // Small delay before the page load
        Thread.sleep(2000);

        // find the data table
        Element table = document
                            .query("#example")
                            .query("tbody");

        // iterate all rows
        List<Element> rows = table.queryAll("tr");
        for (int i = 0; i < rows.size(); i++) {
            Element row = rows.get(i);

            // iterate all columns
            List<Element> cells = row.queryAll("td");

            StringBuilder builder = new StringBuilder();
            for (int j = 0; j < cells.size(); j++) {
                Element cell = cells.get(j);
                String text = cell.getText();
                builder.append(text).append(" ");
            }

            System.out.println(builder.toString());
        }
    }
}