如何使用python“网络抓取”包含弹出窗口的网站?

卡莱布

我正在尝试使用python Web抓取etherscan站点的特定部分,因为没有此功能的api。基本上转到此链接,然后需要按验证,然后弹出一个弹出窗口,您可以在此处看到我需要抓取的是这部分0x0882477e7895bdc5cea7cb1552ed914ab157fe56,以防消息以图片中的消息开头。

我已经编写了下面的python脚本来启动此操作,但是我不知道如何与该站点进行进一步的交互,以使该弹出窗口成为前台并抓取信息。这可能吗?

from bs4 import BeautifulSoup
from requests import get

headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0','X-Requested-With': 'XMLHttpRequest',}
url = "https://etherscan.io/proxyContractChecker?a=0xa0b86991c6218b36c1d19d4a2e9eb0ce3606eb48"
response = get(url,headers=headers )
soup = BeautifulSoup(response.content,'html.parser')

谢谢

αԋɱҽԃαμєяιcαη
import requests
from bs4 import BeautifulSoup


def Main(url):
    with requests.Session() as req:
        r = req.get(url, headers={'User-Agent': 'Ahmed American :)'})
        soup = BeautifulSoup(r.content, 'html.parser')
        vs = soup.find("input", id="__VIEWSTATE").get("value")
        vsg = soup.find("input", id="__VIEWSTATEGENERATOR").get("value")
        ev = soup.find("input", id="__EVENTVALIDATION").get("value")
        data = {
            '__VIEWSTATE': vs,
            '__VIEWSTATEGENERATOR': vsg,
            '__EVENTVALIDATION': ev,
            'ctl00$ContentPlaceHolder1$txtContractAddress': '0xa0b86991c6218b36c1d19d4a2e9eb0ce3606eb48',
            'ctl00$ContentPlaceHolder1$btnSubmit': "Verify"
        }
        r = req.post(
            "https://etherscan.io/proxyContractChecker?a=0xa0b86991c6218b36c1d19d4a2e9eb0ce3606eb48", data=data, headers={'User-Agent': 'Ahmed American :)'})
        soup = BeautifulSoup(r.content, 'html.parser')
        token = soup.find(
            "div", class_="alert alert-success").text.split(" ")[-1]
        print(token)


Main("https://etherscan.io/proxyContractChecker")

输出:

0x0882477e7895bdc5cea7cb1552ed914ab157fe56

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何使用用户登录弹出窗口抓取网站

使用 Selenium 抓取各种网站时如何处理 cookie 弹出窗口?

在Selenium中,如何使用python在弹出窗口中登录网站?

使用Python抓取包含PowerBI图的网站

如何从该弹出窗口中抓取文字?[Python和Scrapy]

使用python硒从弹出窗口进行Web抓取

如何在生成表格的网站上使用Python进行网络抓取?

如何使用Selenium和Python绕过Tor网络设置确认弹出窗口

如何通过网络使用Python抓取图表?

如何使用python跟踪网络抓取进度

当网站阻止不抓取内容时,如何使用Python抓取?

如何使用python根据网站的标题抓取网站?

python selenium 网页抓取。如何在网络中断或抓取的网站缓慢时继续重试?

通过登录网站进行python网络抓取

如何首先启动我的网站弹出窗口

使用 Selenium 关闭网站上的弹出窗口

如何停用“网络断开”弹出窗口?

无法使用python抓取网站

使用 python 抓取网站 - BeautifulSoup

使用python抓取网站时如何获得标签的价值?

如何抓取需要先使用Python登录的网站

使用Python抓取网站(Futbin)时如何更改平台?

如何使用python从网站定期抓取RSS feed

如何使用Python 3登录网站并进行抓取

如何使用Python,Requests和Xpath抓取网站?

如何使用Selenium Python抓取网站中的:: before元素

如何抓取使用BankID进行Python登录的网站(BeautifulSoap,请求)?

如何使用 Jupyter Notebook 在 Python 中更慢地抓取网站?

如何使用Python抓取多语言网站