无法使用 beautifulsoup 和 requests 进行网络抓取

用户13048805

我正在尝试使用 bs4 和来自本网站https://web.bet9ja.com/Sport/SubEventDetail?SubEventID=76512106请求来抓取前两个部分的值,即 1*2 和 DOUBLECHANCE 部分的值,我编写的代码是:

import bs4 as bs
import urllib.request

source = urllib.request.urlopen('https://web.bet9ja.com/Sport/SubEventDetail?SubEventID=76512106')
soup = bs.BeautifulSoup(source,'lxml')

for div in soup.find_all('div', class_='SEItem ng-scope'):
    print(div.text)

当我跑步时我什么也没得到请帮助我任何人

αԋɱҽԃ αμєяιcαη

该页面通过 加载JavaScript,因此您有 2 个选项。或使用selenium或调用Direct API.

Selenium我没有使用而是API直接调用了并获得了所需的信息。

单击此处可以找到有关XHR 和 API < 的进一步说明

import requests

data = {
    'IDGruppoQuota': '0',
    'IDSottoEvento': '76512106'
}


def main(url):
    r = requests.post(url, json=data).json()
    count = 0
    for item in r['d']['ClassiQuotaList']:
        count += 1
        print(item['ClasseQuota'], [x['Quota']
                                    for x in item['QuoteList']])
        if count == 2:
            break


main("https://web.bet9ja.com/Controls/ControlsWS.asmx/GetSubEventDetails")

输出:

1X2 ['3.60', '4.20', '1.87']
Double Chance ['1.83', '1.19', '1.25']

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用python和BeautifulSoup进行网络抓取

无法使用BeautifulSoup和Requests抓取下拉菜单

使用 Requests 和 Beautifulsoup 抓取数据

使用python 3.6和beautifulsoup进行网络抓取-获取无效的URL

使用 Python 和 BeautifulSoup 进行问题抓取

Python - 使用 BeautifulSoup 和 Urllib 进行抓取

使用 BeautifulSoup 和 json 进行网页抓取

无法使用 Selenium 和 BeautifulSoup 抓取文本

使用BeautifulSoup和Requests和Pandas从<div>中的<span>抓取数据

使用BeautifulSoup使用python进行网络抓取,发现错误

使用Beautifulsoup进行网络抓取并收集表文本值

使用python beautifulsoup进行网络抓取,等号后获取值

在Python标签中使用BeautifulSoup进行网络抓取

使用BeautifulSoup和Requests提取数据

有没有办法使用 BeautifulSoup/requests 抓取搜索框,然后搜索和刷新?

如何使用BeautifulSoup,Requests和Python从HTML的特定表中抓取数据?

如何遍历链接的csv文件以使用BeautifulSoup和requests抓取网站而不是获取requests.exceptions.InvalidSchema?

使用python 2.7和beautifulsoup 4进行网站抓取

使用Beautifulsoup和Python进行Web抓取不起作用

使用 Selenium 和 BeautifulSoup 进行 Zillow 网页抓取

使用 Selenium 和 BeautifulSoup 进行网页抓取返回空列表

无法使用 BeautifulSoup 定位元素和抓取内容

无法使用python和beautifulsoup抓取网页中的某些href

无法通过Requests和BeautifulSoup获得正确的值

使用Python和beautifulsoup进行Web抓取:BeautifulSoup函数可以保存什么?

使用BeautifulSoup和Requests从xml文件中打印数据

网页抓取 Python (BeautifulSoup,Requests)

使用“ scrapy”进行的网络抓取抓取了0页和项目

获取文件的修改日期-在python中使用beautifulsoup进行网络抓取