使用 BeautifulSoup 和 Python 抓取多个表格页面

普拉南

http://www.indymini.com/p/mini-marathon/miniresults

我想使用 python BS4 废弃此 url 上可用的表,但是当我更改表大小或更改页面时,url 不会更改。

卢卡什·日哈

在表格中导航时,URL 不会改变,因为表格似乎是使用 javascript(特别是 DataTables 库)实现的 - 并使用 AJAX 来获取要显示的相关数据。

所以,基本上,我没有看到一种方法可以在页面加载时使用 BS4 抓取页面并获取默认显示的数据以外的数据。

另一方面,由于使用 AJAX 检索数据,您可以尝试找出 AJAX 请求的格式(什么参数对您想要的结果执行什么操作,例如使用 Firebug)并直接在 JSON 中检索数据通过调用提供数据表的 AJAX URL 来格式化。

但是,根据您对数据的预期用途,您可能需要考虑向网站所有者请求下载和使用数据的许可。而且,谁知道呢——他们可能愿意帮忙。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用BeautifulSoup和Python刮取多个页面

如何使用python和beautifulsoup4循环抓取网站中多个页面的数据

无法使用python和beautifulsoup抓取网页中的某些href

如何使用BeautifulSoup和Python抓取页面?

使用Python的BeautifulSoup抓取表格ID

如何在一个Web上从多个页面抓取数据,我正在使用Python和BeautifulSoup

使用Python和BeautifulSoup从HTML抓取数字

Web使用BeautifulSoup抓取多个页面

如何使用Python和BeautifulSoup抓取多个Google页面

使用Python和BeautifulSoup为多个页面生成Yahoo和Bing Scrapping的URL

使用python和BeautifulSoup进行网络抓取

使用Beautifulsoup和Python进行Web抓取不起作用

Python-使用BeautifulSoup在页面内抓取多个类

使用 Beautifulsoup 和 Python 抓取复杂的表格

使用python 2.7和beautifulsoup 4进行网站抓取

使用 Python 和 BeautifulSoup 提取数字(多个跨度和类)

使用 Python 和 BeautifulSoup 抓取 alt 标签

网页抓取 - 从使用 BeautifulSoup 和 Python 的类中获取文本?

使用 python 和 BeautifulSoup 抓取不完整的标签

使用 Python-BeautifulSoup 抓取表格数据

Python - 使用 BeautifulSoup 和 Urllib 进行抓取

使用 BeautifulSoup 在 python 中抓取多个页面

使用 Python Beautifulsoup 抓取表格和数据

使用 BeautifulSoup 和 Python 抓取表格

使用 BeautifulSoup 抓取:从 HTML 页面抓取表格中的特定列

使用 BeautifulSoup 在具有多个表格的页面上抓取单个 Wiki 表格

使用 BeautifulSoup 抓取表格

使用 BeautifulSoup 在 Steam 中抓取多个页面

使用 Python 和 BeautifulSoup 进行问题抓取