如何使用BeautifulSoup,Requests和Python从HTML的特定表中抓取数据?

rahlf23

这是我目前拥有的代码:

from bs4 import BeautifulSoup

import requests

url  = requests.get("http://eiupanthers.com/boxscore.aspx?path=baseball&id=5065").content

soup = BeautifulSoup(url, 'html.parser')

table = soup.find('table', {'class': 'sidearm-table play-by-play'})

我的表变量不断返回为空(或“无”)。这可能仅仅是语法问题。我非常精通Matlab,但是,我对Python / BeautifulSoup / Requests / etc很陌生。

任何指针将不胜感激。

我主要是尝试从逐个播放表中提取数据,以便可以在备用程序中解析此数据并为单个播放器组装数据结构。我有信心在组装数据后就可以完成这一部分。

谢谢你的帮助!

洋野
from bs4 import BeautifulSoup

import requests

header = {'User-agent' : 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5'}

url = requests.get("http://eiupanthers.com/boxscore.aspx?path=baseball&id=5065", headers=header).text

soup = BeautifulSoup(url, 'html.parser')
table = soup.find('table', {'class': 'sidearm-table play-by-play'})

print(table)

问题似乎是该网站需要某种标题,即使该request模块具有相当好的支持,您也必须传递例如上述内容。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何使用 Python 和 BeautifulSoup 从 html 表中抓取数据?

Python-如何使用“ requests&BeautifulSoup”抓取Tr / Td表数据

使用 Requests 和 Beautifulsoup 抓取数据

使用 BeautifulSoup 从 html 中抓取特定数据

使用 Python 抓取 HTML 中的特定元素:BeautifulSoup4

如何从python和beautifulsoup中的页面抓取iframe数据范围

如何使用Python Selenium BeautifulSoup抓取表格html格式的数据?

如何使用 BeautifulSoup 抓取特定数据

如何使用beautifulsoup从python中的url中抓取数据

如何使用python和beautifulsoup4循环抓取网站中多个页面的数据

使用BeautifulSoup和Requests和Pandas从<div>中的<span>抓取数据

如何使用 Python、Selenium 和 BeautifulSoup 从 HTML <span id> 中抓取此文本?

使用Python和BeautifulSoup从HTML抓取数字

使用xpath和LXML或硒从HTML表中抓取数据

使用 BeautifulSoup 抓取:从 HTML 页面抓取表格中的特定列

如何使用BeautifulSoup和Python抓取页面?

如何使用BeautifulSoup在HTML中抓取链接

使用python3.6在html表中抓取动态数据

从python中的html表中抓取数据

如何使用PHP抓取HTML表数据

使用BeautifulSoup和Selenium抓取特定的html标签

如何使用python HTMLParser从HTML页面中抓取特定值

使用python和Beautifulsoup4从抓取数据中写入和保存CSV文件

BeautifulSoup-使用Python通过分页表抓取数据

如何使用BeautifulSoup抓取HTML?

如何使用beautifulsoup从html标记的特定类中获取数据?

如何使用 Python 和 BeautifulSoup 抓取数据移动到下一页

如何使用 Pandas 将我的 python 网页抓取数据导出到现有 excel 文件中的特定工作表?

使用python和BeautifulSoup抓取数据时,Float的无效侧向