如何使用BeautifulSoup从python网站中未加载的选项卡中抓取表格数据

用户15535799

我正在尝试从该网站抓取索引数据我试图从索引选项卡中抓取翻转数据,但是当我抓取表格时,其内容显示如下:

<table cellspacing="0" class="derivatives_section table table-striped responsive dt-responsive nowrap derivatives_rollover_tbl" id="rollover_index_table" width="100%">
<thead>
<tr>
<th>Index</th>
<th>Future<br/> Price</th>
<th>% Price<br/> Chg.</th>
<th>% OI<br/> Chg.</th>
<th>No. of Shares<br/> Rolled</th>
<th>% Rollover</th>
<th id="ro_idx_1">% Chg Rollover <br/> Vs. 1 Month Avg.</th>
<th>% Rollover <br/>Cost </th>
<th id="ro_idx_2">% Chg Rollover Cost <br/> Vs. 1 Month Avg.</th>
</tr>
</thead>
<tbody>
<tr>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
<td><div class="text-line loading"></div></td>
</tr>
<tr>

以下是产生与上述相同结果的代码:

import requests
import json
import time
from bs4 import BeautifulSoup

url = 'https://www.indiainfoline.com/markets/derivatives/rollover#derivatives_index'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'}

request = requests.get(url,headers=headers)
soup = BeautifulSoup(request.text,'html.parser')

table = soup.find('table',{'id':'rollover_index_table'})
tbody = table.find('tbody')
tr = tbody.find('tr')
td = tr.find_all('td')

print(td)

如何抓取网站的索引标签数据?

哈尔

数据来自返回 json 的 API 调用。您可以按如下方式创建数据的数据框:

import requests
import pandas as pd

r = requests.get('https://www.indiainfoline.com/api/papi-call-api.php?url=/Derivative/Derivative.svc/FNO-Rollover/FUTSTK/?responsetype=json').json()
df = pd.DataFrame(r['response']['data']['FNORollOverList']['FNORollOverdata'])
print(df)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何使用Python Selenium BeautifulSoup抓取表格html格式的数据?

在离子选项卡中显示网站

如何使用python和beautifulsoup4循环抓取网站中多个页面的数据

如何控制我的网站的截图在浏览器中的新选项卡上显示最近使用过的网站列表

通过浏览网页中的不同选项卡并将数据提取到Dataframe进行Web抓取

如何使用可扩展的选项卡和后续的POST请求抓取数据(CORS问题)

如何使用UIPath中的“关闭”选项卡活动关闭子选项卡

使用R进行网页抓取-未加载完整的网站数据

python中的Web抓取未加载数据

如何在垂直选项卡中呈现数据

使用组合框VBA中的选项来抓取网站数据

PagerSlidingTabStrip:如何在运行时刷新当前选项卡中的内部片段Listview并停止为下一个选项卡加载数据

加载的div中的jQuery选项卡

如何使用Angular和Bootstrap中的“全部”选项卡进行选项卡导航?

如何使用jQuery UI选项卡在表格开关选项卡中制作元素

如何使用python中的BeautifulSoup库从具有“查看更多”选项的网站上抓取数据

使用 Python-BeautifulSoup 抓取表格数据

如何在 python 中使用显示时间的数据字符串(从网站的表格中抓取)?

使用 Python 发布信息刷新网站或使用 Python 在现有选项卡中打开其他链接

BeautifulSoup-Python:如何抓取尚未加载的数据?

如何使用beautifulsoup从python中的url中抓取数据

使用 Python Beautifulsoup 抓取表格和数据

从 Python Beautifulsoup 中抓取表格

Python beautifulsoup,抓取网站中的表格

如何使此脚本在除某些选项卡(表格)之外的所有选项卡中运行?

如何从选项卡(而不是网站内容)中抓取图标

如何在ModelView中数据绑定并在选项卡时加载数据

如何在 chome 扩展中的选项卡之间发送选项卡数据?

如何使用 Python 和 BeautifulSoup 从 html 表中抓取数据?