如何从加载缓慢的网站上抓取表数据

112

西蒙·瓦茨（Simon C Watts）：

我正尝试从以下网站抓取表格数据：https : //fantasyfootball.telegraph.co.uk/premier-league/statscentre/

目的是获取所有玩家数据并将其存储在字典中。

我正在使用BeautifulSoup，并且能够从html内容中找到表，但是返回的表主体为空。

通过阅读其他文章，我发现这可能与网站加载网站后网站加载表数据的速度缓慢有关，但是我找不到解决此问题的方法。

我的代码如下：

from bs4 import BeautifulSoup
import requests

# Make a GET request to feth the raw HTML content
html_content = requests.get(url).text

# Parse the html content
soup = BeautifulSoup(html_content, "lxml")

# Find the Title Data within the website
player_table = soup.find("table", attrs={"class": "player-profile-content"})

print(player_table)

我得到的结果是这样的：

<table class="playerrow playlist" id="table-players">
    <thead>
        <tr class="table-head"></tr>
    </thead>
    <tbody></tbody>
</table>

网站上实际的HTML代码很长，因为它们将大量数据<tr>以及后续数据打包到其中，<td>因此除非有人询问，否则我不会在此处发布。可以说<td>标题行中有几行，正文中有几行<tr>。

安德烈·凯斯利（Andrej Kesely）：

此脚本将打印所有玩家统计信息（数据通过Json从外部URL加载）：

import ssl
import json
import requests
from urllib3 import poolmanager

# workaround to avoid SSL errors:
class TLSAdapter(requests.adapters.HTTPAdapter):
    def init_poolmanager(self, connections, maxsize, block=False):
        """Create and initialize the urllib3 PoolManager."""
        ctx = ssl.create_default_context()
        ctx.set_ciphers('DEFAULT@SECLEVEL=1')
        self.poolmanager = poolmanager.PoolManager(
                num_pools=connections,
                maxsize=maxsize,
                block=block,
                ssl_version=ssl.PROTOCOL_TLS,
                ssl_context=ctx)

url = 'https://fantasyfootball.telegraph.co.uk/premier-league/json/getstatsjson'

session = requests.session()
session.mount('https://', TLSAdapter())
data = session.get(url).json()

# uncomment this to print all data:
# print(json.dumps(data, indent=4))

for s in data['playerstats']:
    for k, v in s.items():
        print('{:<15} {}'.format(k, v))
    print('-'*80)

印刷品：

SUSPENSION      None
WEEKPOINTS      0
TEAMCODE        MCY
SXI             34
PLAYERNAME      de Bruyne, K
FULLCLEAN       -
SUBS            3
TEAMNAME        Man City
MISSEDPEN       0
YELLOWCARD      3
CONCEED         -
INJURY          None
PLAYERFULLNAME  Kevin de Bruyne
RATIO           40.7
PICKED          36
VALUE           5.6
POINTS          228
PARTCLEAN       -
OWNGOAL         0
ASSISTS         30
GOALS           14
REDCARD         0
PENSAVE         -
PLAYERID        3001
POS             MID
--------------------------------------------------------------------------------

...and so on.

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。