使用 BeautifulSoup 从网站抓取数据的问题

比利

我正在尝试从 Letterboxd 网站获取电影评级。我在其他网站上使用过这样的代码并且它有效,但它没有从这个网站上获得我想要的信息。

import requests
from bs4 import BeautifulSoup
page = requests.get("https://letterboxd.com/film/avengers-endgame/")
soup = BeautifulSoup(page.content, 'html.parser')
final = soup.find("section", attrs={"class":"section ratings-histogram- 
chart"})
print(final)

这不会打印任何内容,但网站上有一个该课程的标签,我想要的信息在它下面。

纳德姆·马鲁

这背后的原因是网站异步加载大部分内容,因此您必须查看它发送到服务器的 http 请求,以便在加载页面布局后加载页面内容。您可以在浏览器的“网络”部分(F12 键)中找到它们。例如,他们用来加载评级的 api 之一是这样的:

https://letterboxd.com/csi/film/avengers-endgame/rating-histogram/

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章