BeautifulSoup Web抓取多个页面的URL不变

timf135

当使用漂亮的汤来进行网络评论时,关于“所有受众”评论,我会有一个问题。更改评论列表页面时,URL不会更新。

这是一个示例:https : //www.rottentomatoes.com/m/midsommar/reviews?type=user

单击下一步时,不会更改URL。

根据我尝试(可能会说错)跟踪xhr请求的其他线程中提供的其他一些答案,我相信正在运行的确切脚本就是我在此处图片中突出显示的内容(我没有10个声誉,因此无法发布图片)。

网络方法发布

当我查看该GET操作的标题时,会看到一个请求URL,当我尝试它包含我需要的所有信息时,问题是我不知道它们进入下一页的命名约定。以下是RequestURL在页面之间的变化方式。

请求网址页面1-> 2

请求网址页面2-> 3

我怎样才能得到美丽的汤来遍历这些汤?

谢谢!

下面应该有足够的代码来尝试这种操作,而忽略一些命名。

from bs4 import BeautifulSoup as soup
from urllib.request import Request, urlopen

x = input('What Movie?').replace(" ", "_").lower()

req_rot = Request('https://www.rottentomatoes.com/m/' + str(x) + '/reviews?type=user', headers={'User-Agent': 'Mozilla/5.0'})

webpage_rot = urlopen(req_rot).read()

page_soup_rot = soup(webpage_rot, "html.parser")

reviews_rot = page_soup_rot.findAll("div",{"class":"audience-reviews__review-wrap"})

z_rot = re.findall(r'js-clamp"(.+)</p>', str(reviews_rot))

Movie_Adj_rot = re.sub("[^\w]", " ",  str(z_rot)).split()

timf135

关于此问题的更好描述是窗口分页,我发现的最简单的解决方案是只学习硒,并在单击每个页面上的下一个按钮元素的范围内的循环中插入scrape函数。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章