我是 Webscraping 的新手,因此也是 bs4 和 selenium 的新手。我能够从奥运会奖牌获得者页面的表格中检索数据。但我不知道如何从其余页面获取数据,因为它没有根据页面更新它的 url(基于我浏览的初始教程)。
我想知道在这种情况下如何循环浏览页面。
编辑:感谢所有的答案。每个答案都为我增加了一个概念,即以不同的方式从网站获取数据。谢谢。
要转到下一页,您必须单击页面右下角的next
分页按钮。
为此,您必须向下滚动页面并单击该页面。
对于滚动,您将使用action_chains
类。
因此,您将在每个页面上收集数据,然后执行以下操作:
next_page_btn = driver.find_element_by_xpath('//li[@class="paginate_button page-item next"]//a')
actions.move_to_element(next_page_btn).perform()
time.sleep(0.5)
next_page_btn.click()
在此之前,您必须导入
from selenium.webdriver.common.action_chains import ActionChains
并actions
用
actions = ActionChains(driver)
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句