我一直在尝试从网页中抓取数据以进行数据分析项目，并且成功地从单个页面获取数据。
import requests
from bs4 import BeautifulSoup
import concurrent.futures
from urllib.parse import urlencode
from scraper_api import ScraperAPIClient
client = ScraperAPIClient('key')
results = client.get(url = "https://www.essex.ac.uk/course-search?query=&f.Level%7CcourseLevel=Undergraduate").text
print(results)
对于来自站点“https://www.essex.ac.uk/course-search?query=&f.Level%7CcourseLevel=Undergraduate”的示例，我需要在每个课程中导航并从该页面获取一个名为持续时间的数据.
试试下面的：
client = ScraperAPIClient('key')
results = []
for i in range(10):
results.append(client.get(url = f"https://www.essex.ac.uk/course-search?query=&f.Level%7CcourseLevel=Undergraduate&start_rank={i}1").text)
print(results)
循环浏览 10 个结果页面并将每个文本响应放入结果列表
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句