Python请求和beautifulsoup4,仅收集“ href”链接

神风队_金鱼
from bs4 import BeautifulSoup
import requests

url = "https://www.brightscope.com/ratings"
headers = {'User-Agent':'Mozilla/5.0'}
page = requests.get(url)
soup = BeautifulSoup(page.text, "html.parser")

data = soup.find_all('li',{"class":"more-data"})+soup.findAll('li', {"class":"more-data topten"})
for item in data:
   print(item('a'))

我只想打印hrefs,但似乎无法弄清楚。我看了不同的视频,但收不到。我究竟做错了什么?我知道上面的代码正在打印“ a”标签的内容,但我只需要href的内容。

ec

您需要使用对元素属性字典式访问

[a['href'] for a in item('a')]

而且,作为旁注,您可以改善li元素定位的方式,而不是:

data = soup.find_all('li',{"class":"more-data"})+soup.findAll('li', {"class":"more-data topten"})
for item in data:
   print(item('a'))

你可以做:

links = soup.select("li.more-data a")
for a in links:
    print(a["href"])

这里li.more-data a是一个CSS选择器这将匹配所有a内部要素li与要素more-data类。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

Python 请求和 BeautifulSoup4 .get('href') 从 Safaribooksonline 抓取时返回绝对地址

Beautifulsoup-收集href链接并创建链接列表

使用BeautifulSoup查找href链接

使用 BeautifulSoup 访问 href 链接

Python抓取fetech href链接

选择带有 python 请求的 href 链接

使用beautifulsoup从<a> href链接获取文本

在BeautifulSoup中查找特定孩子的链接(href)

使用Beautifulsoup刮除href链接

如何使用BeautifulSoup从网站获取href链接

使用 BeautifulSoup 获取正确的 href 链接

如何使用python / pandas从href获得href链接

在硒python中通过href查找链接

如何使用Python从HTML获得href链接?

Python,Beautifullsoup-获取href链接

来自网站的python selenium scrape href(链接)

HTML Selenium Python 点击href链接

从此元素获取链接| python3 BeautifulSoup4

使用beautifulsoup4,Python在html标签内查找链接

使用Python Beautifulsoup进行抓取以获得作为链接的href的网址

使用BeautifulSoup + Python在href内抓取超链接

python beautifulsoup解析'a'标签和href时没有链接

如何在python中使用beautifulsoup获取完整的href链接

在Python BeautifulSoup中提取具有href属性的链接

在Python beautifulsoup中提取tr值的href链接

使用 BeautifulSoup 从 <a href 标签中提取特定页面链接

BeautifulSoup-所有href链接似乎都未提取

如何使用 BeautifulSoup 从表中的 a 中提取 href 链接

BeautifulSoup 如何用于从网站中提取“href”链接?