使用bs4进行网络抓取时如何查找特定的类?

毒液毒液

我正在尝试编写一个刮板,以在站点上刮擦我产品的产品ID。

import requests
from bs4 import BeautifulSoup

URL = 'https://stockx.com/de-de/air-jordan-1-retro-high-dark-mocha'
headers = {
    'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Mobile Safari/537.36'
}


r = requests.get(URL, headers=headers)

soup = BeautifulSoup(r.text, 'html.parser')

soup.find('div', {'class':'detail'})
print(soup)

我想访问class =“ detail”,但是执行此操作时,它会显示整个网站的html?我做错了什么?

对冲猪

什么地方出了错

  • soup像这样分配,soup = BeautifulSoup(r.text, 'html.parser')所以它正在打印整个html
  • 您想要分配和打印detail元素: detail = soup.find('div', {'class':'detail'})

尝试这个:

import requests
from bs4 import BeautifulSoup

URL = 'https://stockx.com/de-de/air-jordan-1-retro-high-dark-mocha'
headers = {
    'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Mobile Safari/537.36'
}


r = requests.get(URL, headers=headers)

soup = BeautifulSoup(r.text, 'html.parser')

detail = soup.find('div', {'class':'detail'})
print(detail)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

当有脚本结果时,如何通过请求进行网络抓取,Bs4?

如何使用python使用bs4进行网络抓取和访问<script>

使用 bs4 进行网页抓取

如何使用bs4处理网络抓取的复杂边缘情况?

BS4:使用 Python 进行网页抓取时的属性错误

如何在使用python进行网络抓取时访问类HTML中的特定对象

使用 python 和 bs4 进行网页抓取

使用Selenium和bs4进行Web抓取

使用请求和 BS4 进行抓取

使用 BS4 进行网页抓取:无法获取表格

使用 bs4 进行网页抓取不返回数值

使用 BS4 进行网页抓取,如何设置查看位置的范围

使用bs4 python进行网页抓取:如何显示足球比赛

使用bs4的Python网络抓取不适用于类pg-bodyCopy has-apos

如何使爬虫使用bs4抓取网站

Python-如何使用bs4抓取JavaScript代码?

如何使用 Bs4 抓取包含 HTML 实体的内容

如何使用 BS4 抓取数据值?

网络抓取保存到python,bs4中的特定json

使用 bs4 beautifulSoup 查找特定元素

使用 BS4 抓取信息

Web抓取:使用bs4抓取数据时获取'\ n'标签

从某些网站抓取 html 时遇到问题,是否必须启用 JS 和 cookie?使用 requests 和 bs4 进行抓取

有关使用py bs4进行网页抓取的问题

使用BS4或Selenium从finishline.com进行Web抓取

使用python bs4根据标题进行屏幕抓取

如何使用BS4获取HTML正文的特定部分

尝试使用python和bs4从特定'td'内抓取所有'a'文本

无法使用bs4从BSE网站上抓取特定信息