使用 BeautifulSoup 抓取数据

用户341383

我正在尝试从该站点将数据刮到字典中,

from bs4 import BeautifulSoup 
import requests 
from pprint import pprint

page = requests.get('https://webscraper.io/') 
soup = BeautifulSoup(page.text, "lxml")

info = []
for x in range(1,7):
    items = soup.findAll("div",{"class":f"info{x}"})
    info.append(items)

但是,HTML 标记不会被删除。

赤城88

您需要使用.text. 然后为了达到你想要的方式,需要做一些字符串操作。

from bs4 import BeautifulSoup 
import requests 
from pprint import pprint

url = 'https://webscraper.io/'
page = requests.get(url) 
soup = BeautifulSoup(page.text, "lxml")


info = []
for x in range(1,7):
    item = soup.find("div",{"class":"info%s" %x}).text.strip().replace('\n',': ')
    info.append(item)

info = '\n'.join(info)
print (info)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用 BeautifulSoup 抓取 Web 数据

使用 BeautifulSoup 从数据框中抓取数据

使用beautifulSoup在元素中抓取数据

使用 BeautifulSoup 从 Zillow.com 抓取数据

使用 BeautifulSoup 从 wiki 类别中抓取数据

使用BeautifulSoup抓取财务数据

使用 Python Beautifulsoup 抓取表格和数据

使用beautifulsoup从脚本标签中抓取数据

使用 Requests 和 Beautifulsoup 抓取数据

使用 Python-BeautifulSoup 抓取表格数据

使用 BeautifulSoup 从网站抓取数据的问题

如何使用 BeautifulSoup 抓取特定数据

不使用beautifulsoup抓取网站数据

使用 BeautifulSoup 和 Selenium 抓取数据

在404中使用beautifulsoup结果抓取数据

使用 BeautifulSoup 从 html 中抓取特定数据

如何使用Python Selenium BeautifulSoup抓取表格html格式的数据?

使用BeautifulSoup4进行数据抓取的问题

需要使用xpath和beautifulsoup从网站抓取数据

使用 BeautifulSoup 将抓取的文本转换为 Pandas 数据框

当数据在页面之间拆分时使用beautifulsoup进行抓取

使用python和BeautifulSoup抓取数据时,Float的无效侧向

如何使用beautifulsoup在h4中抓取数据?

如何使用beautifulSoup从<td>标签分别抓取数据?

使用 beautifulsoup 在 Pandas 数据框中抓取问题/错误

BeautifulSoup-使用Python通过分页表抓取数据

如何使用beautifulsoup从python中的url中抓取数据

无法使用 BeautifulSoup 从网站上抓取所有数据

使用 BeautifulSoup 或 Selenium 抓取网站时找不到数据