使用 python 抓取网站 - BeautifulSoup
阿肯曼迪拉
这是我在这里的第一个问题，我开始学习 python，已经看了很多视频。
感谢您能在我下面的代码中启发我，
我收到以下错误“AttributeError: 'NoneType' 对象没有属性 'find'”
我只需要搜索一个词（在这个例子中是鹦鹉）并在类中刮下并列出标题：“片段”
import requests
from bs4 import BeautifulSoup
page = requests.get("http://web.archive.org/web/*/parrot#")
soup = BeautifulSoup(page.content, 'html.parser')
container = soup.find("div", {"class":"search-result-container container"})
mysnippet = container.find("div", {"class":"snippet"})
print("List of Titles")
print(mysnippet)
巴维亚·帕里克
如果你打印你的汤，你会发现数据不存在，甚至那个 div 标签包含 ::before 意味着动态加载
所以你可以先尝试这种方法，先进入 chrome 开发者模式，然后网络选项卡现在刷新你的浏览器
在 xhr 中，您可以在 Name 选项卡下找到链接，其中第二个链接包含 json 数据，因此您可以通过从该查找标题中复制链接地址来获取该链接
import requests res=requests.get("http://web.archive.org/__wb/search/anchor?q=parrot") main_data=res.json() for i in range(len(main_data)): print(main_data[i]['text'])
输出：
parrot
dead parrot society
parrot forum
parrot vids
....
图片：
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
编辑于
相关文章
TOP 榜单
- 1
构建类似于Jarvis的本地语言应用程序
- 2
在 Avalonia 中是否有带有柱子的 TreeView 或类似的东西？
- 3
Qt Creator Windows 10 - “使用 jom 而不是 nmake”不起作用
- 4
SQL Server中的非确定性数据类型
- 5
使用next.js时出现服务器错误，错误：找不到react-redux上下文值；请确保组件包装在<Provider>中
- 6
Swift 2.1-对单个单元格使用UITableView
- 7
Hashchange事件侦听器在将事件处理程序附加到事件之前进行侦听
- 8
HttpClient中的角度变化检测
- 9
如何了解DFT结果
- 10
错误：找不到存根。请确保已调用spring-cloud-contract：convert
- 11
Embers js中的更改侦听器上的组合框
- 12
在Wagtail管理员中，如何禁用图像和文档的摘要项？
- 13
如何避免每次重新编译所有文件？
- 14
Java中的循环开关案例
- 15
ng升级性能注意事项
- 16
Swift中的指针替代品？
- 17
如何使用geoChoroplethChart和dc.js在Mapchart的路径上添加标签或自定义值？
- 18
使用分隔符将成对相邻的数组元素相互连接
- 19
在同一Pushwoosh应用程序上Pushwoosh多个捆绑ID
- 20
ggplot：对齐多个分面图-所有大小不同的分面
- 21
完全禁用暂停（在内核级别？-必须与使用的DE和登录状态无关！）
我来说两句