如何使用 Python 3 抓取每个 td 标签内容
文森特·袁
我要分析的内容如下图：
<tr>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">1470-160X</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;"><a href="http://www.letpub.com.cn/index.php?journalid=2408&page=journalapp&view=detail" style="color:#0099FF; font-size:12px; font-weight:bold; text-decoration:underline;" target="_blank">ECOLOGICAL INDICATORS</a><br><br><font color="grey">ECOL INDIC</font></br></br></td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">3.190</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">2区</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">环境科学与生态学</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">环境科学</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">SCIE</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">No</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">容易</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">约3.0个月</td>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;"><a href="http://www.letpub.com.cn/index.php?page=journalapp&view=detail&journalid=2408&xuanxiangk_id=2#xuanxk_3" style="color:#0099FF; text-decoration:underline;" target="_blank">文章</a>
<td style="border:1px #DDD solid; border-collapse:collapse; text-align:left; padding:8px 8px 8px 8px;">33977</td></td>
</tr>
你还可以看到截图（一个演示）：
内容并将其添加到相应的列表中。
我的代码片段如下：
journal_ISSN = []
journal_name = []
journal_affecting_factors = []
journal_JCR_zone = []
journal_parent_class = []
journal_sub_class = []
journal_SCI = []
journal_acception = []
journal_period = []
for i in range(2, 3):
url = "http://www.letpub.com.cn/index.php?page=journalapp&view=search&searchname=&searchissn=&searchfield=&searchimpactlow=&searchimpacthigh=&searchimpacttrend=&searchscitype=&searchcategory1=%E7%8E%AF%E5%A2%83%E7%A7%91%E5%AD%A6%E4%B8%8E%E7%94%9F%E6%80%81%E5%AD%A6&searchcategory2=%E7%8E%AF%E5%A2%83%E7%A7%91%E5%AD%A6&searchjcrkind=&searchopenaccess=&searchsort=relevance&searchsortorder=desc¤tsearchpage="
resp = urlopen('%s%d%s' % (url, i,
soup = BeautifulSoup(resp, "html.parser")
journal_table = soup.findAll("table", {"class": "table_yjfx"})
# rows = journal_table.find_All("tr")[1:]
print(journal_table)
for line in journal_table:
rows = line.findAll('tr')
for single_line in rows[1:10]:
col = single_line.findAll('td')
journal_ISSN.append(col[0].string.strip())
journal_name.append(col[1].string.strip())
journal_affecting_factors.append(col[2].string.strip())
journal_JCR_zone.append(col[3].string.strip())
journal_parent_class.append(col[4].string.strip())
journal_sub_class.append(col[5].string.strip())
journal_SCI.append(col[6].string.strip())
journal_acception.append(col[7].string.strip())
journal_period.append(col[8].string.strip())
没有办法完成它。任何人都可以帮忙吗？
我收到了错误消息：
AttributeError: 'ResultSet' 对象没有属性 'string'
小D
您可以使用text代替string和更改您的 for 循环，以下是完整代码供您参考：
from bs4 import BeautifulSoup
from urllib2 import urlopen
journal_ISSN = []
journal_name = []
journal_affecting_factors = []
journal_JCR_zone = []
journal_parent_class = []
journal_sub_class = []
journal_SCI = []
journal_acception = []
journal_period = []
url = "http://www.letpub.com.cn/index.php?page=journalapp&view=search&searchname=&searchissn=&searchfield=&searchimpactlow=&searchimpacthigh=&searchimpacttrend=&searchscitype=&searchcategory1=%E7%8E%AF%E5%A2%83%E7%A7%91%E5%AD%A6%E4%B8%8E%E7%94%9F%E6%80%81%E5%AD%A6&searchcategory2=%E7%8E%AF%E5%A2%83%E7%A7%91%E5%AD%A6&searchjcrkind=&searchopenaccess=&searchsort=relevance&searchsortorder=desc¤tsearchpage=2"
resp = urlopen(url)
soup = BeautifulSoup(resp.read().decode('utf-8'), "html.parser") #decode to utf-8
journal_table = soup.find("table", {"class": "table_yjfx"})
rows = journal_table.find_all('tr')[2:-1] #filter to get only table data
for row in rows:
col = row.find_all('td')
journal_ISSN.append(col[0].text.strip())
journal_name.append(col[1].text.strip())
journal_affecting_factors.append(col[2].text.strip())
journal_JCR_zone.append(col[3].text.strip())
journal_parent_class.append(col[4].text.strip())
journal_sub_class.append(col[5].text.strip())
journal_SCI.append(col[6].text.strip())
journal_acception.append(col[7].text.strip())
journal_period.append(col[8].text.strip())
然后你可以打印journal_JCR_zone[0]和journal_parent_class[0]
print journal_JCR_zone[0]
print journal_parent_class[0]
输出：
4区
环境科学与生态学
或者您可以将结果写入文件，如下所示：
with open('chinesechar.txt','wb') as outf:
outf.write(journal_sub_class[0].encode("utf-8"))
将写入环境科学文件chinesechar.txt
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
编辑于
相关文章
TOP 榜单
- 1
蓝屏死机没有修复解决方案
- 2
计算数据帧中每行的NA
- 3
UITableView的项目向下滚动后更改颜色，然后快速备份
- 4
Node.js中未捕获的异常错误，发生调用
- 5
在 Python 2.7 中。如何从文件中读取特定文本并分配给变量
- 6
Linux的官方Adobe Flash存储库是否已过时？
- 7
验证REST API参数
- 8
ggplot：对齐多个分面图-所有大小不同的分面
- 9
Mac OS X更新后的GRUB 2问题
- 10
通过 Git 在运行 Jenkins 作业时获取 ClassNotFoundException
- 11
带有错误“ where”条件的查询如何返回结果？
- 12
用日期数据透视表和日期顺序查询
- 13
VB.net将2条特定行导出到DataGridView
- 14
如何从视图一次更新多行（ASP.NET - Core）
- 15
Java Eclipse中的错误13，如何解决？
- 16
尝试反复更改屏幕上按钮的位置 - kotlin android studio
- 17
离子动态工具栏背景色
- 18
应用发明者仅从列表中选择一个随机项一次
- 19
当我尝试下载 StanfordNLP en 模型时，出现错误
- 20
python中的boto3文件上传
- 21
在同一Pushwoosh应用程序上Pushwoosh多个捆绑ID
我来说两句