如何检查CSV文件中存储的多个URL的URL状态并将结果保存到新的CSV文件中

猴面包树1988

我是python的新手,目前正在尝试实现以下目标:

我想在input.csv文件中检查多个URL的HTTP响应状态代码:

id    url
1    https://www.google.com
2    https://www.example.com
3    https://www.testtesttest.com
...

并将结果另存为“状态”列,在我的output.csv文件中标记掉的URL或出现其他问题的URL:

id    url                            status
1    https://www.google.com          All good!
2    https://www.example.com         All good!
3    https://www.testt75esttest.com    Down
...

到目前为止,我正在尝试以下操作,但未成功:

import requests
import pandas as pd
import requests.exceptions

df = pd.read_csv('path/to/my/input.csv')

urls = df.T.values.tolist()[1]


try:
    r = requests.get(urls)
    r.raise_for_status()  
except (requests.exceptions.ConnectionError, requests.exceptions.Timeout):
    print "Down"
except requests.exceptions.HTTPError:
    print "4xx, 5xx"
else:
    print "All good!"

不知道如何获得上述结果并将其另存为output.csv文件中的新列:

df['status'] = #here the result 
df.to_csv('path/to/my/output.csv', index=False)

有人可以帮忙吗?提前致谢!

戴维·埃里克森
id  url
1   https://www.google.com
2   https://www.example.com
3   https://www.testtesttest.com

将以上内容复制到剪贴板。然后,运行以下代码。您需要遍历网址并将状态附加到列表中。然后,将该列表设置为新列。

import requests
import pandas as pd
import requests.exceptions
df = pd.read_clipboard()
df

urls = df['url'].tolist()
status = []
for url in urls:
    try:
        r = requests.get(url)
        r.raise_for_status()
    except (requests.exceptions.ConnectionError, requests.exceptions.Timeout):
        status.append("Down")
    except requests.exceptions.HTTPError:
        status.append("4xx, 5xx")
    else:
        status.append("All good!")
df['status'] = status
df.to_csv('path/to/my/output.csv', index=False)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何汇总不同csv文件第二列中的相同id和值并将结果保存到带有pandas的新csv中?

过滤csv中的行并将其保存到新的csv文件中

如何从多个网站页面将抓取的结果保存到CSV文件中?

如何获取存储在Blob存储中的所有文件名并将其保存到表或csv中

如何将多个记录保存到csv文件中?

我们如何遍历所有由 JSON 数据组成的 URL,将每个 URL 转换为数据帧,并将每个 URL 保存到单独的 CSV 文件中?

使用批处理脚本从xml文件获取标签值并将结果保存到csv文件中

如何每次逐行读取CSV文件并将其存储到新行的新CSV文件中?

如何使用熊猫从csv读取行,执行VLOOKUP操作并将结果保存到另一个文件中?

如何将抓取的数据正确存储在 item 对象中并将每个集合保存到 1 个 csv 文件?

如何读取 CSV 电子邮件正文并将其保存到 CSV 文件中?

将scrapy结果保存到csv文件中

将数据保存到熊猫中的多个csv文件

如何从文件中提取多个数据并将其存储在csv文件中?

如何将nodejs中的多个文件上传到AWS S3并将文件url保存到数据库中?

如何将多个confusionMatrix的输出保存到R中的单个csv文件中?

如何将实时预测结果保存到 csv 文件中?

使用批处理卷曲多个 url 并将结果保存在 txt 文件中

如何将结果保存到Excel文件或csv文件?

如何在每次循环浏览时将其保存到新的csv文件中

如何将CSV文件加载到Apache Arrow向量中并将箭头文件保存到磁盘

如何将JSON文件保存到csv中

如何将抓取数据保存到CSV文件中?

如何从.CSV文件中查找AWND的前10行,然后使用Python将结果存储在新的.CSV文件中?

每天提取CSV文件并将其保存到单独的MATLAB文件中

剥离CSV文件中的列并将其保存到其他文件夹

如何读取多个csv文件并将它们存储在不同的数据框中?

从查询中仅获取1个结果-将结果保存到CSV文件中

如何下载 csv 文件并将内容存储在对象中