可以向数百个站点发出卷曲请求被某些主机视为攻击吗?

阿尔瓦罗

有时我们没有我们想要的API,这是其中一种情况。

我想从某些网站中提取某些信息,因此我正在考虑使用CURL请求以编程方式通过在服务器中使用CRON作业对站点中的数百个页面进行使用。

然后缓存响应,并在一天或几天后再次触发。

这是否可能被服务器视为某种攻击,服务器可能会在很短的时间内看到来自同一服务器IP的数百个对特定站点的呼叫?

可以说,五百卷吗?

你会推荐我什么?也许利用sleepcurl到curl命令来减少这些请求的频率?

惠特

您绝对可以做到这一点。但是,您应该牢记以下几点:

  1. 大多数称职的网站在其服务条款中都会有一条条款,禁止以所提供的界面以外的任何方式使用该网站。
  2. 如果该站点看到您在做什么,并且注意到对其网络的有害影响,他们将阻止您的ip(我们的组织正遇到此问题,以至于我们保证可以开发一个记录ip和访问内容速率的程序,然后如果他们尝试在y秒内访问x个以上的页面,我们将ip禁止z分钟),但是您可以通过使用sleep前面提到命令来规避此问题
  3. 如果在呈现标记后需要通过javascript动态加载的页面上的信息,则从curl请求收到的响应将不包含此信息。对于此类情况,有一些程序,例如iMacros,可让您在浏览器中编写脚本,以编程方式执行操作,就像您实际上在使用浏览器一样。

正如@RyanCady所提到的,最好的解决方案可能是与网站所有者联系,并解释您的工作并查看他们是否可以满足您的要求。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

一次处理数百个 API 请求

我可以在 `sort` 键下使用多个参数向 Search 端点发出请求吗?

从https站点向http站点发出跨域请求是否可行?

过滤大量(数百个)条件

互动数百个变量

向SSIS发出卷曲请求

如何计算一个特定站点向我的站点发出的图像请求的数量

使用Retrofit 2是否可以连续向同一端点发出2个不同的POST请求?

如何使用RxJS处理数百个请求而不会崩溃?

数百个来自 socket.io 的轮询请求,应用程序真的很慢

python-使用请求从数百个网页中获取内容

数百个JSX元素类型“ xxx”不是JSX元素的构造函数吗?

有什么简单的方法可以替换文本中的数百个占位符

如果我需要用户潜在地访问其他数百个用户的数据,可以使用Realm DB吗?

云身份和云端点,是否有任何方法可以阻止角色/组中的某些用户向端点发出POST / GET请求

提高在React中渲染数百个组件的性能

静态Google Map API中的数百个图钉

复制数百个独立 git 存储库的状态

替换数百个文件中的特定单词

SSIS如何映射数百个派生列

使用OSMdroid优化数百个ItemizedOverlay <Overlayitem>

存储,解析和编辑数百个XML文件

通过信号过滤数百个核心转储

Schedulers.io创建数百个RxCachedThreadSchedulers

对数刻度偶尔会产生数百个刻度

熊猫:按数百个分组DataFrame

Gradle恶魔启动了数百个VM

为什么 SQLite 存储数百个空字节?

合并或连接数百个Excel文件