有时我们没有我们想要的API,这是其中一种情况。
我想从某些网站中提取某些信息,因此我正在考虑使用CURL请求以编程方式通过在服务器中使用CRON作业对站点中的数百个页面进行使用。
然后缓存响应,并在一天或几天后再次触发。
这是否可能被服务器视为某种攻击,服务器可能会在很短的时间内看到来自同一服务器IP的数百个对特定站点的呼叫?
可以说,五百卷吗?
你会推荐我什么?也许利用sleep
curl到curl的命令来减少这些请求的频率?
您绝对可以做到这一点。但是,您应该牢记以下几点:
sleep
前面提到的命令来规避此问题。正如@RyanCady所提到的,最好的解决方案可能是与网站所有者联系,并解释您的工作并查看他们是否可以满足您的要求。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句