利用Logstash
从导入数据Mysql
到Elasticsearch
时,SQL跟踪update_timestamp
表,并计划每1分钟。
在某些特殊情况下,SQL无法在1分钟内完成(例如,初始导入到新的ES实例中)。
顺便说一句,如果sql匹配超过10万行,logstash似乎确实会批量导入10万行。
问题是:
如果sql无法在1分钟内(也就是下一个预定时间开始之前)完成,logstash会做什么?
会:
jdbc输入将Rufus调度程序的max_work_threads设置为1。如果没有可用的工作线程,则trigger_queue不会执行任何操作,因此该作业实例将永远不会运行。它会一直等到下一次应触发队列。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句