我是Elasticsearch的新手。我一直在搜索这几天,但找不到任何与此相关的信息。实际上,我想通过Apache Flume为来自spooldir的日志文件建立索引。
我能够在elasticsearch中接收数据。但是现在我希望将日志数据分成几个字段,然后进行索引。举例来说...
“ 127.0.0.1--[18 / Mar / 2015:20:36:04 -0700]” GET / HTTP / 1.1“ 404 994” ...这是我的日志数据。
现在索引应该像...
field 1 is IP address,
field 2 is timestamp,
field 3 is GET or POST method,
field 4 is protocol,
field 5 is status code,
field 6 is time taken
然后,我想使用Kibana可视化这些字段。默认情况下,我只能看到类似Kibana的字段
_source,
_index,
_id,
_type
我希望显示所有这些字段。
在Flume中使用Morphline拦截器来解析您的数据,或者编写自己的拦截器来完成任务。
Logstash也可以很好地工作,但是缺少Flume的事务处理功能。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句