使用Elasticsearch索引日志文件

赫曼特·拉杰普特(Hemant Rajput)

我是Elasticsearch的新手。我一直在搜索这几天,但找不到任何与此相关的信息。实际上,我想通过Apache Flume为来自spooldir的日志文件建立索引。

我能够在elasticsearch中接收数据。但是现在我希望将日志数据分成几个字段,然后进行索引。举例来说...

“ 127.0.0.1--[18 / Mar / 2015:20:36:04 -0700]” GET / HTTP / 1.1“ 404 994” ...这是我的日志数据。

现在索引应该像...

 field 1 is IP address,
 field 2 is timestamp, 
 field 3 is GET or POST method,
 field 4 is protocol,
 field 5 is status code,
 field 6 is time taken

然后,我想使用Kibana可视化这些字段。默认情况下,我只能看到类似Kibana的字段

_source, 
_index,
 _id, 
_type

我希望显示所有这些字段。

萨尔格

在Flume中使用Morphline拦截器来解析您的数据,或者编写自己的拦截器来完成任务。

Logstash也可以很好地工作,但是缺少Flume的事务处理功能。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章