弹性搜索存储什么,以及如何存储?

约翰·利特尔

根据维基百科,弹性搜索是一种搜索引擎。这意味着它不是一个数据库,并且不存储它正在编制索引的数据(但大概确实存储了它的索引)

大概有 2 种方法可以将数据导入 Es。日志传送或直接通过 api。

假设我的应用程序想要编写一个老式的日志文件条目:

Logger.error(now() + “在模块中发生了一些不好的事情” + module + “;” + message”

这可以写入文件或使用 rest api 将数据直接放入 es 中。

如果是通过rest api完成的,es是否存储了整个日志消息,在这种情况下,您不需要浪费磁盘将日志写入文件以进行合规等。 或者它是否仅索引数据,因此您需要保留一个单独的副本? 如果删除或移动原始日志文件,es怎么知道,Deos存储的内容还有用吗?

如果写入日志文件,那么使用 log stash 或类似的“将日志数据放入 es”是否存储整个日志文件以及任何索引?

es 如何解析或索引任意日志文件?它将日志行视为单个字符串,还是要求日志具有特定格式,例如 cvs 或 Jason?

有谁知道具有此关键信息的资源?

登录

Elasticsearch 确实存储了您正在编制索引的数据。

当您将数据摄取到 elasticsearch 中时,这些数据会存储在一个或多个索引中,然后可以对其进行搜索。为了能够使用 elasticsearch 搜索某些内容,您需要将数据存储在 elasticsearch 中,例如它不能搜索外部文件。

在您的示例中,如果您有一个发送日志的应用程序执行elasticsearch,它将存储您发送的整个消息,并且在elasticsearch 中之后您不再需要原始日志。

如果您需要在不同字段中解析您的文档,您可以在将日志作为 json 文档发送到 elasticsearch 之前执行此操作,使用 logstash 执行此操作或使用 elasticsearch 中的摄取管道。

了解更多关于它是如何工作的一个很好的起点是官方文档

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何在弹性搜索中存储数据?

弹性搜索文档存储

弹性搜索 - 仅存储字段

弹性搜索 - 仅存储字段

如何使用弹性搜索作为Json存储和获取文档

在弹性搜索中存储嵌套对象

具有弹性搜索存储的 Zipkin (QueryParsingException)

Data Lake如何存储数据以及什么格式?

什么是 android studio 存储库以及它们如何工作

弹性搜索如何存储关键字和数字数据类型?它存储在倒排索引中吗?

如何对弹性搜索聚合存储桶数据应用数学运算

弹性搜索根据条件聚合到存储桶中

在弹性搜索中将Json字段存储为String吗?

弹性搜索在哪里存储默认配置的数据?

弹性搜索聚合存储桶保持为空

如何在Appium中获取和存储列表数据以及如何单击特定的搜索记录

如何添加到不同的字段值并将其存储在弹性搜索python中的另一个字段中(弹性搜索字段操作)

多种货币-存储什么以及何时转换?

WinRar格式的存储弹性

引导映像存储在哪里以及如何存储?

区块链存储在哪里以及如何存储?

我应该在应用程序的用户数据中存储什么以及如何存储?

数组与通用列表-存储值类型-在访问期间如何存储它以及在内存中发生什么?

git何时以及如何使用增量存储?

char **分配以及如何存储值

为什么Eclipse会将插件存储在不同的文件夹中,以及如何对其进行修复?

什么是php关联数组的dart等效项,以及如何将其存储在Firestore中?

为什么我的代码在我的GitHub存储库中是红色的,以及如何禁用它?

什么是实现存储库模式的正确方法?以及如何使用?