Spring Batch 中只有 1 个块大小是不是很糟糕?

Jiji

我必须处理一个文件,该文件具有相同 ID 和不同日期的记录。如果特定 ID 有多个日期不同的记录,则必须将所有记录相加。目前,我的解决方案是按一个块编写并让 SQL 查询来做求和部分,因为我无法知道相同 ID 的多个条目是否在同一个块中。这样做是否会产生巨大的性能影响,尤其是我正在处理价值 10 万的数据?

马哈茂德·本·哈辛

这样做是否会产生巨大的性能影响,尤其是我正在处理价值 10 万的数据?

是的,这可能会影响您的步骤的性能,因为每个项目都将在其自己的事务中进行处理。使用 100k,您将有 100k 个事务,而如果 chunk-size=1000,例如,您将只有 100 个事务。

面向块的处理模型并不真正适合您要执行的操作,因为具有相同 ID 的项目可能跨越不同的块。这种需求的一种常用技术是将数据加载到临时表中(例如,如果针对 sqlite 完成,这可能是一个非常快的步骤),然后针对该表运行聚合 SQL 查询。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

React - 在 render() 中有很多逻辑是不是很糟糕?

JSF 1.2:太多的小会话 bean:是不是很糟糕,有什么替代方案

在 Angular 4+ 中绑定到属性/函数与变量是不是很糟糕?

在forms.py Django中设计表单布局是不是很糟糕?

Perl 6中只有1个参数的构造函数

多个FK关系中只有1个约束

如何在 SQL Server 中只有 1 个查询

读取具有 1M 行和 900Mo 大小的 csv 文件时,Spring Batch OutOfMemoryException

Spring Batch中的JobParameters

类返回列表中只有 1 个项目而不是更多项目

Spring Batch有关面向块的步骤与现实的文档?

Mysql 刺痛选择那里的所有内容列只有 2 个结果中的 1 个

“试图从第1节中删除行,但是只有1个节在更新之前”

获取所有 SQL 中只有 1 个类别的用户

如何从只有1个包含所有关系的多个mysql表中获取结果

Kubernetes集群中只有1个Pod可以处理所有请求

在 R 中创建一个列表,每个索引中只有 1 个值

从流中读取而不是在Spring Batch ItemReader中读取文件

Spring Batch 中来自环境变量的网格大小

TypeError:在简单的程序中,只有大小为1的数组可以转换为Python标量

只有 1 条记录出现,而不是 C# 模型中的多条记录

WhatsApp中的丰富链接只有1行描述而不是2行描述?

4个输入中只有1个为真(布尔逻辑表达式)

使用Spring Batch读取以将输入CSV文件中的行转换为具有1到多关系的CSV文件

在只有1个对象可供检索时,在Django ORM中过滤与获取性能

`ValueError:y中人口最少的类只有1个成员,在PyCaret中太少了。

如何使用React Native在render()中只有1个返回值?

我如何从只有1个剩余字节的ByteBuffer中获取Int(Java NIO)

Lambdas和Ruby中case语句中只有1个参数