如何处理具有Angular客户端和Django服务器的超大csv或excel数据的读取,提取和保存

菲利普·穆图阿

我实现了一种后端功能,可以上传CSV或excel文件,然后服务器(Django API)将读取所有数据并将其保存到数据库中,但我觉得这不是最好的方法,因此我想获得有关此的建议。

我看不到为什么服务器需要读取并验证CSV文件的原因,而客户端(Angular应用)却可以执行该工作。客户端可以读取验证文件,然后将数据发送到服务器。

然后,服务器将完成剩下的工作,以将数据保存到数据库中。但是我想到了,假设文件包含一百万个条目,这意味着服务器端点将添加一百万个项目。这将导致性能问题。处理此问题的最佳方法是什么?

兹韦普

我实现了一个Angular / Python应用程序,该程序可以处理大型Excel文件,即使有多个工作表也是如此,最好的方法是让客户端将文件上传到服务器,然后服务器完成其余的工作。

处理可能要花费很多时间,因此您可能需要将文件保存到一个临时位置,然后作为作业进行异步处理。该作业将读取您的文件,处理每一行并将数据保存到数据库。(可选)它还可以将进度和作业状态保存到数据库中,因此,您甚至可以让客户端在给定作业ID的情况下跟踪处理进度。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何处理服务器和客户端之间的时区?

如何处理服务器和客户端的时区差异

如何使用python(服务器)和Angular(客户端)发送pdf数据并从SQL Server保存

如何使用打字稿客户端读取预提取的服务器端数据?

使用 gRPC,我应该如何处理服务器和客户端之间的部分结果?

具有Node.js的服务器和具有XMLHttpRequest的客户端

如何将来自服务器的 csv 保存到客户端 angular 4?

生成具有多个主机名的服务器和客户端证书

具有SSL的简单gSoap服务器和客户端

具有服务器端分页和客户端过滤

具有自签名证书的 TLS 安全 TCP 服务器和客户端

Spring OAuth2 - 授权服务器如何处理具有两个客户端实例的安全上下文?

如何制作具有同步数据读/写功能的多客户端服务器?

如何使用 Python(带有 websockets 的服务器)和 JavaScript(客户端)接收 JSON 数据

React 和 NodeJS:如何将数据从服务器发送到客户端?

Java客户端,C#服务器,如何处理接收列表

如何处理来自 RabitMQ 服务器应用程序的客户端连接

如何处理来自Netty服务器/客户端的消息

如何解决“服务器和客户端之间没有通信”

d3和蜡染:具有客户端行为的服务器端svg生成的优缺点

Java RMI在客户端变量和客户端本身以及服务器的远程调用上具有不同的实例化实例

如何从客户端到服务器读取多行

如何从服务器读取数据并将数据发送到客户端?

流星-服务器从所有客户端表单中提取数据?

将客户端连接到具有相同IP和端口的两台服务器

在具有Webservices和SOAP的客户端/服务器应用程序中使用惰性属性

使用 asyncio 和 Python 3.6,如何构建处理/提交多个顺序请求的 TCP 服务器/客户端?

具有多个客户端的服务器-JAVA

如何让 TCP 服务器处理多个客户端?