我得到了一个巨大的 JSON 文件列表,是否可以在 python 请求中不加载整个 json 文件的情况下提取键值。这是它的样子
您需要一个增量 JSON 解析器或流式 JSON 解析器,例如yajl-py。然而,它总是从头开始,所以如果你的密钥是文件的最后,这种方法对于从磁盘或网络加载没有多大帮助。
直到键的所有 JSON 内容都必须通过解析器的内存,但并非一次都在内存中。
正如@Jacob 在评论中提到的,我不会将 1.8 MB 视为“巨大”文件。我已经在处理几个 GB 范围内的文件。这绝对是您需要考虑耗尽物理 RAM 的地方。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句