在.NET中解析大型JSON文件

Yavar Hasanov

到目前为止,我已经使用了Json.NET的“ JsonConvert.Deserialize(json)”方法,该方法效果很好,说实话,我只需要这些。

我正在开发一个后台(控制台)应用程序,该应用程序不断从不同的URL下载JSON内容,然后将结果反序列化为.NET对象列表。

 using (WebClient client = new WebClient())
 {
      string json = client.DownloadString(stringUrl);

      var result = JsonConvert.DeserializeObject<List<Contact>>(json);

 }

上面的简单代码片段似乎并不完美,但确实可以做到。当文件很大(15,000个联系人-48 MB文件)时,JsonConvert.DeserializeObject不是解决方案,该行将引发JsonReaderException的异常类型。

下载的JSON内容是一个数组,这就是示例的样子。Contact是反序列化JSON对象的容器类。

[
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  }
]

我最初的猜测是它的内存不足。出于好奇,我试图将其解析为JArray,这也导致了相同的异常。

我已经开始深入研究Json.NET文档并阅读类似的主题。由于我尚未设法产生可行的解决方案,因此我决定在此处发布一个问题。

更新:逐行反序列化时,我遇到了相同的错误:“ [。Path”,第600003行,位置1。” 因此,下载了其中两个并在Notepad ++中对其进行了检查。我注意到,如果数组长度超过12,000,则在第12000个元素之后,将关闭“ [”并启动另一个数组。换句话说,JSON看起来完全像这样:

[
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  }
]
[
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  },
  {
    "firstname": "sometext",
    "lastname": "sometext"
  }
]
布赖恩·罗杰斯

正如您在更新中正确诊断出的那样,问题在于JSON先关闭,]然后再打开[以开始下一个集合。这种格式使JSON整体上无效,这就是Json.NET引发错误的原因。

幸运的是,这个问题似乎经常出现,以至于Json.NET实际上具有特殊的设置来处理它。如果JsonTextReader直接使用a来读取JSON,则可以将SupportMultipleContent标志设置true,然后使用循环分别反序列化每个项目。

这应该使您能够以内存有效的方式成功处理非标准JSON,而不管存在多少个数组或每个数组中有多少个项目。

    using (WebClient client = new WebClient())
    using (Stream stream = client.OpenRead(stringUrl))
    using (StreamReader streamReader = new StreamReader(stream))
    using (JsonTextReader reader = new JsonTextReader(streamReader))
    {
        reader.SupportMultipleContent = true;

        var serializer = new JsonSerializer();
        while (reader.Read())
        {
            if (reader.TokenType == JsonToken.StartObject)
            {
                Contact c = serializer.Deserialize<Contact>(reader);
                Console.WriteLine(c.FirstName + " " + c.LastName);
            }
        }
    }

完整的演示在这里:https : //dotnetfiddle.net/2TQa8p

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章