搜索
搜索

有效地重塑大型数据集

Tom 发表于 Dev
71
汤姆

世界发展指标如下

library(data.table)
WDI <- fread("CountryName   CountryCode IndicatorName   IndicatorCode   1960    1961    2017
ArabWorld   ARB A   FX.OWN.TOTL.ZS  37.16521072 37.16521072 37.16521072
ArabWorld   ARB B   FX.OWN.TOTL.FE.ZS   25.63540268 25.63540268 25.63540268
ArabWorld   ARB C   FX.OWN.TOTL.MA.ZS   48.32851791 48.32851791 48.32851791
ArabWorld   ARB D   FX.OWN.TOTL.OL.ZS   42.54204559 42.54204559 42.54204559
ArabWorld   ARB E   FX.OWN.TOTL.40.ZS   27.72478104 27.72478104 27.72478104
ArabWorld   ARB F   FX.OWN.TOTL.PL.ZS   26.45811081 26.45811081 26.45811081
ArabWorld   ARB G   FX.OWN.TOTL.60.ZS   43.44695282 43.44695282 43.44695282
ArabWorld   ARB H   FX.OWN.TOTL.SO.ZS   48.66697693 48.66697693 48.66697693
ArabWorld   ARB I   FX.OWN.TOTL.YG.ZS   20.95479965 20.95479965 20.95479965
", header = TRUE)

我使用以下代码重塑了世界银行的世界发展指标数据库。

library(dplyr)
library(tidyr)

WDI <- WDI %>% 
  select(-`Indicator Name`) %>% 
  gather(Year, val,`1960`:`2017`) %>% 
  spread(`Indicator Code`, val)

它曾经可以正常工作，但是由于某种原因，现在需要太多内存才能完成操作。

我试图从工作空间中删除所有其他数据库gc()，关闭计算机上的所有其他程序并减少用于重塑的时间，但这并不能解决问题。结果，我想知道是否有较少的内存密集型方法来解决此问题。

编辑1：根据这篇文章 dcast.data.table或reshape（因为没有用完内存）是要走的路。但是，我在重写语法时遇到了很多麻烦（我在发布问题时也得到了dplyr的答复）如何dplyr使用dcast / reshape重写代码？

怎么办条款select，gather，spread涉及dcast和重塑？

编辑2：我首先尝试将data.table如下所示：

WDI = melt(WDI, id.vars = c("IndicatorCode", "CountryName", "CountryCode"),
               #  measure.vars = -c("IndicatorCode", "CountryName", "CountryCode", "IndicatorName"))
                measure.vars = c("1960", "1961","2017"))
colnames(WDI)[4] <- "year"
WDI = dcast(WDI, CountryName + CountryCode + year ~ IndicatorCode, value.var="value")

但是然后我得到了“警告” Aggregation function missing: defaulting to length，所有条目都是1而不是值。当条目的组合不是唯一的时，显然会发生这种情况。但是，我非常确定它们是（国家和指标的结合，应该使条目唯一）。

CJ Yetman

WDI数据集不是特别大，因此我怀疑您的gather命令排除了每行唯一的列，从而导致了大量重复，例如，像这样的额外年份列2018。

您可以通过select命令更明确地避免出现这种情况，只需肯定地选择所需的列，而不要否定地排除特定的列，就像这样...

library(readr)
library(dplyr)
library(tidyr)

url <- "http://databank.worldbank.org/data/download/WDI_csv.zip"
zippath <- tempfile(fileext = ".zip")
download.file(url, zippath)

csvpath <- unzip(zippath, files = "WDIData.csv", exdir = tempdir())

WDI <- readr::read_csv(csvpath)

WDI %>% 
  select(`Country Name`, `Country Code`, `Indicator Code`, `1960`:`2017`) %>% 
  gather(Year, val,`1960`:`2017`) %>% 
  spread(`Indicator Code`, val)

或者您可以确保排除了在重塑中不需要的列，例如这样...

library(readr)
library(dplyr)
library(tidyr)

url <- "http://databank.worldbank.org/data/download/WDI_csv.zip"
zippath <- tempfile(fileext = ".zip")
download.file(url, zippath)

csvpath <- unzip(zippath, files = "WDIData.csv", exdir = tempdir())

WDI <- readr::read_csv(csvpath)

WDI %>% 
  select(-`Indicator Name`, -`2018`, -`X64`) %>% 
  gather(Year, val,`1960`:`2017`) %>% 
  spread(`Indicator Code`, val)

您也可以使用gather的na.rm = TRUE选项避免中间尺寸的膨胀，这可能会加快速度...

library(readr)
library(dplyr)
library(tidyr)

url <- "http://databank.worldbank.org/data/download/WDI_csv.zip"
zippath <- tempfile(fileext = ".zip")
download.file(url, zippath)

csvpath <- unzip(zippath, files = "WDIData.csv", exdir = tempdir())

WDI <- readr::read_csv(csvpath)

WDI %>% 
  select(-`Indicator Name`, -`2018`, -`X64`) %>% 
  gather(Year, val,`1960`:`2017`, na.rm = TRUE) %>% 
  spread(`Indicator Code`, val)

有关更多说明，请注意，如果使用上面创建的示例数据集“意外”未在汇总命令中包含2017，会发生什么情况...

library(data.table)
WDI <- fread("CountryName   CountryCode IndicatorName   IndicatorCode   1960    1961    2017
ArabWorld   ARB A   FX.OWN.TOTL.ZS  37.16521072 37.16521072 37.16521072
ArabWorld   ARB B   FX.OWN.TOTL.FE.ZS   25.63540268 25.63540268 25.63540268
ArabWorld   ARB C   FX.OWN.TOTL.MA.ZS   48.32851791 48.32851791 48.32851791
ArabWorld   ARB D   FX.OWN.TOTL.OL.ZS   42.54204559 42.54204559 42.54204559
ArabWorld   ARB E   FX.OWN.TOTL.40.ZS   27.72478104 27.72478104 27.72478104
ArabWorld   ARB F   FX.OWN.TOTL.PL.ZS   26.45811081 26.45811081 26.45811081
ArabWorld   ARB G   FX.OWN.TOTL.60.ZS   43.44695282 43.44695282 43.44695282
ArabWorld   ARB H   FX.OWN.TOTL.SO.ZS   48.66697693 48.66697693 48.66697693
ArabWorld   ARB I   FX.OWN.TOTL.YG.ZS   20.95479965 20.95479965 20.95479965
", header = TRUE)

library(dplyr)
library(tidyr)

WDI %>% 
  select(-`IndicatorName`) %>% 
  gather(Year, val,`1960`:`1961`) %>% 
  spread(`IndicatorCode`, val)

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

有效地合并具有多个匹配键的大型对象数据集

如何有效地训练具有大型图像数据集的 CNN 模型

有效地累积大型数据集的滑动窗口百分比变化

如何有效地将大型数据集与HTML页面分开

如何有效地将大型数据集从Oracle提取到文件？

有效地获取大数据集的差异？

在R中使用dplyr有效地重塑数据帧

如何更有效地将数据框重塑为新形式（R）？

有效地重塑汇总结果

有效地重塑此数组

在 r 中更有效地重塑？

如何最有效地从大型 SQLite 数据库中提取数据？

如何在带有短句的大型数据集中有效地使用spacy？

如何有效地变异大型数据框的多列

垂直有效地增长大型数据框

有效地计算大型数据集中的共现

使用groupby在大型数据帧上有效地进行Fillna（正向填充）？

C＃有效地存储大型int数据

使用Aurelia有效地渲染大型数据表

Laravel - 有效地将大型外部 API 消耗到数据库中

如何有效地返回大型数据结构。

如何有效地操作大型numpy数组

CosmosDB：有效地从大型容器迁移记录

有效地解析大型XML文件

有效地对数据集应用几种不同的操作

有效地找到最相似集（Python中，数据结构）

如何有效地删除SAS数据集排序顺序？

如何更有效地使用 map_dfr() 过滤数据集？

如何有效地从大型数据集中获取指定窗口内数据的平均值？

TOP 榜单

  1. 1

    计算数据帧R中的字符串频率

  2. 2

    Android Studio Kotlin：提取为常量

  3. 3

    Excel 2016图表将增长与4个参数进行比较

  4. 4

    获取并汇总所有关联的数据

  5. 5

    如何使用Redux-Toolkit重置Redux Store

  6. 6

    http：// localhost：3000 /＃！/为什么我在localhost链接中得到“＃！/”。

  7. 7

    将加号/减号添加到jQuery菜单

  8. 8

    算术中的c ++常量类型转换

  9. 9

    TYPO3：将 Formhandler 添加到新闻扩展

  10. 10

    TreeMap中的自定义排序

  11. 11

    如何开始为Ubuntu开发

  12. 12

    在 Python 2.7 中。如何从文件中读取特定文本并分配给变量

  13. 13

    无法使用 envoy 访问 .ssh/config

  14. 14

    在Ubuntu和Windows中，触摸板有时会滞后。硬件问题？

  15. 15

    遍历元素数组以每X秒在浏览器上显示

  16. 16

    在Jenkins服务器中使用Selenium和Ruby进行的黄瓜测试失败，但在本地计算机中通过

  17. 17

    警告消息：在matrix（unlist（drop.item），ncol = 10，byrow = TRUE）中：数据长度[16]不是列数的倍数[10]>？

  18. 18

    未捕获的SyntaxError：带有Ajax帖子的意外令牌u

  19. 19

    如何使用tweepy流式传输来自指定用户的推文（仅在该用户发布推文时流式传输）

  20. 20

    尝试在Dell XPS13 9360上安装Windows 7时出错

  21. 21

    如果从DB接收到的值为空，则JMeter JDBC调用将返回该值作为参数名称

热门标签

归档