如何在 dask 数据框中使用级别值进行索引?

艾斯布伦纳

从对数据集初始值的过滤步骤开始,我有一个更大数据集的索引子集,格式为

indices = pandas_DataFrame_of_initial_values[my_subset].index.get_level_values(0)

这些索引的形式是

Int64Index([...], dtype='int64', name='id', length=N)

有了这个,我喜欢使用索引来减少使用 Dask 的大数据集,给定数据集

from dask import dataframe as dd
ddf = dd.read_csv(path_to_data).set_index("id")

我试过了

ddf.loc[indices]
# ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

ddf[ddf.index.isin(indices)]
# NotImplementedError: dask.array<isin, shape=(nan,), dtype=bool, chunksize=(nan,), chunktype=numpy.ndarray>

ddf[ddf.index.isin(indices.compute())]
# ValueError: Item wrong length 236644 instead of 0.

如何在更大的数据集上实际使用索引的子集?

艾斯布伦纳

我刚刚发现该Int64index类型有一个to_list方法,并且具有该loc属性的选择有效:

ddf.loc[indices.to_list()].compute()

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章