从对数据集初始值的过滤步骤开始,我有一个更大数据集的索引子集,格式为
indices = pandas_DataFrame_of_initial_values[my_subset].index.get_level_values(0)
这些索引的形式是
Int64Index([...], dtype='int64', name='id', length=N)
有了这个,我喜欢使用索引来减少使用 Dask 的大数据集,给定数据集
from dask import dataframe as dd
ddf = dd.read_csv(path_to_data).set_index("id")
我试过了
ddf.loc[indices]
# ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()
和
ddf[ddf.index.isin(indices)]
# NotImplementedError: dask.array<isin, shape=(nan,), dtype=bool, chunksize=(nan,), chunktype=numpy.ndarray>
和
ddf[ddf.index.isin(indices.compute())]
# ValueError: Item wrong length 236644 instead of 0.
如何在更大的数据集上实际使用索引的子集?
我刚刚发现该Int64index
类型有一个to_list
方法,并且具有该loc
属性的选择有效:
ddf.loc[indices.to_list()].compute()
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句