提高熊猫groupby的性能

不，我不认为你应该放弃熊猫。绝对有更好的方法来做您要尝试的事情。诀窍是尽可能避免apply/ transform以任何形式出现。避免他们像瘟疫一样。它们基本上是针对for循环实现的，因此您不妨直接使用for以C速度运行并提供更好性能的python 循环。

真正的速度增益是摆脱循环并使用熊猫函数隐式向量化其操作的地方。例如，正如我很快向您展示的那样，您的第一行代码可以大大简化。

在这篇文章中，我概述了设置过程，然后针对问题中的每一行进行了改进，并对时间和正确性进行了并排比较。

建立

data = {'pk' : np.random.choice(10, 1000)} 
data.update({'Val{}'.format(i) : np.random.randn(1000) for i in range(100)})

df = pd.DataFrame(data)

g = df.groupby('pk')
c = ['Val{}'.format(i) for i in range(100)]

---

transform+ sub+ shift→diff

您的第一行代码可以用一个简单的diff语句代替：

v1 = df.groupby('pk')[c].diff().fillna(0)

完整性检查

v2 = df.groupby('pk')[c].transform(lambda x: x - x.shift(1)).fillna(0)

np.allclose(v1, v2)
True

性能

%timeit df.groupby('pk')[c].transform(lambda x: x - x.shift(1)).fillna(0)
10 loops, best of 3: 44.3 ms per loop

%timeit df.groupby('pk')[c].diff(-1).fillna(0)
100 loops, best of 3: 9.63 ms per loop

---

删除多余的索引操作

就您的第二行代码而言，我认为没有太多改进的空间，尽管如果您的groupby语句不考虑作为索引，则可以摆脱reset_index()+ [val_cols]调用pk：

g = df.groupby('pk', as_index=False)

然后，第二行代码减少为：

v3 = g[c].rolling(4).mean().shift(1)

完整性检查

g2 = df.groupby('pk')
v4 = g2[c].rolling(4).mean().shift(1).reset_index()[c]

np.allclose(v3.fillna(0), v4.fillna(0))
True

性能

%timeit df.groupby('pk')[c].rolling(4).mean().shift(1).reset_index()[c]
10 loops, best of 3: 46.5 ms per loop

%timeit df.groupby('pk', as_index=False)[c].rolling(4).mean().shift(1)
10 loops, best of 3: 41.7 ms per loop

请注意，时间在不同的机器上会有所不同，因此请确保您对代码进行彻底的测试，以确保数据确实有所改善。

尽管这次的差异不大，但是您可以体会到可以进行改进的事实！这可能会对更大的数据产生更大的影响。

---

后记

总之，大多数操作速度很慢，因为它们可以加快速度。关键是摆脱任何不使用向量化的方法。

为此，走出熊猫空间并进入numpy空间有时是有益的。上numpy的阵列或使用numpy的趋向操作要远远快于大熊猫当量（例如，np.sum快于pd.DataFrame.sum，且np.where快于pd.DataFrame.where，等等）。

有时，循环是无法避免的。在这种情况下，您可以创建一个基本的循环功能，然后可以使用numba或cython将其向量化。直接从马口开始的“ 提高演奏”便是其中的例子。

在其他情况下，您的数据太大，无法合理地放入numpy数组中。在这种情况下，是时候放弃并切换到daskor了spark，两者都提供了用于处理大数据的高性能分布式计算框架。