我有一个形式的熊猫数据框df:
Col1 Col2 Col3 Col4
0 True False True False
1 False False False False
2 False True False False
3 True True True True
在这里,True和False是布尔值。
我正在尝试生成一个新的pandas数据框new_df,其外观应为:
Matched_Cols
0 [Col1, Col3]
1 []
2 [Col2]
3 [Col1, Col2, Col3, Col4]
最有效的方法是什么?
方法1
这是数组数据处理-
def iter_accum(df):
c = df.columns.values.astype(str)
return pd.DataFrame({'Matched_Cols':[c[i] for i in df.values]})
样本输出-
In [41]: df
Out[41]:
Col1 Col2 Col3 Col4
0 True False True False
1 False False False False
2 False True False False
3 True True True True
In [42]: iter_accum(df)
Out[42]:
Matched_Cols
0 [Col1, Col3]
1 []
2 [Col2]
3 [Col1, Col2, Col3, Col4]
方法#2
另一个切片数据和一些布尔索引-
def slice_accum(df):
c = df.columns.values.astype(str)
a = df.values
vals = np.broadcast_to(c,a.shape)[a]
I = np.r_[0,a.sum(1).cumsum()]
ac = []
for (i,j) in zip(I[:-1],I[1:]):
ac.append(vals[i:j])
return pd.DataFrame({'Matched_Cols':ac})
其他拟议解决方案-
# @jezrael's soln-1
def jez1(df):
return df.apply(lambda x: x.index[x].tolist(), axis=1)
# @jezrael's soln-2
def jez2(df):
return df.dot(df.columns + ',').str.rstrip(',').str.split(',')
# @Shubham Sharma's soln
def Shubham1(df):
return df.agg(lambda s: s.index[s].values, axis=1)
# @sammywemmy's soln
def sammywemmy1(df):
return pd.DataFrame({'Matched_Cols':[np.compress(x,y) for x,y in zip(df.to_numpy(),np.tile(df.columns,(len(df),1)))]})
使用benchit
软件包(打包在一起的基准测试工具很少;免责声明:我是它的作者)对建议的解决方案进行基准测试。
import benchit
funcs = [iter_accum,slice_accum,jez1,jez2,Shubham1,sammywemmy1]
in_ = {n:pd.DataFrame(np.random.rand(n,n)>0.5, columns=['Col'+str(i) for i in range(1,n+1)]) for n in [4,20,100,200,500,1000]}
t = benchit.timings(funcs, in_, input_name='Len')
t.rank()
t.plot(logx=True)
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句