比较两个熊猫数据帧的行？

我会坚持最初的回答，但可能会更好地解释。

您要比较2个pandas数据帧。因此，我将构建数据框。我可能使用numpy，但我的输入和输出将是数据帧。

设置

您说我们有一个1000 x 500的1和0数组。让我们来构建它。

A_init = pd.DataFrame(np.random.binomial(1, .5, (1000, 500)))
A_init.columns = pd.MultiIndex.from_product([range(A_init.shape[1]/10), range(10)])
A = A_init

另外，我给了A一个MultiIndex很容易通过组10列。

解决方案

这与@Divakar的答案非常相似，我将指出一个细微的差别。

对于一组由10个1和0组成的组，我们可以将其视为长度为8的位数组。然后，通过取具有2的幂的数组的点积，可以计算出它的整数值。

twos = 2 ** np.arange(10)

我可以像这样一遍对每组10个1和0执行此操作

AtB = A.stack(0).dot(twos).unstack()

我stack将一行50组，每组10组，分成几列，以便更优雅地制作点积。然后我把它带回来了unstack。

我现在有一个1000 x 50的数据框，其范围是0-1023。

假设B一个数据帧的每一行都是1024的1和0的唯一组合之一。B应该排序为B = B.sort_values().reset_index(drop=True)。

这是我上次未能解释的部分。看着

AtB.loc[:2, :2]

该(0, 0)位置中的值951表示第一行中的10和1的第一组与索引A中的行匹配。那就是你想要的！！！有趣的是，我从没看过B。你知道为什么，B不相关！！！这只是代表从0到1023的数字的愚蠢方式。这与我的答案有所不同，我忽略了。忽略这一无用的步骤应该可以节省时间。B951B

这些都是需要两个dataframes的所有功能A，并B和回报指数，其中的数据帧A匹配B。剧透警报，我将B完全忽略。

def FindAinB(A, B):
    assert A.shape[1] % 10 == 0, 'Number of columns in A is not a multiple of 10'
    rng = np.arange(A.shape[1])
    A.columns = pd.MultiIndex.from_product([range(A.shape[1]/10), range(10)])

    twos = 2 ** np.arange(10)

    return A.stack(0).dot(twos).unstack()

---

def FindAinB2(A, B):
    assert A.shape[1] % 10 == 0, 'Number of columns in A is not a multiple of 10'
    rng = np.arange(A.shape[1])
    A.columns = pd.MultiIndex.from_product([range(A.shape[1]/10), range(10)])
    # use clever bit shifting instead of dot product with powers
    # questionable improvement
    return (A.stack(0) << np.arange(10)).sum(1).unstack()

---

我正在引导我内在的@Divakar（阅读，这是我从Divakar那里学到的东西）

def FindAinB3(A, B):
    assert A.shape[1] % 10 == 0, 'Number of columns in A is not a multiple of 10'
    a = A.values.reshape(-1, 10)
    a = np.einsum('ij->i', a << np.arange(10))
    return pd.DataFrame(a.reshape(A.shape[0], -1), A.index)

---

极简主义的一线

f = lambda A: pd.DataFrame(np.einsum('ij->i', A.values.reshape(-1, 10) << np.arange(10)).reshape(A.shape[0], -1), A.index)

像这样使用

f(A)

---

定时

FindAinB3快一个数量级