根据其他值将数据框中的值添加到行

我正在寻找一种高性能的方法来基于另一个值在数据框中查找值，并将查找值与其他值一起添加到行中的列中。

例如，我有这个数据框：

import pandas as pd

data = {
    'role': ['primary', 'secondary', 'primary', 'secondary'],
    'serial_number': ['abc', '123', 'def', '456'],
    'primary_serial_number': ['abc', 'abc', 'def', 'def'],
    'physical_id': ['w', 'x', 'y', 'z'],
    'set_id': ['j', 'x', 'k', 'z']
}
df = pd.DataFrame(data = data)

    role    serial_number   primary_serial_number   physical_id set_id
0   primary     abc                  abc                  w       j
1   secondary   123                  abc                  x       x
2   primary     def                  def                  y       k
3   secondary   456                  def                  z       z

辅助节点始终具有相同的physical_id和set_id。对于每个辅助节点，我希望在与辅助节点相同的行中具有相关主节点的set_id。我可以通过将每个辅助数据库的“ primary_serial_number”与每个主要数据库的“ serial_number”进行匹配来进行查找。然后，我应该有一个标记为“ primary_set_id”的列，其值分别为j，j，k，k。

我尝试了以下方法：

df['primary_set_id'] = df['primary_serial_number'].apply(
    lambda x: df['set_id'][df['serial_number'] == x])

当我对上面的伪数据运行此命令时，我得到：

ValueError：传递的项目数错误2，展示位置暗含1

实际上，我正在处理成千上万的行，并且这种方法效率极低（我尚未让它运行完毕）。