pytorch广播如何工作？

PyTorchbroadcasting基于numpy广播语义，可以通过阅读numpy broadcasting rules或PyTorch广播指南来理解。通过示例详细说明该概念将很容易理解。因此，请参见下面的示例：

In [27]: t_rand
Out[27]: tensor([ 0.23451,  0.34562,  0.45673])

In [28]: t_ones
Out[28]: 
tensor([[ 1.],
        [ 1.],
        [ 1.],
        [ 1.]])

现在torch.add(t_rand, t_ones)，将其可视化为：

               # shape of (3,)
               tensor([ 0.23451,      0.34562,       0.45673])
      # (4, 1)          | | | |       | | | |        | | | |
      tensor([[ 1.],____+ | | |   ____+ | | |    ____+ | | |
              [ 1.],______+ | |   ______+ | |    ______+ | |
              [ 1.],________+ |   ________+ |    ________+ |
              [ 1.]])_________+   __________+    __________+

这应该使输出的形状张量(4,3)为：

# shape of (4,3)
In [33]: torch.add(t_rand, t_ones)
Out[33]: 
tensor([[ 1.23451,  1.34562,  1.45673],
        [ 1.23451,  1.34562,  1.45673],
        [ 1.23451,  1.34562,  1.45673],
        [ 1.23451,  1.34562,  1.45673]])

另外，请注意，即使与上一个参数相反的顺序传递参数，我们也会得到完全相同的结果：

# shape of (4, 3)
In [34]: torch.add(t_ones, t_rand)
Out[34]: 
tensor([[ 1.23451,  1.34562,  1.45673],
        [ 1.23451,  1.34562,  1.45673],
        [ 1.23451,  1.34562,  1.45673],
        [ 1.23451,  1.34562,  1.45673]])

无论如何，我更喜欢前一种理解方式，以实现更直接的直观性。

为了图形理解，我挑选出更多示例，如下所示：

Example-1:

Example-2:：

T与F代表True和False分别沿指示哪些方面我们允许广播（来源：Theano）。

Example-3:

这里有一些形状，其中阵列b被广播的适当匹配阵列的形状a。