在火花中，广播如何工作？

简短答案

• 值在执行程序中首次需要它们时发送。没事的时候被送到sc.broadcast(variable)被调用。
• 该数据仅发送到包含需要它的执行节点。
• 数据存储在内存中。如果没有足够的可用内存，则使用磁盘。
• 是的，访问局部变量和广播变量之间有很大的区别。广播变量必须在首次访问时下载。

长答案

答案在Spark的源代码中TorrentBroadcast.scala。

1. 当sc.broadcast被调用时，一个新的TorrentBroadcast对象是从实例化BroadcastFactory.scala。writeBlocks()初始化TorrentBroadcast对象时，会在中发生以下情况：

   1. 该对象使用该MEMORY_AND_DISK策略在本地未序列化地缓存。
   2. 这是序列化。
   3. 序列化版本被分成4Mb的块，被压缩^[0] ，并保存在本地^[1] 。

2. 创建新的执行程序时，它们仅具有轻量级TorrentBroadcast对象，该对象仅包含广播对象的标识符及其块数。

3. 的TorrentBroadcast对象有一个懒惰^[2]属性，它包含其值。当value方法被调用，返回此懒财产。所以，第一次遇到这种价值函数被调用的任务时，会发生以下情况：

   1. 在随机顺序，块是从当地块管理器和未压缩牵强。
   2. 如果它们在本地块管理器中不存在，getRemoteBytes则在块管理器上调用以获取它们。网络流量仅在那时发生。
   3. 如果该块不在本地存在，则使用进行缓存MEMORY_AND_DISK_SER。

^[0]的压缩与由默认LZ4。这可以调整。

^[1]所述的块被存储在本地块管理器，使用MEMORY_AND_DISK_SER，这意味着它溢出，不适合在内存中的磁盘分区。每个块都有一个唯一的标识符，该标识符是根据广播变量的标识符及其偏移量计算得出的。块的大小可以配置；默认情况下为4Mb。

^[2]甲懒惰VAL在阶是一个变量，其值被评估在第一次被访问，然后高速缓存。查看文档。