Apache Flink中的全局排序

由于Flink尚未提供内置的范围分区策略，因此目前尚不容易实现。

解决方法是实现自定义Partitioner：

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionCustom(new Partitioner<Long>() {
    int partition(Long key, int numPartitions) {
      // your implementation
    }
  }, 0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

注意：为了使用自定义分区程序实现平衡分区，您需要了解键的值范围和分布。

目前正在对Apa​​che Flink中的范围分区程序（带有自动采样）的支持进行中，应该很快就可以使用。

编辑（2016年6月7日）：范围分区已添加到1.0.0版的Apache Flink中。您可以按以下方式对数据集进行全局排序：

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionByRange(0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

请注意，范围分区对输入数据集进行采样，以计算大小相等的分区的数据分布。