如何在某些情况下从Spark数据框中获取几行

步骤：

1）创建WindowSpec，排序依据date和分区依据id：

2）创建一个累积总和以指示是否Hf出现，然后根据条件进行过滤：

import org.apache.spark.sql.expressions.Window

val w = Window.partitionBy("id").orderBy(to_date($"in_date", "dd-MMM-yyyy"))
(df.withColumn("rn", sum(when($"visit_class" === "Hf", 1).otherwise(0)).over(w))
   .filter($"rn" >= 1).drop("rn").show)

+---+-----------+-----------+
| id|visit_class|    in_date|
+---+-----------+-----------+    
|  1|         Hf|27-SEP-2017|
|  1|     Non Hf|28-SEP-2017|
|  2|         Hf|25-SEP-2017|
+---+-----------+-----------+

_{使用spark 2.2.0to_date并带有格式签名是2.2.0中的新功能}

如果您使用的是spark <2.2.0，则可以unix_timestamp代替使用to_date：

val w = Window.partitionBy("id").orderBy(unix_timestamp($"in_date", "dd-MMM-yyyy"))