如何动态传递参数以过滤 Apache Spark 中的函数?

职业

我有一个员工文件,其中包含以下数据:

Name:   Age:
David   25
Jag     32
Paul    33
Sam     18

我加载到dataframeApache Spark 中,我正在过滤如下值:

employee_rdd=sc.textFile("employee.txt")
employee_df=employee_rdd.toDF()
employee_data = employee_df.filter("Name = 'David'").collect() 
+-----------------+-------+
|            Name:|   Age:|
+-----------------+-------+
|David            |25     |
+-----------------+-------+

但是当我尝试做这样的事情时:

emp_Name='Sam' 并将此名称传递给过滤器,如下所示:

employee_data = employee_df.filter("Name = 'emp_Name'").collect

但这给了我空清单。

这可以在scala中完成,您可以将其更改为python

val emp_name = "Sam"

val employee_data = employee_df.filter(col("Name") === emp_name)

希望这可以帮助!

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章