我有一个员工文件,其中包含以下数据:
Name: Age:
David 25
Jag 32
Paul 33
Sam 18
我加载到dataframe
Apache Spark 中,我正在过滤如下值:
employee_rdd=sc.textFile("employee.txt")
employee_df=employee_rdd.toDF()
employee_data = employee_df.filter("Name = 'David'").collect()
+-----------------+-------+
| Name:| Age:|
+-----------------+-------+
|David |25 |
+-----------------+-------+
但是当我尝试做这样的事情时:
emp_Name='Sam'
并将此名称传递给过滤器,如下所示:
employee_data = employee_df.filter("Name = 'emp_Name'").collect
但这给了我空清单。
这可以在scala中完成,您可以将其更改为python
val emp_name = "Sam"
val employee_data = employee_df.filter(col("Name") === emp_name)
希望这可以帮助!
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句