我是 Pyspark 的新手，请考虑：)
基本上我有这两个文本文件：
文件 1：
1,9,5
2,7,4
3,8,3
文件2：
1,g,h
2,1,j
3,k,i
和 Python 代码：
file1 = sc.textFile("/user/cloudera/training/file1.txt").map(lambda line: line.split(","))
file2 = sc.textFile("/user/cloudera/training/file2.txt").map(lambda line: line.split(","))
现在做这个加入：
join_file = file1.join(file2)
我希望得到这个：
(1,(9,5),(g,h))
(2,(7,4),(i,j))
(3,(8,3),(k,1))
但是，我得到了不同的结果：
(1, (9,g))
(3, (8,k))
(2, (7,1))
我是否缺少 Join 上的任何参数？
谢谢！
这应该可以解决问题：
file1 = sc.textFile("/FileStore/tables/f1.txt").map(lambda line: line.split(",")).map(lambda x: (x[0], list(x[1:])))
file2 = sc.textFile("/FileStore/tables/f2.txt").map(lambda line: line.split(",")).map(lambda x: (x[0], list(x[1:])))
join_file = file1.join(file2)
join_file.collect()
以 Unicode u' 返回：
Out[3]:
[(u'2', ([u'7', u'4'], [u'1', u'j'])),
(u'1', ([u'9', u'5'], [u'g', u'h'])),
(u'3', ([u'8', u'3'], [u'k', u'i']))]
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句