如何通过Spark RDD(Java)中的索引获取元素而不是scala,python

金泰洙

我知道rdd.first()给我第一个元素的方法RDD

此外,还有一种方法,rdd.take(num)它给了我第一个num元素。

但是不是有可能通过索引获取元素吗?

用户9141648

RDD 没有索引,在大多数情况下不保证顺序并且不支持有效的单项访问。

你可以

  • zipWithIndexfilter
  • zipWithIndex,交换元素和lookup

但不建议这样做,需要线性扫描,并且可能具有非确定性行为。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何在Spark RDD(Java)中按索引获取元素

如何通过Spark中的键对RDD进行分区?

通过scala spark中的键从地图列中获取元素

如何在Spark中通过数据框中的索引删除数组中的元素

如何通过Spark控制RDD的隐式缓存?

如何通过pyspark以gzip格式保存Spark RDD

如何通过映射结果过滤Spark RDD?

通过索引获取元素[Python]

如何通过Spark属性(Spark 1.6)在spark-shell中启用或禁用Hive支持?

如何通过Spark从Kafka至少获取N个日志?

如何通过Spark中的条件提高广播加入速度

如何通过EMR中的Spark使Jupyterhub访问配置单元表

如何通过JDBC在spark中执行更新查询

如何在Jquery中通过索引获取子元素?

如何通过索引从定界字符串中获取元素?

如何通过java中的应用程序ID获取Spark应用程序句柄

如何在Scala中基于元素索引获取列表中的一组元素?

Scala如何通过索引获取子列表

Spark Scala通过密钥合并多个RDD

如何通过索引获取列表类型的元素

SPARK:spark-rdd 中 RDD[Array[Int]] 中具有相同索引的元素的总和

从Spark Sql中的元素获取Seq索引

如何在Spark Scala中对具有5个元素的元组的RDD进行排序?

如何在PHP中通过单词(键)匹配而不是通过索引号获取XML值?

Python如何通过知道列表中列表的第一个元素来获取列表中列表的索引?

在apache-spark scala中访问Array RDD的特定元素

如何从 Spark RDD Iiterable 中获取两个元素的总和

Spark(Scala)如何通过“键”访问数据帧中的特定行并修改它

如何在spark scala中通过数据帧动态调用withColumn函数