我在 jupyter 笔记本上。
我想使用查询 dsl 来准备初始数据帧。
我用conf.set("es.query", dsl_query)那个。( https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html#_querying )
但是，我想应用不同的查询来准备另一个 Dataframe，并且我找不到一种方法来应用新的 dsl_query 而不创建新的 SparkContext
但是我也没有找到重新创建SparkContext内部 jupyter 环境的方法。
我想使用 QueryDSL-1 作为基线运行分析，然后使用 QueryDSL-2 作为另一个基线运行另一个分析
有没有办法在不创建两个笔记本的情况下做到这一点？
您只需要将 指定es.query为DataFrameReaderie的选项：
spark.read.option("es.query", dsl_query).option("...", "...")
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句