在HDInsight上的Jupyter Notebook中导入自己的模块

斯蒂金

我已经在Microsoft Azure上以标准配置(位置=美国东部,头节点= D12 v2(x2),工作节点= D4 v2(x4))部署了HDInsight 3.5 Spark(2.0)群集。当集群运行时,我连接到Jupyter笔记本,并尝试导入自己创建的模块。

import own_module

不幸的是,这无法正常工作,因此我尝试1)在Jupyter Notebook主目录中上传own_module.py,以及2)通过ssh连接将own_module.py添加到/ home / sshuser。之后,我将/ home / sshuser添加到sys.path和PYTHONPATH中:

sys.path.append('/home/sshuser')
os.environ['PYTHONPATH'] = os.environ['PYTHONPATH'] + ':/home/sshuser'

此操作也不起作用。错误仍然显示:

No module named own_module
Traceback (most recent call last):
ImportError: No module named own_module

有人可以告诉我如何导入自己的模块吗?最好将它们放入Azure blob存储中,然后再将它们转移到HDInsight群集中。

马里乌斯

您可以使用spark上下文的addPyFile方法。首先将文件放入Azure blob存储,然后复制公共http / https地址并将此URLaddPyFile用作函数。该模块将在驱动程序和所有执行程序上均可使用。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

在Jupyter Notebook中导入模块-路径

在Jupyter Notebook中导入pyplot

无法在Jupyter Notebook中导入Tensorflow

如何在Jupyter Notebook中导入Pyperclip?

无法在Jupyter Notebook中导入Scipy

无法在Jupyter Notebook中导入Tensorflow

无法在HDInsight 4.0中创建Jupyter Notebook

Jupyter Notebook不导入任何模块

将Python模块导入Jupyter Notebook

我已使用pip和conda安装的模块无法在Sublime或Atom中导入,但可以使用Jupyter Notebook(有时甚至是Terminal)导入。

在 python / jupyter 上导入模块

在从任何目录启动的 Jupyter Notebook 中导入 pyspark

在 jupyter-notebook 中导入 tensorflow 时发生错误

在Jupyter Notebook中导入TensorFlow GPU时出错

如何在Jupyter Notebook中导入python .py文件

spacy ImportError:无法在 Jupyter Notebook 中导入名称 Deque

在 Kaggle 上导入自己的 Python 模块

正在获取ModuleNotFoundError:在Jupyter Notebook上导入时,没有名为“ plotnine”的模块

如何正确导入Jupyter Notebook中引擎上的模块以进行并行处理?

导入错误:使用 docker 在 Jupyter Notebook 上没有名为...的模块

在Jupyter Notebook上导入librosa命令的问题

无法在Jupyter Notebook上导入熊猫

如何在Ubuntu 15.04上的Python中导入自制模块

无法在Python中导入我自己的模块

在conda安装后导入模块时,jupyter Notebook中的ModuleNotFoundError

在命令行上安装了一个包,可以通过命令行导入它。在 jupyter notebook 中导入时收到 ModuleNotFoundError

为什么即使安装了Jupyter Notebook(Python 3.6),也无法在我的Jupyter Notebook中导入utils?

你如何在colab上导入我自己的模块?

在Jupyter Notebook的另一个目录中导入py文件