在HDInsight上的Jupyter Notebook中导入自己的模块

斯蒂金

我已经在Microsoft Azure上以标准配置(位置=美国东部,头节点= D12 v2(x2),工作节点= D4 v2(x4))部署了HDInsight 3.5 Spark(2.0)群集。当集群运行时,我连接到Jupyter笔记本,并尝试导入自己创建的模块。

import own_module

不幸的是,这无法正常工作,因此我尝试1)在Jupyter Notebook主目录中上传own_module.py,以及2)通过ssh连接将own_module.py添加到/ home / sshuser。之后,我将/ home / sshuser添加到sys.path和PYTHONPATH中:

sys.path.append('/home/sshuser')
os.environ['PYTHONPATH'] = os.environ['PYTHONPATH'] + ':/home/sshuser'

此操作也不起作用。错误仍然显示:

No module named own_module
Traceback (most recent call last):
ImportError: No module named own_module

有人可以告诉我如何导入自己的模块吗?最好将它们放入Azure blob存储中,然后再将它们转移到HDInsight群集中。

马里乌斯

您可以使用spark上下文的addPyFile方法。首先将文件放入Azure blob存储,然后复制公共http / https地址并将此URLaddPyFile用作函数。该模块将在驱动程序和所有执行程序上均可使用。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

在Jupyter Notebook中导入模块-路径

在Jupyter Notebook中导入pyplot

无法在Jupyter Notebook中导入Tensorflow

如何在Jupyter Notebook中导入Pyperclip?

无法在Jupyter Notebook中导入Scipy

无法在Jupyter Notebook中导入Tensorflow

无法在HDInsight 4.0中创建Jupyter Notebook

Jupyter Notebook不导入任何模块

将Python模块导入Jupyter Notebook

我已使用pip和conda安装的模块无法在Sublime或Atom中导入,但可以使用Jupyter Notebook(有时甚至是Terminal)导入。

在从任何目录启动的 Jupyter Notebook 中导入 pyspark

在 jupyter-notebook 中导入 tensorflow 时发生错误

在Jupyter Notebook中导入TensorFlow GPU时出错

如何在Jupyter Notebook中导入python .py文件

spacy ImportError:无法在 Jupyter Notebook 中导入名称 Deque

在 Kaggle 上导入自己的 Python 模块

正在获取ModuleNotFoundError:在Jupyter Notebook上导入时,没有名为“ plotnine”的模块

如何正确导入Jupyter Notebook中引擎上的模块以进行并行处理?

导入错误:使用 docker 在 Jupyter Notebook 上没有名为...的模块

在Jupyter Notebook上导入librosa命令的问题

无法在Jupyter Notebook上导入熊猫

在conda安装后导入模块时,jupyter Notebook中的ModuleNotFoundError

无法在Python中导入我自己的模块

如何在Ubuntu 15.04上的Python中导入自制模块

为什么即使安装了Jupyter Notebook(Python 3.6),也无法在我的Jupyter Notebook中导入utils?

在命令行上安装了一个包,可以通过命令行导入它。在 jupyter notebook 中导入时收到 ModuleNotFoundError

在Jupyter Notebook的另一个目录中导入py文件

无法在Jupyter Notebook的Python3环境中导入已安装的软件包

如何在我的烧瓶 app.py 中导入 jupyter notebook 文件?