启动时,Jupyter notebook 遇到模块导入问题
import findspark
ModuleNotFoundError Traceback (most recent call last)
<ipython-input-1-ff073c74b5db> in <module>
----> 1 import findspark
ModuleNotFoundError: No module named 'findspark'
Conda 列表显示模块在这里
filelock 3.0.8 py37_0
findspark 1.3.0 py_1 conda-forge
flask 1.0.2 py37_1
蟒蛇版
(myenv) mm@mm-HP-EliteBook-8560p:~$ python -V
Python 3.6.8
看来我的安装不干净。来自的三个 Python 行.bash_profile
export PYENV_ROOT="$HOME/.pyenv"
export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init -)"
为什么会出现导入错误?
我建议稍微不同的路线。
/Users/me/spark-2.4.0-bin-hadoop2.7
location 中解压缩。假设您使用的是 mac,请更新您的~/.bash_profile
以包含以下条目:
export SPARK_HOME=/Users/me/spark-2.4.0-bin-hadoop2.7
export PYTHONPATH=${SPARK_HOME}/python:$PYTHONPATH
export PYTHONPATH=${SPARK_HOME}/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=<path to your python location>
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS=notebook
PATH=$PATH:$SPARK_HOME/bin
执行一个source ~/.bash_profile
.
pyspark
,它会打开 jupyter notebook。现在您的笔记本将绑定到这个 spark 安装。如果您使用的是 linux,我认为唯一的变化是将内容附加到路径的语法,而不是更改bash_profile
您可能需要更改bashrc
文件。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句