我可以在Jupyter / IPython中使用hadoop吗

当然可以。Hadoop Streaming，mrjob和dumbo等许多框架仅举几例。subprocess.Popen()根据框架的不同，在Jupyter中包括这些的技术方面应包括调用或典型的python导入。

可以在此cloudera博客文章中找到对其中一些框架的很好的概述/评论。