scikit 学习任务管理库

更新：经过一些额外的搜索。我想我过度使用 scikit-learn。如果我想要一个生产 ML 工具。我应该使用类似 mahout 之类的基于 hadoop 的东西。scikit-learn 更像是一个实验想法的玩具工具。

我是 scikit-learn 的新手。我尝试使用 scikit-learn 来训练模型，我想尝试不同的特征组合和数据预处理技术。每个实验都需要几个小时（为了尽量减少错误，我会用不同的训练-测试分割运行每个实验 10 次），所以我写了一些 python 脚本来自动一个一个地运行实验，当一个实验完成后，它会传一个电子邮件给我。

它运行良好，我今天找到了另一台可用于运行我的实验的服务器，我应该编写一些可以以分发方式运行实验的脚本似乎是合理的。有像hadoop这样的大数据平台，但是我发现python和scikit-learn都不适合（如果我对hadoop的理解有误请指出）。

因为 scikit-learn 是一个“旧”库，所以我认为应该有现有的库具有我想要的这些功能。或者我在 scikit-learn 的错误方向上运行？

我尝试谷歌“scikit-learn 任务管理”，但我什么都不想。其他关键字搜索也很受欢迎。