我使用sklearn
的Pipeline
,并FunctionTransformer
用自定义功能
from sklearn.externals import joblib
from sklearn.preprocessing import FunctionTransformer
from sklearn.pipeline import Pipeline
这是我的代码:
def f(x):
return x*2
pipe = Pipeline([("times_2", FunctionTransformer(f))])
joblib.dump(pipe, "pipe.joblib")
del pipe
del f
pipe = joblib.load("pipe.joblib") # Causes an exception
我得到这个错误:
AttributeError:模块“ __ main__”没有属性“ f”
如何解决呢?
请注意,也会在 pickle
我能够使用marshal
模块(除了pickle
)破解解决方案,并覆盖魔术方法getstate
和setstate
所使用pickle
。
import marshal
from types import FunctionType
from sklearn.base import BaseEstimator, TransformerMixin
class MyFunctionTransformer(BaseEstimator, TransformerMixin):
def __init__(self, f):
self.func = f
def __call__(self, X):
return self.func(X)
def __getstate__(self):
self.func_name = self.func.__name__
self.func_code = marshal.dumps(self.func.__code__)
del self.func
return self.__dict__
def __setstate__(self, d):
d["func"] = FunctionType(marshal.loads(d["func_code"]), globals(), d["func_name"])
del d["func_name"]
del d["func_code"]
self.__dict__ = d
def fit(self, X, y=None):
return self
def transform(self, X):
return self.func(X)
现在,如果我们使用MyFunctionTransformer
而不是FunctionTransformer
,代码将按预期工作:
from sklearn.externals import joblib
from sklearn.pipeline import Pipeline
@MyFunctionTransformer
def my_transform(x):
return x*2
pipe = Pipeline([("times_2", my_transform)])
joblib.dump(pipe, "pipe.joblib")
del pipe
del my_transform
pipe = joblib.load("pipe.joblib")
它的工作方式是f
从泡菜中删除该函数,然后删除marshaling
其代码和名称。
dill
看起来也像封送处理的不错选择
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句