我编写了一个代码,用于将 L2 损失添加到主损失函数中:
def add_l2(model, penalty=0.001):
for layer in model.layers:
if "conv" in layer.name:
model.add_loss(penalty * tf.reduce_sum(tf.square(layer.trainable_variables[0])))
return
## training
@tf.function
def train_one_step(model, x, y, optimizer):
with tf.GradientTape() as tape:
logits = model(x, training=True)
loss = _criterion(y_true=y, y_pred=logits)
add_l2(model, 0.001)
loss += sum(model.losses)
grads = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(grads, model.trainable_variables))
return loss, logits
当我开始训练时,出现如下错误:
ValueError:期望符号张量或损失值的可调用。请将您的损失计算包装在零参数中
lambda
。
这个错误是什么意思?我该如何治疗?
您的损失引用了模型层 ( layer.trainable_variables[0]
)之一的变量,因此需要将您的损失包装在零参数 lambda 中,以使其可调用。model.add_loss(lambda: penalty * tf.reduce_sum(tf.square(layer.trainable_variables[0])
有关更多详细信息,请查看官方文档here
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句