带有 EarlyStopping 和 Dropout 的 TensorFlow 回归导致欠拟合

它定义了性能度量并指定是最大化还是最小化它。

然后 Keras 在适当的时期停止训练。指定verbose=1时，可以在keras中停止训练时在屏幕上输出。

es = EarlyStopping(monitor='val_loss', mode='min')

由于性能没有提高，因此立即停止可能无效。耐心定义了允许不提高性能的 epoch 的次数。参与度是一个相当主观的标准。可以根据使用的数据的设计和使用的模型来改变最佳值。

es = EarlyStopping(monitor='val_loss', mode='min', verbose=1, patience=50)

当训练被模型选择提前停止对象停止时，状态通常会比之前的模型有更高的验证错误。因此，可以控制提前停止，使模型的验证误差不再通过在某个时间点停止模型的训练来降低，但停止状态不会是最好的模型。因此，需要存储验证性能最好的模型，为此，keras 中存在名为 Model Checkpoint 的对象。此对象监控验证错误，如果验证性能优于前一个 epoch，则此时无条件存储参数。通过这个，当训练停止时，可以返回具有最高验证性能的模型。

from keras.callbacks import ModelCheckpoint

mc = ModelCheckpoint ('best_model.h5', monitor='val_loss', mode='min', save_best_only=True) 

在回调参数中，允许存储最佳模型。

hist = model.fit(train_x, train_y, nb_epoch=10,
      batch_size=10, verbose=2, validation_split=0.2,                   
      callbacks=[early_stopping, mc])  

在您的情况下，耐心 25 表示当参考值连续提高不超过 25 次时是否结束。

from keras.callbacks import ModelCheckpoint

model = Sequential()

model.add(Dense(10, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(10, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(10, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(10, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(1))

early_stopping = EarlyStopping(monitor='val_loss', mode='min', patience=25, verbose=1)

mc = ModelCheckpoint ('best_model.h5', monitor='val_loss', mode='min', save_best_only=True) 

model.compile(optimizer='adam', loss='mae')

model.fit(X_train, y_train, validation_data=(X_test, y_test), epochs=600, callbacks=[early_stopping, mc])