Использование Dropout в Pytorch: nn.Dropout против F.dropout

Технические различия уже были показаны в другом ответе. Однако главное отличие состоит в том, что nn.Dropoutэто сам модуль фонарика, который имеет некоторое удобство:

Краткий пример для иллюстрации некоторых различий:

import torch
import torch.nn as nn

class Model1(nn.Module):
    # Model 1 using functional dropout
    def __init__(self, p=0.0):
        super().__init__()
        self.p = p

    def forward(self, inputs):
        return nn.functional.dropout(inputs, p=self.p, training=True)

class Model2(nn.Module):
    # Model 2 using dropout module
    def __init__(self, p=0.0):
        super().__init__()
        self.drop_layer = nn.Dropout(p=p)

    def forward(self, inputs):
        return self.drop_layer(inputs)
model1 = Model1(p=0.5) # functional dropout 
model2 = Model2(p=0.5) # dropout module

# creating inputs
inputs = torch.rand(10)
# forwarding inputs in train mode
print('Normal (train) model:')
print('Model 1', model1(inputs))
print('Model 2', model2(inputs))
print()

# switching to eval mode
model1.eval()
model2.eval()

# forwarding inputs in evaluation mode
print('Evaluation mode:')
print('Model 1', model1(inputs))
print('Model 2', model2(inputs))
# show model summary
print('Print summary:')
print(model1)
print(model2)

Вывод:

Normal (train) model:
Model 1 tensor([ 1.5040,  0.0000,  0.0000,  0.8563,  0.0000,  0.0000,  1.5951,
         0.0000,  0.0000,  0.0946])
Model 2 tensor([ 0.0000,  0.3713,  1.9303,  0.0000,  0.0000,  0.3574,  0.0000,
         1.1273,  1.5818,  0.0946])

Evaluation mode:
Model 1 tensor([ 0.0000,  0.3713,  0.0000,  0.0000,  0.0000,  0.0000,  0.0000,
         0.0000,  0.0000,  0.0000])
Model 2 tensor([ 0.7520,  0.1857,  0.9651,  0.4281,  0.7883,  0.1787,  0.7975,
         0.5636,  0.7909,  0.0473])
Print summary:
Model1()
Model2(
  (drop_layer): Dropout(p=0.5)
)

Итак, что я должен использовать?

Оба полностью эквивалентны с точки зрения применения отсева, и хотя различия в использовании не так велики, есть несколько причин для предпочтения этого nn.Dropoutварианта nn.functional.dropout:

Отсев предназначен для применения только во время обучения, поэтому при прогнозировании или оценке модели вы хотите отключить отсев.

Модуль выпадения nn.Dropoutудобно обрабатывает это и отключает выпадение, как только ваша модель переходит в режим оценки, в то время как функциональный отсев не заботится о режиме оценки / прогнозирования.

Несмотря на то, что вы можете установить функцию training=Falseотключения функции, чтобы отключить ее, это все же не такое удобное решение, как с nn.Dropout.

Также в модуле хранится частота выпадения, поэтому вам не нужно сохранять его в дополнительной переменной. В более крупных сетях вы можете захотеть создать разные слои отсева с разной скоростью отбрасывания - это nn.Dropoutможет улучшить читаемость, а также может принести некоторое удобство при использовании слоев несколько раз.

Наконец, все модули, назначенные вашей модели, регистрируются в вашей модели. Итак, класс модели отслеживает их, поэтому вы можете просто отключить модуль отсева, позвонив eval(). При использовании функции исключения ваша модель не знает об этом, поэтому она не будет отображаться ни в какой сводке.