TF 2.0碰巧摆脱了contrib
图书馆。因此,所有喜欢tf.contrib.conv2d
或tf.contrib.layers.variance_scaling_initializer
不喜欢的东西都消失了。也就是说,您认为在不使用Keras的情况下(或通过一些numpy hack进行初始化)在TF2.0中进行Xavier初始化的最佳方法是什么?
即,我坚持tf.nn.conv2d
并为此功能提供权重的人:
filters = tf.Variable(tf.zeros([3, 3, 32, 64]))
??? # something should happen hear, i guess
net = tf.nn.conv2d(input, filters)
注意:万一您使用的是TF的第一个版本,则可以使用:
filters = tf.get_variable("w", shape=[3,3, 32, 64],
initializer=tf.contrib.layers.xavier_initializer())
# no tf.contrib in 2.0, no tf.get_variable in 2.0
在tensorflow 2.0中,您有一个tf.initializer
包含所需的所有类似Keras的初始化程序的软件包。
Xavier初始化程序与Glorot Uniform初始化程序相同。因此,要创建一个(3,3)
具有从该初始值设定项采样的值的变量,您可以:
shape = (3,3)
initializer = tf.initializers.GlorotUniform()
var = tf.Variable(initializer(shape=shape))
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句