我正在尝试在张量流中实现STDP（峰值计时依赖可塑性）。这有点复杂。有什么想法（要完全在张量流图中运行）？
它的工作方式是这样的：假设我有2个输入神经元，并且它们通过此矩阵连接到3个输出神经元：（[[1.0, 1.0, 0.0], [0.0, 0.0, 1.0]]输入神经元0连接到输出神经元0和1 ...）。
假设我的输入神经元有这些尖峰（2个神经元，7个时间步长）：
Input Spikes:
[[0, 0, 1, 1, 0, 1, 0],
[1, 1, 0, 0, 0, 0, 1]]
输出神经元的这些峰值（3个神经元，7个时间步长）：
Output Spikes:
[[0, 0, 0, 1, 0, 0, 1],
[1, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 1, 1, 1]]
现在，对于每个非零权重，我要计算一个dw。例如，对于输入神经元0连接到输出神经元0：
输入神经元0的尖峰[2, 3, 5]的时间戳为，输出神经元0的尖峰的时间戳为[3, 6]。现在，我计算所有增量时间：
Delta Times = [ 2-3, 2-6, 3-3, 3-6, 5-3, 5-6 ] = [ -1, -4, 0, -3, 2, -1 ]
然后，我计算一些函数（实际的STDP函数，对于这个问题并不重要-某些指数函数）
dw = SUM [ F(-1), F(-4), F(0), F(-3), F(2), F(-1) ]
这就是将输入神经元0连接到输出神经元0的权重的dw。对所有非零权重进行重复。
所以我可以用numpy来完成所有这些工作，但是我希望能够完全在一个张量流图中完成它。特别是，我一直在计算增量时间。以及如何并行处理所有非零权重。
这是实际的stdp函数btw（常数可以是参数）：
def stdp_f(x):
return tf.where(
x == 0, np.zeros(x.shape), tf.where(
x > 0, 1.0 * tf.exp(-1.0 * x / 10.0), -1.0 * 1.0 * tf.exp(x / 10.0)))
关于性能的说明：下面@jdehesa给出的方法既正确又聪明。但是事实证明它很慢。特别是，对于由784个输入神经元馈入400个神经元的真实神经网络，在500个时间步长上，该spike_match =步执行（784，1，500，1）和（1，400，1，500）张量的乘法。
我对STDP不熟悉，所以希望我能正确理解您的意思。我认为这符合您的描述：
import tensorflow as tf
def f(x):
# STDP function
return x * 1
def stdp(input_spikes, output_spikes):
input_shape = tf.shape(input_spikes)
t = input_shape[-1]
# Compute STDP function for all possible time difference values
stdp_values = f(tf.cast(tf.range(-t + 1, t), dtype=input_spikes.dtype))
# Arrange in matrix such that position [i, j] contains f(i - j)
matrix_idx = tf.expand_dims(tf.range(t - 1, 2 * t - 1), 1) + tf.range(0, -t, -1)
stdp_matrix = tf.gather(stdp_values, matrix_idx)
# Find spike matches
spike_match = (input_spikes[:, tf.newaxis, :, tf.newaxis] *
output_spikes[tf.newaxis, :, tf.newaxis, :])
# Sum values where there are spike matches
return tf.reduce_sum(spike_match * stdp_matrix, axis=(2, 3))
# Test
input_spikes = [[0, 0, 1, 1, 0, 1, 0],
[1, 1, 0, 0, 0, 0, 1]]
output_spikes = [[0, 0, 0, 1, 0, 0, 1],
[1, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 1, 1, 1]]
with tf.Graph().as_default(), tf.Session() as sess:
ins = tf.placeholder(tf.float32, [None, None])
outs = tf.placeholder(tf.float32, [None, None])
res = stdp(ins, outs)
res_val = sess.run(res, feed_dict={ins: input_spikes, outs: output_spikes})
print(res_val)
# [[ -7. 10. -15.]
# [-13. 7. -24.]]
在这里，我认为这f可能很昂贵（并且每对神经元的值都相同），因此我对每个可能的时间增量仅计算一次，然后将计算值重新分配到矩阵中，因此我可以在两对上相乘输入和输出尖峰发生的坐标。
我使用了identity函数f作为占位符，因此在这种情况下，结果值实际上只是时间差的总和。
编辑：仅供参考，替换f为您包括的STDP功能：
def f(x):
return tf.where(x == 0,
tf.zeros_like(x),
tf.where(x > 0,
1.0 * tf.exp(-1.0 * x / 10.0),
-1.0 * 1.0 * tf.exp(x / 10.0)))
结果是：
[[-3.4020822 2.1660795 -5.694256 ]
[-2.974073 0.45364904 -3.1197631 ]]
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句