可以使用tensorflow在多台计算机上分发word2vec算法吗？

是的，可以立即使用tensorflow。诀窍是使用变量分区（例如tf.fixed_size_partitioner）和参数服务器复制通过tf.train.replica_device_setter来将变量拆分到多台计算机上。这是代码中的样子：

with tf.device(tf.train.replica_device_setter(ps_tasks=3)):
  embedding = tf.get_variable("embedding", [1000000000, 20],
                              partitioner=tf.fixed_size_partitioner(3))

最好的部分是，这些更改是非常本地化的，对于其余的培训代码而言，它们没有任何区别。但是，在运行时，它们有很大的不同，即将embedding分成3个分片，每个分片固定到不同的ps任务，您可以在单独的机器上运行它们。另请参阅此相关问题。