使用Word2Vec解决多义问题

r1d1

我对Word2Vec有一些疑问:

  1. 是什么决定结果模型向量的维数?

  2. 此向量的元素是什么?

  3. 如果我已经有了单词的每个含义的文本,可以使用Word2Vec来解决多义性问题(状态=管理单位vs状态=条件)吗?

五条魔

(1)选择所需的尺寸作为模型的元参数。时间充裕的严格项目可能会尝试不同的规模,以了解哪种方法最适合其定性评估。

(2)在普通word2vec中,每个单词向量(浮点数)的单个维度/元素不容易解释。只有作为整体的单词排列才有用–将相似的单词彼此靠近,并使相对方向(例如,从“国王”向“女王”迈进)与人类对类别/连续性的直觉相匹配。而且,由于算法使用显式随机化,并且优化的多线程操作将线程调度的随机性引入到训练示例的顺序中,因此即使是完全相同的数据也可能导致运行时的向量坐标不同(但同等好)跑步。

(3)基本的word2vec修复起来并不容易,但是向量中有一堆多义性的暗示,因此研究工作要做更多的工作来消除对比感。

例如,通常,多词性单词的词缀以词向量作为结束,这些词向量是它们的多种意义的组合,并且(通常)比多词性较少的单词的幅值更小。

这份早期的论文使用每个单词多个表示形式来帮助发现多义性。类似后来的论文像这样一个使用集群-的,上下文发现多义词,然后重新标记他们给每个感测自己的中断向量。

本文通过对正常word2vec向量进行后处理来完成检测替代感官的出色工作。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章