Bloomberg研究人员发布Kōan,使CowE实现更快,更准确

2020年初,Bloomberg的两个AI研究人员,Adrian Benton和Ozanİrsoy是在更有效的上下文词嵌入的研究中进行了研究卡尔斯特罗斯是Rutgers大学计算机科学系的助理教授(以及Bloomberg AI工程集团的前成员)。在工作期间,TRIO在Word2VEC,常用的自然语言处理(NLP)应用程序执行的简单但有影响的错误中发现了一种简单但有影响力的误差,该梯度计算是用于学习单词嵌入的常规使用的自然语言处理(NLP)应用程序。

他们最近发布了在培训Word Embeddin金宝搏网址gs时将替代实现的开源代码详细介绍了Gensim和Word2Vec.c。通过这种实施,研究人员可能会发现,在下游模型中使用时,连续的袋式(CBOW)变得像Skip-Gram一样表演。此实现称为Kōan,也比许多设置中的都快(参见其纸中的详细基准)。

他们的技术报告,“kōan:纠正的CBY实施”,详细说明了他们的实验在亚克因夫发表

他们实现的代码现在可以在github上获得:http://github.com/bloomberg/koan.

点击上面的图片阅读并下载完整的纸张