彭博社的人工智能研究人员和工程师将在2021年NAACL-HLT上发表4篇NLP论文

计算语言学协会北美分会2021年年会(NAACL-HLT 2021)本周,来自Bloomberg的研究人员和工程师AI集团通过在会议上发布4篇论文来展示他们对自然语言处理(NLP)和计算语言学的专业知识。

在这些论文中,作者和他们的合作者——包括彭博博士康奈尔大学天泽史和计算机科学博士生丽莎鲍尔的北卡罗莱纳大学教堂山分校,进行她的研究在我们的实习AI组——现在的贡献基本NLP问题领域的语法解析和神经语言建模,并应用NLP技术专注于引用价值。

我们请作者总结他们的研究,并解释为什么这些结果在推进计算语言学领域的最新进展方面是显著的:


星期二,6月8日,2021年

7e:NLP的机器学习:分类和结构预测模型(9:00-10:20 AM PDT)
用于依赖解析的多样性感知批主动学习
天泽施(康奈尔大学),阿德里安·宾顿,伊戈尔马里奥夫和奥沙伊罗斯(Bloomberg)

多样性感知批处理依赖性解析的主动学习(Naacl 2021)

请总结您的研究。

ozan:现代语言技术依赖于大量的人工注释数据来训练语言理解的精确模型。每当我们为新语言或感兴趣的新领域开发系统时,都需要昂贵的数据注释。这种注释成本对于像依赖项解析这样的结构化任务来说尤其繁重,依赖项解析是许多NLP管道中的核心组件,它从原始文本中分析语法结构以进行进一步的后续处理。注释依赖关系解析树需要高水平的语言专业知识、大量的人工注释人员培训,以及在注释时间方面的大量投资。

主动学习是一种范式,旨在通过选择能够最大程度提高模型准确性的注释示例,减少训练机器学习模型所需的人工注释工作量。为了减少注释任务开销,这个迭代注释过程通常是批量完成的。在成批主动学习中制定有效的选择信息性例子策略的挑战之一是,尽管成批学习中的单个句子本身可能是信息性的,但它们可能包含重复和冗余的信息,整个成批学习的信息量可能不那么大。

在这项工作中,我们提出使用确定性点过程(DPPs),这是在元素子集上的一类概率分布,来选择既对解析器具有挑战性,又结构不同的句子。

决定性点过程(DPP)

为什么这些结果值得注意?他们如何推进自然语言处理领域的最先进的技术?

ozan:我们发现使用dpp选择示例来训练解析器确实是有帮助的。这种方法优于标准的主动学习技术,特别是在训练过程的早期,而且在整个数据集高度重复的情况下,它也很健壮。使用我们提出的基于dpp的主动学习方法,我们只用完整训练集的2%,就能获得2%以内的标记依恋评分(依赖解析的标准精度测量)。这表明,我们的方法可以显著降低为感兴趣的新领域引导依赖项解析器的注释成本。

除了句法处理之外,这项工作能够帮助发展许多其他自然语言的下游模型,了解依赖于准确的句法解析器的任务 - 基本任务,如问题应答,开放式信息提取和机器翻译等。

Session 8E: Syntax: Tagging, Chunking, and Parsing (10:20-11:40 AM PDT)
自然发生的包围的学习语法
天泽,奥沙伊罗斯,伊戈尔马里府(Bloomberg),Lillian Lee(康奈尔大学)

从自然发生的包围学习语法(Naacl 2021)

请总结您的研究。

伊戈尔:选项解析 - 分层结构方面的句子分析 - 是核心NLP任务。目前的主导范式是监督解析,其中统计解析器培训大量注释的解析树。这种方法非常适合高精度,但需要昂贵的人类注释,这对于开发新域和语言的解析器来说可能是一个很高的障碍。或者,无监督的解析器可以直接从未标记的文本引起结构,完全去除对注释的需要,但这些更容易误差。

在这项工作中,我们探讨了监督和无人监督方法之间的中间地:通过利用其他来源和任务的注释来学习遥远的监督。这是两个例子:

  1. Wikipedia页面与指向其他页面的超链接批量注释,并且相应的锚文本片段通常形成有效的语法短语。
  2. 我们考虑的另一个信号来源是面向语义的问题的回答片段。当我们对问题给出简短的回答时,这些回答也会起到句法短语的作用。

要纳入这些替代数据来源,我们通过培训判别选区解释者来修改学习目标结构化斜坡损失并提出两个损失函数来直接惩罚与可用的部分括号数据相冲突的预测。得到的方法比大多数无监督的解析器具有更简单的公式。

维基百科超链接
QA-SRL回答片段

为什么这些结果值得注意?他们如何在NLP领域推进最先进的?

伊戈尔:在我们的实验中,我们发现,我们的远方监督的解析器实现了竞争性的准确性,尽管培训了较少量的数据或使用域名数据,但是培训了无监督的解析。

我们的工作表明,监督薄弱可能是监督和无人监督的方法之间的富有成效的中间地位。它提供了手头的目标任务的低注释成本的务实组合,定义了潜在的机器学习模型的优化优化目标功能,并强大的精度。

我们希望我们的工作能够在句法解析和超越句法解析中促进其他类型的遥远监督信号的实用性。这项工作有可能推动下游语义分析和推理模型的发展的进步,如问题的任务,就像有关金融和法律域等的问题。

6月9日星期三,2021年

会议13A:NLP申请(10:20-11:40 AM PDT)
关于在学术文章中预测句子的引用权益的使用
Rakesh Gosangi,Ravneet Arora,Mohsen Gheisarieha,Debanjan Mahata,Haimin(Raymond)张(彭博堡)

用语境预测学术文章中句子的被引价值(NAACL 2021)

请总结您的研究。

拉克什:引用价值的目标是确定一篇学术文章中的某句话是否需要被引用,如表1所示。提供准确的引文对科学写作非常重要,因为它有助于读者理解研究工作与现有的科学文献之间的关系。了解引文价值有助于向作者推荐引文,也有助于规范引文过程。

表1。带[Cite]标签的句子是指引用其他作品的句子

如表1所示,带有[Cite]标签的句子是那些提供了对另一个作品的引用的句子。在本文中,我们专门研究了周围句子的语境如何影响给定句子的被引价值。我们希望从上下文中整合信息可以帮助更好地预测哪些句子需要引用。作为这项工作的一部分,我们通过处理发表在ACL选集在过去的二十年里。我们还提出了一种新的配方和模型,有助于学习更好地表示关于预测句子的重要性的语境,如下图所示。我们的结果表明,上下文有助于提高引文资格的预测,以及我们也为这一研究问题获得最先进的表现。

新的公式和模型,帮助学习更好地表征上下文,以预测句子的引用价值

为什么这些结果值得注意?

Ravneet:本文展示了通过将上下文纳入引文值得的任务来实现的性能改进。与之前的研究相比,本文的实验系统地研究了如何影响性能指标的情况,同时还回答了对任务足够多的上下文的重要问题。本文发布的结果表明,纳入上下文,引文性能总体上限为约13%。此外,由于科学论文的不同部分遵循自己独特的写作风格并提供不同的信息,因此还研究了上下文的影响。

我们备份了我们的结果,主观分析,揭示了三组引文趋势,这些趋势从其他背景中受益。我们的论文对学术文章中的句子进行了实验,我们认为这些发现与新闻,维基百科和法律文件等其他领域有关。

您的工作如何推进NLP领域的最先进的?

Debanjan:对于人类作者来说,在引用一篇科学论文之前理解文章的上下文是很自然的。虽然生成方法(如GPT-3)有了常规的进展,使NLP模型能够生成类人文本和作者论文,但现有的工作并没有研究如何生成引用科学论文相关工作的句子。在这一领域的工作可以帮助开发智能写作助手,用于学术文档,以及其他领域,如新闻,其中声明需要相关文章的引用。假设有一种技术可以生成您正在撰写的论文的相关工作部分,并给出您已经撰写的部分的上下文。作为我们工作的一部分,我们的建模方法和开发的数据集是朝着这个目标迈出的第一步。甚至在考虑生成有引用价值的文本之前,我们需要首先识别它,我们在这项工作中所做的是为了推进NLP在理解学术文献方面的状态。

2021年6月10日星期四

Deep Learning Inside Out (DeeLIO):第二届深度学习架构知识提取与集成研讨会
海报会议B(10:15-11:15 AM PDT)
ernie-nli:分析域特定的外部知识对NLI增强型表示的影响
Lisa Bauer(Unc Chapel Hill),凌佳邓(彭博),Mohit Bansal(Unc Chapel Hill)

ERNIE-NLI分析领域特定外部知识对NLI增强表示的影响(DeeLIO 2021)

请总结您的研究。

Lingjia:这项工作侧重于自然语言推理(NLI),旨在了解假设是否矛盾,矛盾,或者是与前提的中立。例如,鉴于前提“人们为黄金岁月削减了他们的费用”,“人们减少退休期间的费用”的假设是一份征报。另一方面,“人们在退休期间提高费用”的假设是一个矛盾。NLI任务要求我们了解一对句子中单词和短语之间的含义和关系。因此,语言建模是NLI的一种非常常见和重要的方法。

基于大量数据训练的语言模型在NLI任务中取得了良好的性能。然而,当将预先训练过的语言模型应用到新任务、新领域或新数据变体时,这些模型并不总是表现良好,可能需要额外的知识来指导它们。在上面的例子中,如果我们仅仅依靠这两句话的上下文,就很难知道“黄金岁月”意味着“退休”。引入适当的外部知识对NLI任务很重要。最近,将外部知识整合到语言模型中引起了研究者们的兴趣(例如,神经自然语言推断模型增强了外部知识陈等人。,2018年和ERNIE:信息实体的增强语言表示by Zhang et al., 2019)。这项工作的目标是调查什么样的外部知识可以改善NLI任务,以及它如何影响绩效。

该工作提出了一个知识分析框架,使我们能够将外部知识适应于NLI任务,并直接控制适应的知识输入。我们还提出的研究结果表明,适应知识和下游绩效之间有很强的相关性。

为什么这些结果值得注意?

Lingjia:NLI的早期工作利用不同的功能,包括逻辑规则,依赖解析器和语义。随着大型注释的基层的发展,如斯坦福自然语言推理(SNLI)语料库Multi-Genre NLI (MultiNLI) Corpus,研究人员探索了各种神经模型。最近的工作开始调查外部知识的引入,以增强NLI模型。但是,所使用的外部知识没有专门为NLI任务培训。在这项工作中,我们专注于将来自不同知识来源的知识关系转换为对NLI任务量身定制的关系。

然后,我们使用这些知识来说明知识内容和表示对模型性能的影响。这样的分析有助于解释神经模型的性能变化。我们进行了广泛的分析和实验,揭示了知识极性和下游绩效之间的强相关性。

您的工作如何推进NLP领域的最先进的?

Lingjia:在不同来源的相应外部知识的增强下,我们提出的NLI模型在不同的NLI类别上取得了更好的性能。与直接使用未经NLI任务培训的外部知识的最先进的工作相比,我们正在利用的外部知识是为NLI任务量身定制的。此外,我们的NLI模型允许我们分析不同的外部知识对不同的NLI类别的影响。即使当用于推理的知识发生时移(例如,新知识出现),模型也能稳健地执行。

将在海报会议上提出的海报B在2021年6月10日星期四内外学习(Deelio)研讨会的深度学习。
海报在海报会议上展示在海报(Deelio)研讨会的深度学习期间(Deelio)研讨会,2021年,从10:15-11:15 AM PDT。
Baidu