彭博社的人工智能研究人员和工程师将在2021年NAACL-HLT上发表4篇NLP论文

计算语言学协会北美分会2021年年会(NAACL-HLT 2021)本周,来自彭博社的研究人员和工程师人工智能组在会议上发表了4篇论文,展示了他们在自然语言处理(NLP)和计算语言学方面的专业知识。

在这些论文中,作者和他们的合作者——包括康奈尔大学彭博社博士史天泽研究员和计算机科学博士。北卡罗来纳大学教堂山分校的学生Lisa Bauer在我们的AI小组中做了一个实习生的研究——目前对句法分析和神经语言建模领域的基本NLP问题的贡献,以及以引文价值为中心的NLP技术的应用。

我们请作者总结他们的研究,并解释为什么这些结果在推进计算语言学领域的最新进展方面是显著的:


2021年6月8日,星期二

课程7E:NLP的机器学习:分类和结构化预测模型(太平洋时间上午9:00-10:20)
用于依赖解析的多样性感知批主动学习
施天泽(康奈尔大学),Adrian Benton, Igor Malioutov, Ozan İrsoy(彭博社)

依赖解析的多样性感知批处理主动学习(NAACL 2021)

请总结一下你的研究。

Ozan:现代语言技术依赖于大量的人工注释数据来训练语言理解的精确模型。每当我们为新语言或感兴趣的新领域开发系统时,都需要昂贵的数据注释。这种注释成本对于像依赖项解析这样的结构化任务来说尤其繁重,依赖项解析是许多NLP管道中的核心组件,它从原始文本中分析语法结构以进行进一步的后续处理。注释依赖关系解析树需要高水平的语言专业知识、大量的人工注释人员培训,以及在注释时间方面的大量投资。

主动学习是一种范例,旨在通过选择最能提高模型精度的注释示例来减少训练机器学习模型所需的人工注释工作量。为了减少注释任务开销,这种迭代注释过程通常是成批完成的。在批式主动学习中,制定有效的信息示例选择策略的挑战之一是,虽然一批中的单个句子本身可能具有信息性,但它们可能包含重复和冗余的信息,而整个批可能不具有信息性。

在这项工作中,我们提出使用确定性点过程(DPPs),这是在元素子集上的一类概率分布,来选择既对解析器具有挑战性,又结构不同的句子。

确定性点过程(DPPs)

为什么这些结果值得注意?他们如何推进自然语言处理领域的最先进的技术?

Ozan:我们发现使用dpp选择示例来训练解析器确实是有帮助的。这种方法优于标准的主动学习技术,特别是在训练过程的早期,而且在整个数据集高度重复的情况下,它也很健壮。使用我们提出的基于dpp的主动学习方法,我们只用完整训练集的2%,就能获得2%以内的标记依恋评分(依赖解析的标准精度测量)。这表明,我们的方法可以显著降低为感兴趣的新领域引导依赖项解析器的注释成本。

除了句法处理之外,这项工作还有助于开发许多其他自然语言理解任务的下游模型,这些任务依赖于精确的句法分析器——基本任务,如问答、开放域信息提取和机器翻译等。

Session 8E: Syntax: Tagging, Chunking, and Parsing (10:20-11:40 AM PDT)
从自然出现的括号学习语法
施天泽、奥赞尔索伊、伊戈尔·马柳托夫(彭博社)、李丽莲(康奈尔大学)

从自然出现的括号中学习语法(NAACL 2021)

请总结一下你的研究。

伊戈尔:选区解析——根据层次结构分析句子——是自然语言处理的核心任务。当前的主导范式是监督解析,其中统计解析器在大量注释解析树上训练。这种方法本身具有很高的准确性,但需要昂贵的人工注释,这可能是为新领域和语言开发解析器的一个很高的入门障碍。另外,无监督的解析器可以直接从未标记的文本中归纳出结构,完全消除了注释的需要,但这更容易出错。

在这项工作中,我们探索了监督和非监督方法之间的中间地带:通过利用来自其他来源和任务的注释,从远程监督中学习。这里有两个例子:

  1. Wikipedia页面用指向其他页面的超链接进行了丰富的注释,相应的锚文本片段通常形成有效的语法短语。
  2. 我们考虑的另一个信号来源是面向语义的问题的回答片段。当我们对问题给出简短的回答时,这些回答也会起到句法短语的作用。

为了整合这些备选数据源,我们通过训练区分的选民解析器来修改学习目标结构化斜坡损失并提出两个损失函数来直接惩罚与可用的部分括号数据相冲突的预测。得到的方法比大多数无监督的解析器具有更简单的公式。

维基百科超链接
QA-SRL回答片段

为什么这些结果值得注意?他们是如何推进NLP领域的最先进技术的?

伊戈尔:在我们的实验中,我们发现我们的远程监督解析器在无监督解析方面达到了与最先进的技术相媲美的准确性,尽管在更少量的数据或使用域外数据进行训练。

我们的工作表明,弱监督可以成为有监督和无监督方法之间富有成效的中间地带。它为手头的目标任务提供了低注释成本、为底层机器学习模型提供了定义良好的优化目标函数和高精度的实用组合。

我们希望,我们的工作将推动更多研究其他类型的远程监管信号在句法分析和其他方面的效用。这项工作有可能推动下游语义分析和推理模型的发展,用于金融和法律领域的问答等任务。

2021年6月9日,星期三

第13A课时:NLP申请(太平洋时间上午10:20-11:40)
用语境预测学术文章中句子的被引价值
Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, Haimin (Raymond) Zhang(彭博社)

用语境预测学术文章中句子的被引价值(NAACL 2021)

请总结一下你的研究。

拉克什:引用价值的目标是确定一篇学术文章中的某句话是否需要被引用,如表1所示。提供准确的引文对科学写作非常重要,因为它有助于读者理解研究工作与现有的科学文献之间的关系。了解引文价值有助于向作者推荐引文,也有助于规范引文过程。

表1。带[Cite]标签的句子是指引用其他作品的句子

如表1所示,带有[Cite]标签的句子是那些提供了对另一个作品的引用的句子。在本文中,我们专门研究了周围句子的语境如何影响给定句子的被引价值。我们希望从上下文中整合信息可以帮助更好地预测哪些句子需要引用。作为这项工作的一部分,我们通过处理发表在ACL选集在过去的二十年中,我们还提出了一个新的公式和模型,有助于学习更好的上下文表示,以预测句子的引用价值,如下图所示。我们的结果表明,上下文有助于提高引用价值的预测,此外,我们还获得了或者这个研究问题。

新的公式和模型,帮助学习更好地表征上下文,以预测句子的引用价值

为什么这些结果值得注意?

拉夫尼特:本文展示了通过将语境纳入引文价值任务所取得的绩效改进。与以往的研究相比,本文中的实验系统地考察了语境如何影响绩效指标,同时也回答了一个重要问题,即多少语境足以完成任务。结果论文中发表的ts表明,在加入上下文的情况下,引文绩效总体上提高了13%左右。此外,由于科学论文的不同章节遵循其独特的写作风格并提供不同的信息,因此还研究了上下文对章节级绩效的影响。

我们用一项主观分析来支持我们的结果,该分析揭示了受益于附加上下文的三组引文趋势。我们的论文对学术文章中的句子进行了实验,我们相信这些发现与新闻、维基百科和法律文件等其他领域相关。

您的工作如何推动NLP领域的最新发展?

德班詹:对于人类作者来说,在引用一篇科学论文之前理解文章的上下文是很自然的。虽然生成方法(如GPT-3)有了常规的进展,使NLP模型能够生成类人文本和作者论文,但现有的工作并没有研究如何生成引用科学论文相关工作的句子。在这一领域的工作可以帮助开发智能写作助手,用于学术文档,以及其他领域,如新闻,其中声明需要相关文章的引用。假设有一种技术可以生成您正在撰写的论文的相关工作部分,并给出您已经撰写的部分的上下文。作为我们工作的一部分,我们的建模方法和开发的数据集是朝着这个目标迈出的第一步。甚至在考虑生成有引用价值的文本之前,我们需要首先识别它,我们在这项工作中所做的是为了推进NLP在理解学术文献方面的状态。

2021年6月10日,星期四

Deep Learning Inside Out (DeeLIO):第二届深度学习架构知识提取与集成研讨会
海报B (10:15-11:15 AM PDT)
ERNIE-NLI:分析领域特定的外部知识对NLI增强表示的影响
丽莎·鲍尔(北卡罗来纳大学教堂山分校),邓凌佳(彭博社),莫希特·班萨尔(Mohit Bansal)北卡罗来纳大学教堂山分校)

ERNIE-NLI分析领域特定外部知识对NLI增强表示的影响(DeeLIO 2021)

请总结一下你的研究。

Lingjia:这项工作的重点是自然语言推理(NLI),旨在了解一个假设是否包含,矛盾,或中立的前提。例如,假设“人们为他们的黄金岁月削减开支”,“人们在退休期间减少开支”的假设是必然的。另一方面,“人们在退休期间增加支出”的假设是矛盾的。NLI的任务要求我们理解句子中单词和短语的意思以及它们之间的关系。因此,语言建模是一种非常普遍和重要的NLI方法。

基于大量数据训练的语言模型在NLI任务中取得了良好的性能。然而,当将预先训练过的语言模型应用到新任务、新领域或新数据变体时,这些模型并不总是表现良好,可能需要额外的知识来指导它们。在上面的例子中,如果我们仅仅依靠这两句话的上下文,就很难知道“黄金岁月”意味着“退休”。引入适当的外部知识对NLI任务很重要。最近,将外部知识整合到语言模型中引起了研究者们的兴趣(例如,外部知识增强的神经自然语言推理模型陈等人,2018年和ERNIE:信息实体的增强语言表示by Zhang et al., 2019)。这项工作的目标是调查什么样的外部知识可以改善NLI任务,以及它如何影响绩效。

该工作提出了一个知识分析框架,使我们能够将外部知识适应于NLI任务,并直接控制适应的知识输入。我们还提出的研究结果表明,适应知识和下游绩效之间有很强的相关性。

为什么这些结果值得注意?

Lingjia:NLI的早期工作利用了不同的特性,包括逻辑规则、依赖项解析器和语义。随着大型注释语料库的发展,如斯坦福自然语言推理(SNLI)语料库Multi-Genre NLI (MultiNLI) Corpus,研究人员探索了各种神经模型。最近的工作开始调查引入外部知识以增强NLI模型。然而,所使用的外部知识并不是专门为NLI任务而培训的。在这项工作中,我们将重点放在将不同知识源的知识关系转换为适合NLI任务的关系上。

然后,我们使用这些知识来说明知识内容和表示对模型性能的影响。这样的分析有助于解释神经模型的性能变化。我们进行了广泛的分析和实验,揭示了知识极性和下游绩效之间的强相关性。

您的工作如何推动NLP领域的最新发展?

Lingjia:在不同来源的相应外部知识的增强下,我们提出的NLI模型在不同的NLI类别上取得了更好的性能。与直接使用未经NLI任务培训的外部知识的最先进的工作相比,我们正在利用的外部知识是为NLI任务量身定制的。此外,我们的NLI模型允许我们分析不同的外部知识对不同的NLI类别的影响。即使当用于推理的知识发生时移(例如,新知识出现),模型也能稳健地执行。

该海报将在2021年6月10日(星期四)的深入学习由内而外(DeeLIO)研讨会的海报课程B中展示。
这张海报将于2021年6月10日(星期四)上午10:15-11:15在深度学习Inside Out (DeeLIO)研讨会的海报会议B上展示。