彭博社的人工智能研究人员和工程师将在2021年ACL-IJCNLP上发表3篇NLP论文

会议期间第59届计算语言学协会年会暨第11届自然语言处理国际联合会议(ACL-IJCNLP 2021)本周,来自彭博社的研究人员和工程师人工智能组通过在主要会议和共同举办的研讨会上发表三篇(3)论文,展示了他们在自然语言处理(NLP)和计算语言学方面的专业知识,包括第17届国际解析技术会议(IWPT 2021)*SEM 2021:第十届词汇和计算语义联合会议

在这些论文中,作者和他们的合作者——其中包括北卡罗来纳大学教堂山分校的计算机科学博士生丽莎·鲍尔,她作为我们人工智能集团的实习生进行了她的研究,以及她的导师,Mohit邦萨尔博士,管理局局长用于语言实验室的多模态理解、推理和生成,这是UNC的自然语言处理和机器学习小组和一个彭博数据科学研究基金的前任获得者-在回答问题的领域中对两个基本的NLP问题的贡献,句法或语义分析,以及重点研究了自然语言处理技术的应用从财务报告中提取混合数据,以及理解句子和在线聊天

我们请作者总结他们的研究,并解释为什么这些结果在推进计算语言学领域的最新进展方面是显著的:


2021年8月3日,星期二

9C:问题回答2 (10:30-10:40 UTC)
TAT-QA:一种基于表格和文本混合内容的金融问题回答基准
朱凤斌(新加坡国立大学)、雷文强(新加坡国立大学)、黄友成(四川大学)、王超(6Estates)、张硕(彭博社)、吕建成(四川大学)、冯富丽(新加坡国立大学)、蔡大成(新加坡国立大学)

点击此处阅读《TAT-QA:金融领域表格和文本内容混合的问答基准》,该基准于2021年8月3日在ACL-IJCNLP上发布

请总结一下你的研究。

说:现有的问答(QA)系统主要关注非结构化文本、结构化知识库或半结构化表。处理混合数据的工作——包括非结构化文本和结构化或半结构化知识库/表格——是很少的,尽管混合数据在真实世界的用例(如财务报告)中很普遍。

这项工作的主要目标是在表格和文本内容的混合上构建一个基准。特别是,我们从财务报告中提取混合数据,并执行劳动密集型注释任务,构建一个新的大型QA数据集,其中包含四种注释类型:

  1. 表的相关上下文;
  2. 问题-答案对,通常需要数字推理来推断答案;
  3. 表示推理类型的答案类型和推导;和
  4. 推断答案的来源(参见图1作为示例)。

此外,我们提出了一个QA模型,该模型采用序列标记提取相关的细胞,然后对提取的细胞进行符号推理,得到最终的答案。

TAT-QA的一个例子
TAT-QA的一个例子。左虚线框显示混合上下文。背景为蓝色的行是行标题,而背景为灰色的列是列标题。右边实线框显示了相应的问题,答案及其比例,以及得到答案的推导过程。

为什么这些结果值得注意?它将如何帮助推进自然语言处理领域的最先进的技术?

现有用于混合数据的QA系统基于Wikipedia,其中嵌入的表大多是内容(基于文本)表,涵盖了更多样化的数据类型。这一新的基准测试是第一次尝试将QA对混合内容的研究注意力吸引到金融领域,在这个领域,数字表格及其上下文是普遍存在的,而且更难以理解。想象基于这些财务报告的复杂计算可能需要那些有专业背景的人。然而,重要的是要让这种混合内容更容易被发现。TAT-QA是一个数据集,将有利于研究社区和行业应用。

数据集是由那些有财务背景的人标记的,大约花了3个月完成。我们严格的控制确保了注释的质量。我们尝试加入多个注释,包括在表格中添加相关段落、问答对、答案类型和推导、答案来源。最后,不仅QA任务可以利用该资源,其他子任务也可以利用该资源。比如信息提取和语义类型预测。可以从中受益。

我们调整了一些最先进的QA模型用于表格和环境餐前小吃混合器,但对于包含数字表的混合数据,它们不能很好地推广。最后,我们提出的TAGOP方法在F1得分上仅达到58.0%,这表明了这项任务的难度。这表明混合内容的QA仍然是一个开放的挑战。这有多种原因,如推断答案的证据是分散在两个表和上下文,数量需要转换基于单位,计算内在复杂的财务报告,等等。

我们能做些什么来消除这种差距呢?这项工作的主要作者基于这一资源创建了一个排行榜,这样社区就可以共同努力推进这项研究(图2提供了排行榜的快照)。

TAT-QA排行榜快照
TAT-QA排行榜快照。

2021年8月6日,星期五

IWPT 2021:第17届国际解析技术会议
海报会(下午13:00-13:30协调世界时)
用于结构化预测的通用oracle
克里斯托夫·泰希曼(Bloomberg)和安托万·维南特(Université de Montréal)

点击此处阅读2021年8月6日在IWPT 2021上发表的“结构化预测通用oracle”

请总结一下你的研究。

克里斯托弗:对于机器翻译(MT)或将句子映射到其含义的任务,输出将按一系列步骤生成。在机器翻译中,我们逐字逐句进行翻译。要理解一个句子,我们要逐渐填入谁对谁做了什么。当我们训练模型完成这些任务时,模型必须能够根据自己的输出做出决定。例如,如果我们正在将“Mary sieht John”(“Mary sees John”)翻译成英语,而模型生成的第一个输出是“Mary”,那么一个好的延续就是“sees John”。如果模型生成的第一个单词是“约翰”,那么仍然有一种方法可以从这个次优选择中恢复过来,即在其余的翻译中使用“被玛丽看到”。

为了训练一个能够从自身错误中恢复的模型,我们需要两个要素:

  1. 模型出错的例子和它应该如何恢复的信息。通过运行一些输入的初步模型,并将结果与正确的解决方案进行比较,很容易得到错误。
  2. 动态oracle决定模型在运行的每个步骤中应该做什么。在上面的例子中,如果我们的模型犯了一个更糟糕的错误,并以“Sees”开始翻译,那么动态oracle将告诉我们下一步要做什么。“下一步该做什么”被定义为采取行动,与黄金解决方案相比,它能带来最好的结果。
主动模仿学习的结构化预测任务示例
主动模仿学习的结构化预测任务示例。

我们的论文展示了如何将动态预言者必须回答的问题转化为可以用有限状态自动机语言表达的优化问题。一旦转换完成,我们可以使用众所周知的技术,如动态规划,来有效地获得所需的答案。

为什么这些结果值得注意?它是如何推进自然语言处理/计算语言学领域的最先进的?

在NLP领域,人们会遇到各种各样的问题:机器翻译、命名实体识别和对话结构解析都有自己的评估指标和不同的动作集,模型必须在每个步骤中选择这些动作集。这种多样性意味着以前的动态oracle实现是特定任务的:它们可以告诉我们如何处理特定类型的语法或语义分析,但每一个新的问题陈述都要求研究人员提出一种新的方法来获得高效的oracle。

我们的研究将使这个过程简单得多。如果有可能用有限状态自动机来表示问题的损失函数和所有可能解的集合,那么我们的技术将直接导致一个有效的动态oracle。这意味着我们将能够将错误感知训练扩展到这个领域中更广泛的现有问题和新问题。

2021年8月6日,星期五

*SEM 2021:第十届词汇和计算语义联合会议
答问环节6:话语、对话、世代(UTC下午15:54-16:02)
海报第六场:话语、对话、世代(UTC下午16:10-17:00)
用dag结构的lstm进行在线聊天
Duccio Pappadopulo (Bloomberg), Lisa Bauer (UNC Chapel Hill), Marco Farina (Bloomberg), Ozan İrsoy (Bloomberg), Mohit Bansal (UNC)

点击这里阅读2021年8月6日发表于*SEM 2021年的《与DAG-structured LSTMs进行在线聊天》

请总结一下你的研究。

Duccio:在线聊天和短信系统是当今非常常见的交流工具。用户组之间的文本对话具有丰富而复杂的结构,这可能成为下游NLP任务(如问答、摘要或主题建模)的障碍。在完成其他任务之前,解开这些相互交织的对话线索是至关重要的一步。

为了简化这个具有挑战性的集群问题,我们可以直观地假设帖子之间存在二元关系,即帖子要么启动一个新线程(例如,通过问一个新问题),要么回复前一个线程。一旦确定了所有的回复对,线程就会立即跟进。

这样构建问题的好处是,识别回复对是一个简单得多的分类问题:给定一篇文章,我们旨在预测它在回复之前的哪篇文章。

我们的工作是受Kummerfeld等,其中包括用于训练会话解纠缠模型的带注释的回复对。

在我们的论文中,我们介绍了一个新的体系结构来执行线程解纠缠。基础上我们以前的工作”,DAG-LSTMs群聊中的对话行为分类发表期间2019年SIGIR首届对话交互系统研讨会,我们使用dag - lstm对文本特征进行编码,因为它们允许我们跟踪由用户转向和用户提及产生的对话的图状结构。

我们将基线模型引入的特性集合扩展为Kummerfeld等.以便捕捉用户使用其用户名的缩写或拼写错误版本提到另一个用户的实例。

节选自IRC数据集(左)和我们的回复分类器架构(右)
节选自IRC数据集(左)和我们的回复分类器架构(右)。蓝点表示一个单向DAG-LSTM单元,处理来自当前节点的子节点的状态。红点表示执行线程编码的GRU单元。此时,我们正在计算第五句话语回复第三句话语的得分(log-odds)。

为什么这些结果值得注意?它是如何推进自然语言处理/计算语言学领域的最先进的?
我们的工作在恢复回复关系的任务中取得了最先进的成果。

我们进行了彻底的功能去除实验,表明我们的模型和新的手工功能相对于现有的强大基线提供了显著的改进,这要归功于它们能够捕获对话数据的独特复杂结构,利用用户转向和提及的关系。

虽然我们引入的新特性是针对我们用于评估模型的数据集量身定制的,但DAG-LSTM体系结构足够灵活,可以应用于其他数据集,对于这些数据集,解绑定是下游任务的先决条件。特别是,虽然我们只使用用户turn和用户提到元数据来定义DAG-LSTM图中的父子链接,但还可以使用其他关系。例子包括时差,在两个话语中存在的常见词汇,或者,更普遍的,任何二进制关系,可以是特定的数据集。

此外,我们相信我们的模型足够简单,可以在考虑延迟的实际场景中进行部署。

Baidu