Conversational Machine Comprehension: a Literature Review(2020.11)

机器阅读理解(Machine Reading Comprehension (MRC))的大部分研究都是围绕单回合问答(QA)展开的,而多回合问答技术(Conversational Machine Comprehension(CMC))最近也得到了重视,这要归功于神经语言模型(如BERT)在自然语言理解方面的进步,以及大规模会话数据集(如CoQA和QuAC)的引入。本文综合了CMC模型的一般框架,并强调了近年来不同方法的差异,旨在为未来的研究人员提供CMC模型的概要。

1 Introduction

2 Related Work

3 What is Conversational Machine Comprehension?

问题定义: 给定段落 P、对话历史 、当前问题 Qi,对话历史形式为question answer pairs {Q1, A1, Q2, A2, ..., Qi−1, Ai−1}, 模型预测 answer Ai. The answer Ai可以是a text span (si, ei)或者是 a free-form text {ai,1, ai,2, ..., ai,j} with evidence Ri(Reddy et al., 2019).

4 Multi-Turn Conversational Datasets

CMC研究的激增归功于大规模多轮对话数据集的出现:CoQA (Reddy等,2019年)和QuAC (Choi等,2018年)。

        4.1 CoQA

        会话QA (CoQA)数据集由来自8k个对话的126k个问题组成

        Dataset preparation: 对话是在从7个不同领域收集的段落上准备的,在这7个领域中,两个用于域外评估(仅用于评估),而其他5个用于域内评估(训练和评估)。对话中的提问和回答,都涉及到整个上下文。
        • Questions: 问题是虚构的but require sufficient co-referencing and pragmatic reasoning。
        • Answers: 答案的形式自由,其相应的理由在文章中被强调出来。然而,Yatskar(2019)发现,答案是理由的轻微修改版本,因此优化 an extractive model 来预测与最佳答案有最大F1 overlap的 answer span,可以达到的最大 F1为97.8.
        • Dialog features: 大部分对话都涉及到细节(约占所有问题的60%),但缺乏其他对话功能,如转移话题、澄清或定义。
        • Evaluation: 用词重叠的宏观平均F1得分(Macro-average F1 score)作为评价指标,分别对域内和域外进行计算。

        4.2 QuAC

        上下文问答(QuAC)包含从14K个对话中获得的100K个问题。

        •Dataset preparation:对话来自维基百科不同类型的文章。数据集采用非对称设置,学生只能看到文章的标题和摘要,而老师能看到对话所基于的文章的整个部分。因此,学生试图寻找隐藏问题的信息,老师则提供简短摘录来回答(如果回答不了,则用“No Answer”)。

        • Questions:问题是描述性的,高度语境性的,开放式的,因为数据集的不对称的本质,阻止了解释。它们需要充分的共参照和实用推理。

        •Dialog features:除了深入挖掘(drilling down),对话框切换到新的主题比CoQA更频繁。但数据集缺乏定义或澄清对话框。

        •Answers:答案是extractive span,也可以是Yes/No or ‘No Answer’。除了answer,response还包括额外的对话行为比如 continuation (follow up, maybe follow up, or don’t follow up) and affirmation (yes, no, or neither),就像Qu等人(2019b)Ju等人(2019)所使用的那样,它为培训提供了额外的有用的对话流信息。此外,对表1中的answer token lengths的分析显示,QuAC的答案更长,这可以归因于其不对称的本质,从而激励探索者提出开放式问题(open-ended questions)来衡量隐藏的文本。

        •Evaluation:除了整个集合的宏观平均F1(macro-averaged F1)分数外,QuAC还评估Human Equivalence Score(HEQ),通过查找系统F1超过人类F1的实例百分比来判断相对于一个普通人的系统性能。HEQ-Q and HEQ-D are thus HEQ scores with the instances as questions and dialogs respectively.

附录A中提供了每个数据集的一般数据集特征和示例。

5 Generic Framework of a CMC Model

Gao等人(2018)将典型的neural MRC model定义为:(1)将问题和上下文编码embeddings;(2)通过推理来确定答案向量;(3)将答案向量decoding成自然语言输出。Huang et al. (2018a)通过添加会话历史建模,调整了CMC中的这些步骤。Qu等人(2019c)提出了一种具有独立模块的ConvQA模型。独立模块用于历史选择和建模。在这些工作的基础上,我们综合了一个CMC模型的通用框架。

一个典型的CMC模型提供了上下文C、当前问题Qi、会话历史,需要生成一个output set Oi。CMC框架如图1所示。

        该框架有四个主要组件:

        History Selection module:  动态或静态的选择历史对话回合的子集。如果历史选择模块基于动态学习策略(例如Qu等人(2019b) 论文须看),那么其他模块的反馈可以指导其更新。

        Encoder: The lexical tokens of the context passage C, selected conversational turns {_{Hi}}', and the current question {Q}' 需要被转化为 input embeddings 再输入推理模块.

高水平的encoding 涉及到与上下文无关的词嵌入的转换和组合,called lexical embeddings such as GloVE (Pennington et al., 2014);intra-sequence contextual embeddings e.g. ELMo (Peters et al., 2018), BERT (Devlin et al., 2019) or RNN, question-aware embeddings, and additional feature embeddings like POS tags (Zhu et al., 2018), history embedding(Qu et al., 2019c) or conversation count.  会话历史通过此模块被整合到contextual input embeddings中,这一过程称为History modeling,是CMC模型最重要的部分。

        Contextual Integration layer:在passage、query和history中积累的上下文信息必须被融合以生成query-aware 或者 history-aware contextualized output embeddings. 这个模块的输入通常包含两个(或更多)序列集,或聚集在所有回合,然后融合在每一层,经常交织(Huang et al., 2018b)。

        Output Predictor:

6 Common Trends across CMC models

        6.1 Trends in History Selection

        6.2 Trends in History Modeling

        6.3 Trends in Contextual Reasoning

        6.4 Trends in Training Methodology

7 Discussion

8 Conclusion

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战,可谓是杀敌无数,见怪不怪了!在某知识社交平台中,一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读,可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表:零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时,为空表。 在比较复杂的线性表中,一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言,按照其应用领域,可以粗略地分成三类。 有的语言是多面手,在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类,比如说 C,Java, Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后,该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情,很多情况下,他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言,首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图: 上码: 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况,重点关注在中国市场扮演重要角色的全球及本土铪生产商,呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外,针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…