基于MHSA和句法关系增强的机器阅读理解方法研究

doi:10.16383/j.aas.c200951

CASIA OpenIR > 学术期刊 > 自动化学报

	基于MHSA和句法关系增强的机器阅读理解方法研究
	张虎; 王宇杰; 谭红叶; 李茹
发表期刊	自动化学报
ISSN	0254-4156
	2022
卷号	48 期号:11 页码:2718-2728
摘要	机器阅读理解(Machine reading comprehension, MRC)是自然语言处理领域中一项重要研究任务,其目标是通过机器理解给定的阅读材料和问题,最终实现自动答题.目前联合观点类问题解答和答案依据挖掘的多任务联合学习研究在机器阅读理解应用中受到广泛关注,它可以同时给出问题答案和支撑答案的相关证据,然而现有观点类问题的答题方法在答案线索识别上表现还不是太好,已有答案依据挖掘方法仍不能较好捕获段落中词语之间的依存关系.基于此,引入多头自注意力(Multi-head self-attention, MHSA)进一步挖掘阅读材料中观点类问题的文字线索,改进了观点类问题的自动解答方法;将句法关系融入到图构建过程中,提出了基于关联要素关系图的多跳推理方法,实现了答案支撑句挖掘;通过联合优化两个子任务,构建了基于多任务联合学习的阅读理解模型.在2020中国“法研杯”司法人工智能挑战赛(China AI Law Challenge 2020, CAIL2020)和HotpotQA数据集上的实验结果表明,本文提出的方法比已有基线模型的效果更好.
关键词	机器阅读理解多头自注意力句法关系多跳推理
WOS标题词	机器阅读理解(Machine reading comprehension, MRC)是自然语言处理领域中一项重要研究任务,其目标是通过机器理解给定的阅读材料和问题,最终实现自动答题.目前联合观点类问题解答和答案依据挖掘的多任务联合学习研究在机器阅读理解应用中受到广泛关注,它可以同时给出问题答案和支撑答案的相关证据,然而现有观点类问题的答题方法在答案线索识别上表现还不是太好,已有答案依据挖掘方法仍不能较好捕获段落中词语之间的依存关系.基于此,引入多头自注意力(Multi-head self-attention, MHSA)进一步挖掘阅读材料中观点类问题的文字线索,改进了观点类问题的自动解答方法 ; 将句法关系融入到图构建过程中,提出了基于关联要素关系图的多跳推理方法,实现了答案支撑句挖掘 ; 通过联合优化两个子任务,构建了基于多任务联合学习的阅读理解模型.在2020中国“法研杯”司法人工智能挑战赛(China AI Law Challenge 2020, CAIL2020)和HotpotQA数据集上的实验结果表明,本文提出的方法比已有基线模型的效果更好.
DOI	10.16383/j.aas.c200951
引用统计
文献类型	期刊论文
条目标识符	http://ir.ia.ac.cn/handle/173211/56247
专题	学术期刊_自动化学报
推荐引用方式 GB/T 7714	张虎,王宇杰,谭红叶,等. 基于MHSA和句法关系增强的机器阅读理解方法研究[J]. 自动化学报,2022,48(11):2718-2728.
APA	张虎,王宇杰,谭红叶,&李茹.(2022).基于MHSA和句法关系增强的机器阅读理解方法研究.自动化学报,48(11),2718-2728.
MLA	张虎,et al."基于MHSA和句法关系增强的机器阅读理解方法研究".自动化学报 48.11(2022):2718-2728.

条目包含的文件		下载所有文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
AAS-CN-2020-0951.pdf（4842KB）	期刊论文	出版稿	开放获取	CC BY-NC-SA	浏览下载