CASIA OpenIR  > 模式识别国家重点实验室  > 自然语言处理
一种神经范畴标注模型
吴惠甲; 张家俊; 宗成庆
2016
发表期刊软件学报
期号27页码:2691-2700
摘要范畴标注是组合范畴语法解析中的子任务之一,可用于提高解析器的效率和性能.传统的最大熵模型需 要手工定义特征模板,神经网络则通过隐含层学习到离散特征的分布式表示,从而自动提取分类需要的特征.引入该 模型来解决该问题,在原有神经语言模型的基础上加入了向量化的词性表示层和范畴表示层,并通过反向传播自动 更新词向量、词性向量和范畴向量,学习到它们的分布式表示.此外,在预测时采用束搜索的序列解码方式来引入标 签之间的依赖信息.实验结果表明,这两种改进都能提升模型的性能,使其在范畴标注任务上比传统的最大熵模型效 果要好(提升1%).
其他摘要
As a sub-task for combinatory categorical grammar (CCG) based parsing, categorical tagging can improve parsing efficiency and accuracy. While traditional maximum entropy model solves this problem by designing meaningful feature templates, neural network can extract features automatically based on distributed representations. This paper proposes a neural categorical tagging model with two improvements. First, word embedding layer is extended with a part-of-speech embedding layer and a category embedding layer, which facilitates learning their distributed representations jointly by the back-propagation algorithm. Secondly, a beam search is used in the decoding to capture the dependencies among tags. These two improvements make the proposed model more accurate than the state-of-art maximum entropy based tagger (up to 1%).
关键词范畴标注 分布式表示 神经语言模型
文献类型期刊论文
条目标识符http://ir.ia.ac.cn/handle/173211/14512
专题模式识别国家重点实验室_自然语言处理
作者单位中国科学院自动化研究所
推荐引用方式
GB/T 7714
吴惠甲,张家俊,宗成庆. 一种神经范畴标注模型[J]. 软件学报,2016(27):2691-2700.
APA 吴惠甲,张家俊,&宗成庆.(2016).一种神经范畴标注模型.软件学报(27),2691-2700.
MLA 吴惠甲,et al."一种神经范畴标注模型".软件学报 .27(2016):2691-2700.
条目包含的文件 下载所有文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
一种神经范畴标注模型.pdf(446KB)期刊论文作者接受稿开放获取CC BY-NC-SA浏览 下载
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[吴惠甲]的文章
[张家俊]的文章
[宗成庆]的文章
百度学术
百度学术中相似的文章
[吴惠甲]的文章
[张家俊]的文章
[宗成庆]的文章
必应学术
必应学术中相似的文章
[吴惠甲]的文章
[张家俊]的文章
[宗成庆]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 一种神经范畴标注模型.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。