CASIA OpenIR  > 毕业生  > 博士学位论文
特征降维方法研究及其在手写汉字识别中的应用
其他题名A study on dimensionality reduction methods with application to handwritten Chinese character recognition
徐博
学位类型工学博士
导师刘成林
2011-06-01
学位授予单位中国科学院研究生院
学位授予地点中国科学院自动化研究所
学位专业模式识别与智能系统
关键词汉字识别 特征提取 特征选择 关键区域选择 Handwritten Chinses Character Recognition Feature Extraction Feature Selection Critical Region Selection
摘要手写汉字识别是一个典型的模式分类问题,它具有类别多、维数高的特点。目前常用线性判别分析(LDA)方法降维到低维子空间来解决。然而由于汉字识别的类别数(几千类)远大于特征维数(几百维),并且存在着大量的相似类别,使得LDA无法得到一个低维子空间将所有类别完全分开,部分相似字甚至会因为降维产生严重的混叠现象。本文从LDA在汉字识别应用中的局限性出发,面向多类模式分类问题,提出了三种LDA的改进方法。同时,对于全局降维方法无法完全解决的相似字识别问题,提出关键区域特征选择算法来实现高精度的识别效果。主要工作和贡献如下: 1. 针对传统LDA算法在多类别情况下造成混叠现象的问题,提出了一种改进的线性判别分析准则(MLDA)。在两步LDA的基础上,嵌入局部特性保持约束,使得在高维空间中离得很近的类别在降维后仍能保持类别间的局部分离性,避免混叠现象的发生。在两个手写汉字数据库上的实验结果表明,我们提出的MLDA算法分类性能优于传统的LDA算法。 2. 提出了最差情况下的优化准则最小最大判别分析(MMDA)以降低传统LDA在多类问题降维时产生的混叠问题。MMDA改进了LDA因只考虑全局最优而造成的局部混叠现象,用最小最大准则代替平均最大准则,从而提高了降维后类别间的可分性。对该准则进行合理的松弛后,转化为标准的半正定规划求解问题,同时证明了该松弛后的问题同原问题在一定条件下等价。在UCI、Yale和ORL人脸数据库上的实验结果表明,MMDA在性能上要优于LDA、aPAC、LFDA、LPP等降维方法。 3. 针对MMDA算法因复杂度过高无法直接应用于大类别集汉字识别的问题,提出了MMDAOnline快速算法。MMDAOnline算法是在MMDA中加入松弛变量,用基于随机梯度的Online算法代替MMDA中半正定规划求解,即每一次只使用一组类中心对更新投影矩阵。同时通过限制更新类中心对的候选个数以减少不必要的更新过程,从而进一步减少训练时间。从UCI、USPS到手写汉字识别和相似字识别等大量实验结果表明,MMDAOnline算法及其加速算法在性能和速度上具有优越性。 4. 区别于以前的关键区域选择方法,我们从特征选择角度出发,提出了基于关键区域特征选择的相似字判别算法。该算法利用互信息来自动寻找相似字间的不相似区域,然后利用这些不同区域的特征来学习两类分类器。这样做的好处是一方面减少了分类器在高维空间学习的参数开支,另一方面因为去除了那些可能带来噪声的区域特征,从而得到更高的分类精度。同时,我们根据大类别集分类器在训练样本上的输出从统计意义上找相似字对,从而尽可能多地找到那些真正可以提高精度的相似字。实验结果表明,我们的算法从精度和计算速度上都得到了提高。
其他摘要Handwritten Chinese character recognition (HCCR) is a typical pattern recognition problem with large category set and high dimensionality. A common and effective solution to overcome the high dimensionality is projecting the samples into a lower-dimensional subspace by linear discriminant analysis (LDA). However, LDA cannot always achieve a better subspace to separate all the classes because in HCCR, the categories are much larger than the number of dimensionality. Moreover, the large number of similar characters would cause serious overlap in the lower-dimensional subspace. In this thesis, we propose three improved algorithms to alleviate the limitation of LDA in multi-class classification and apply to the challenging problem of HCCR. For similar character recognition, we also present a critical region feature selection algorithm for improving the similar character discrimination capability. The main work and contributions are as follows: 1. We propose a Modified Linear Discriminant Analysis (MLDA) algorithm to alleviate the overlapping problem of traditional LDA. Based on the two-step view of LDA, we embedded the constraint of locality preservation, which avoid the overlap of the similar classes in the lower subspace. Experimental results on two handwritten Chinese Character recognition datasets demonstrated that our algorithm is superior to the traditional LDA algorithm. 2. We propose a worst case optimization algorithm called Maxi-min Discriminant Analysis (MMDA) to reduce the aliasing problem of traditional LDA in the lower-dimensional subspace for multi-class classification. In contrast to LDA that maximizes the separability in average sense, MMDA maximizes the divergence of nearest classes in the subspace so as to guarantee the worse-case seperability. We convert the new optimization criterion into a standard Semi-Definite Programming (SDP) problem based a reasonable relaxation, and proved that the relaxed formulation is equivalent to the primal problem under certain conditions. The experimental results on UCI datasets, Yale and ORL face datasets show that the proposed MMDA outperforms previous algorithms including LDA, aPAC, LFDA and LPP. 3. To overcome the complicated computation of the MMDA algorithm and make it applicable to problems of large-category set, we propose an online algorithm MMDAOnline algorithm. The MMDAOnline algorithm applies slack variables to MMDA criterion and replaces the SDP solution by online solution based on ...
馆藏号XWLW1658
其他标识符200718014628069
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/6385
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
徐博. 特征降维方法研究及其在手写汉字识别中的应用[D]. 中国科学院自动化研究所. 中国科学院研究生院,2011.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20071801462806(2698KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[徐博]的文章
百度学术
百度学术中相似的文章
[徐博]的文章
必应学术
必应学术中相似的文章
[徐博]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。