CASIA OpenIR  > 毕业生  > 博士学位论文
表情互动中的人脸定位与跟踪
其他题名Face Localization and Tracking in Expression Interaction
冯雪涛
学位类型工学博士
导师王阳生
2009-06-02
学位授予单位中国科学院研究生院
学位授予地点中国科学院自动化研究所
学位专业计算机应用技术
关键词人脸定位 人脸跟踪 运动历史图 粒子滤波 图像对齐 Face Localization Face Tracking Motion History Image Particle Filter Image Alignment
摘要对视频中的人脸进行实时定位和跟踪具有重要的研究意义和应用价值。本文以表情互动应用为背景,针对人脸定位和动作跟踪问题开展研究。在研究工程中,充分考虑到实际应用的需求和现有算法中存在的不足,提出了新的算法或对相关算法进行改进,获得了具有一定价值的研究结果。论文的主要内容和贡献如下: (1)提出了一种适合于实时视频应用的基于眼睛检测的人脸定位算法,以及一种快速眨眼检测算法。在基于AdaBoost的分类器进行眼睛检测结果基础上,提出了一种基于检测结果之间距离量度的聚类算法去除误检。然后进一步精确搜索眼球中心位置,提取多种图像特征,建立动态更新的统计模型,使用Dempster-Shafer证据理论对每种特征对应的似然度进行合成,得到眨眼检测结果。实验结果显示,基于聚类的双眼定位算法在具有较高精度的同时,显著提高了定位速度;基于融合的眨眼检测算法也达到了较高的准确率。 (2)提出了一种使用运动历史图进行运动预测,改善对剧烈运动的人脸进行跟踪的稳定性的方法。通过对运动历史图进行分析,提出了一种基于黄金分割优化方法的运动方向和速度估计算法,相对已有的算法,能更好地克服物体边缘方向对运动估计的影响,得到更好的运动估计结果。对运动估计结果进行修正后,提出了两种不同的方式,将其与基于主动表观模型的人脸跟踪算法结合。结合之后的算法可以显著减少跟踪过程中失败的次数,提高头部剧烈运动时的跟踪稳定性,同时,运动预测也能减少跟踪算法迭代次数,提高了速度。 (3)提出了一种基于粒子滤波和特征匹配的三维头部跟踪算法。使用基于主成份分析的可变形三维网格模型,通过最小化网格模型上的关键点与输入图像上的对应关键点的距离,使模型拟合使用者的头部形状。利用三维模型以及初始化阶段获得的人脸纹理,可以渲染出不同姿态下的人脸图像。在渲染出的图像中选择特征点,并在输入图像上搜索对应位置,使用RANSAC方式去除特征匹配错误,然后根据特征点之间的对应关系估计模型姿态变化参数,实现粒子状态更新。使用平均归一化互相关计算渲染图像与实际图像的距离,实现粒子权重的计算,获得跟踪结果。实验表明,这种跟踪方法可以有效地对视频中的三维头部姿态进行跟踪。 (4)提出了一种改进的基于图像对齐的三维头部姿态和面部动作跟踪算法。算法使用三维人脸模型获得形状无关纹理,与初始化阶段建立的在线纹理模型进行对比,通过最小化两者的差距求出姿态和动作参数,并使用离线学习得到模型对跟踪结果进行评估。为了提高姿态跟踪的精度和稳定性,算法对Candide-3人脸模型进行了扩大,提出了使用了形状无关纹理的可信度指标及在线纹理模型的初始化完成度指标的方法,对人脸模型跟深度相关的形状系数进行估计的方法,以及对表情变化引起的人脸纹理改变进行处理的方法。为了克服非均匀光照和光照强度变化对图像对齐造成的干扰,提出了分片Gamma变换图像处理算法。为了提高跟踪速度和精度,提出了简化计算梯度矩阵的方法。实验表明,通过应用上述各种改进,跟踪算法在速度、精度、稳定性方面都获得了提高。
其他摘要The research on real time face localization and tracking in the video has both significant academic importance and wide applications. Based on the background of expression interaction, this thesis focuses on the problems of face localization and tracking. The requirements of the application and the shortages of the existing algorithms are fully considered. Novel algorithms and improvements are proposed. Research results that have application value are obtained. The main contributions of this thesis are as follows: 1. A face localization algorithm based on eye detection and a fast blinking detection algorithm are proposed. A novel clustering algorithm based on distance measures is used to remove the false positive results obtained form an AdaBoost eye detector. A further search for the precise location of the eye center is conducted, then multiple features are extracted to build statistical models. The likelihoods of different features are combined by Dempster-Shafer theory. Experimental results demonstrate that the localization speed is significantly increased, and the blinking detection is precise. 2. A motion estimation algorithm based on Motion History Image is proposed to improve the stability of the face tracker. A golden section optimization method is used to find the motion direction and speed. Comparing with the existing motion estimation method based on Motion History Image, the proposed one is more robust to the variation of the edge orientation. After further corrected, the estimation is combined with a face tracker based on Active Appearance Model according to two methods. The combined methods reduce the probability of tracking failure, and improve the tracking speed. 3. A 3D head tracking algorithm based on particle filter and feature matching is proposed. A 3D morphable head model is used to fit the shape of the target by minimize the distances between the points on the model and the ones in the input image. Face images with different pose can be rendered based on the head model and face texture obtained at the beginning of the tracking. Feature selection and matching are taken based on the rendered image and input image, then the pose variation can be estimated. RANSAC is used to remove the wrong matching. Average normalized cross correlation is used to evaluate the particles. Then MAP is used to get the tracking result. Experimental results show the algorithm is effective to track the head with large pose variation. 4. A 3D head pose an...
馆藏号XWLW1388
其他标识符200618014629096
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/6212
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
冯雪涛. 表情互动中的人脸定位与跟踪[D]. 中国科学院自动化研究所. 中国科学院研究生院,2009.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20061801462909(2715KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[冯雪涛]的文章
百度学术
百度学术中相似的文章
[冯雪涛]的文章
必应学术
必应学术中相似的文章
[冯雪涛]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。