CASIA OpenIR  > 毕业生  > 博士学位论文
表情互动中的若干关键问题研究
其他题名Study On Some Key Issues in Expression Interaction
周明才
学位类型工学博士
导师王阳生
2010-05-31
学位授予单位中国科学院研究生院
学位授予地点中国科学院自动化研究所
学位专业计算机应用技术
关键词人脸对齐 人脸跟踪 表情细节识别 表情克隆 Face Alignment Face Tracking Expression Details Recognition Expression Cloning
摘要表情是人与人之间非语言类交流中最为自然和直观的方式。基于表情互动技术的自然人机交互方式将是未来人机交互的重要发展方向之一。本文针对表情互动中的一些关键问题进行了研究,重点探讨了其中的人脸对齐、人脸跟踪和表情细节识别问题,并以表情克隆为例实现了一个表情互动原型系统。论文的主要内容和贡献如下: 1. 研究了基于AAM的人脸对齐问题,对AAM的纹理表达和拟合算法进行了改进。基于反转合成图像对齐算法的AAM具有很高的拟合效率,但存在对初值敏感、泛化性能不好、嘴部形状会反折等问题。为此本文提出三点改进:1)提出两阶段拟合算法,在第一阶段只拟合全局仿射变换参数,以获取一个相对较好的整体形状初值,然后在第二阶段同时拟合全局仿射变换参数和形状参数得到最终的结果;2)提出融合灰度和边缘信息的多波段纹理表达,使得纹理特征一方面具有较好的互补性,同时又比较稳定鲁棒,有效提高了AAM算法对光照变化的鲁棒性和对未见过人脸的泛化性能;3)提出基于罚函数的局部形状约束方法对嘴部形状进行约束,有效避免了表情互动应用中经常出现的嘴部形状反折现象。 2. 研究了三维人脸姿态和面部动作跟踪问题,针对跟踪应用对2D+3D AAM算法做了几点改进。首先将本文改进后的AAM算法扩展到2D+3D AAM,并采用Candide-3三维可变形人脸网格模型提取人脸姿态和面部动作信息。同时,针对视频跟踪应用,提出了几点改进:1)利用两帧之间的匹配特征点计算当前帧的形状初值,提高了对快速运动的跟踪能力;2)将多波段AAM算法扩展到多视角情形,提高了算法对大姿态的跟踪性能;3)使用在线外观约束提高了跟踪算法的稳定性和精度。 3. 研究了人脸跟踪过程中帧间信息利用和抵抗杂乱背景干扰问题,提出基于局部时域匹配和人脸分割约束的AAM算法并用于人脸跟踪。通过在AAM中引入局部时域匹配约束,使得AAM优化时不仅考虑AAM模型自身的拟合误差,同时还将考虑帧间局部纹理匹配误差,从而提高了AAM的泛化性能。此外,为降低背景强边缘对AAM外轮廓的干扰,算法首先使用一个自适应颜色模型分割出人脸区域,据此生成一个代价图用于约束AAM外轮廓上的关键点使其尽量落在人脸区域内,从而提高了AAM算法对杂乱背景的抗干扰能力。 4. 研究了表情互动中表情细节识别问题,提出使用局部AAM进行人眼精定位,然后使用LBP直方图特征和线性SVM方法进行眼睛状态识别。在全局AAM人脸跟踪的基础上,再用包含眼睛和眉毛区域的局部AAM对眼睛进行精定位。根据眼睛精定位结果,抽取眼睛区域的纹理并缩放至预定大小得到归一化的眼睛图像。在归一化眼睛图像上提取各子窗口的LBP直方图并连接成特征向量,然后用线性SVM分类器进行眼睛状态的分类。实验表明,该算法在表情互动应用中取得了较高的精度和速度。 5. 实现了一个基于视频的实时表情互动原型系统,即在线表情克隆系统。首先创建一个具有中性表情的原始虚拟人物和带有基本表情的相应关键帧,对于新加入的具有中性表情的虚拟人物,采用表情重映射的方法生成与原始虚拟人物基本表情对应的关键帧。在线交互时,先根据跟踪算法得到的面部动作参数和离线生成的虚拟...
其他摘要Facial expression is the most natural and intuitive way between peoples’s non-verbal communication. Expression based nutural human-computer interaction will be one of the important development directions. This thesis focuses on the problems of face alignment and face tracking, and implements an expression cloning system. The main contributions of this thesis are as follows: 1. Studied the AAM-based face alignment problem and improved the texture representation and fitting algorithm. The AAM based on inverse compositional image alignment algorithm is very fast. However, it is sentitive to initial shape and has poor generalization performance. Moreover, it may generate an unallowable shape for the mouth. To address these problems, some improvements are proposed: (1) Proposed a two-stage fitting algorithm. At the first stage, the global affine transform parameters are updated to achieve a better overall initial shape. Then, at the second stage, all shape parameters are updated to obtain the final shape; (2) Proposed a multi-band texture representations: the intensity, x-direction gradient strength and y-direction strength, which are complementary and stable. The improved appearance model is more robust to illumination variations and has better generalization performance to unseen images. (3) Proposed a local shape constraint based on a penalty function to prevent the unlikely mouth shape which happens frequently in expression interactoin applications. 2. Studied the problem of 3D head pose and facial actions tracking and proposed several improvements for 2D+3D AAM according to face tracking applications. Firstly, the improved 2D AAM is extended to the 2D+3D AAM case and a deformable 3D face model-Candide-3 is adopted to extract head pose and facial action parameters. Secondly, several improvements are proposed in tracking environments: (1) Local matched feature points between successive frames are used to estimate the initial shape, and the resulting shape is closer to the ground-truth shape hence improves the stability in tracking fast face motions; (2) View-based AAM is adopted to handle large angles of head rotation; (3) A person-specific appearance model is incorporated into AAM fitting and improves the stability and accuracy. 3. Studied the problems of inter-frame information utlization and background interference and proposed AAM based face tracking with temporal matching and face segmentation constraints. By incorporating a temporal matching const...
馆藏号XWLW1521
其他标识符200718014629099
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/6278
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
周明才. 表情互动中的若干关键问题研究[D]. 中国科学院自动化研究所. 中国科学院研究生院,2010.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20071801462909(2655KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[周明才]的文章
百度学术
百度学术中相似的文章
[周明才]的文章
必应学术
必应学术中相似的文章
[周明才]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。