CASIA OpenIR  > 毕业生  > 博士学位论文
基于彩色和深度信息的头部姿势估计研究与应用
其他题名Head Pose Estimation Based on Color and Depth Images
唐云祁
2013-06-01
学位类型工学博士
中文摘要头部姿势估计是一个典型而复杂的计算机视觉问题,在人脸识别、虹膜识别、视线估计等研究领域有着广泛的应用前景,具有重要的学术研究价值。本文以Kinect传感器获取的RGB-D图像为头部姿态估计的数据基础,以实时应用系统为目标,对头部姿势估计的各个模块(如图像预处理、特征提取等)展开研究,试图构建一个统一的深度图像姿态感知模型,来指导头部姿势估计特征设计,并寻找区分性好、鲁棒性强的特征以描述头部姿势的变化规律。具体来说,本文的主要工作和贡献如下: ①针对Kinect传感器采集的RGB-D图像,融合深度图像和彩色图像的物理特性,设计了一种新颖的脸部定位分割算法。与传统多姿态人脸检测算法相比,该算法能精确、快速定位大姿态变化下人脸位置。 ②以人类视觉系统的深度信息处理能力为引导,提出了一个新颖的深度切片姿态感知模型。该模型采用“化整为零”的思想,将整幅深度图像分解成一系列切片,来描述目标的姿态变化规律,比较接近人类视觉系统对深度信息的处理过程,具有实现方式灵活多变、扩展性好和抗噪声能力强的特点。深度切片姿态感知模型为深度图像的表达提供了一个统一框架,为深度图像特征表达的设计提供了理论指导。 ③基于深度切片姿态感知模型,提出了三种新颖的头部姿势估计特征,它们是切片几何中心描述子、切片局部深度描述子和切片局部方向描述子。其中,切片几何中心描述子采用切片几何中心的归一化坐标来描述切片随头部姿态的变化规律,具有抗噪声能力强的特点;而切片局部深度描述子则不仅使用切片的方式沿像素值增长方向提取局部特征,而且还借鉴LBP的思想在切片图像上提取局部特征,把“局部”的思想运用到了极致;最后,切片局部方向描述子综合切片几何中心描述子和切片局部深度描述子的优点,既借鉴了切片局部深度描述子“多重局部”的思想,又吸纳了几何中心描述子高鲁棒性的特点,具有精度高和鲁棒性好的特点。 ④在借鉴积分图思想的基础上,着力设计了切片坐标积分数组、切片深度积分图和切片坐标积分图,将切片几何中心描述子特征、切片深度描述子特征和切片方向描述子特征的抽取工作简化为简单的减法和除法,分别实现了三种描述子特征的快速提取算法,从而保证了头部姿势估计方法的实时性。并且,以当前流行回归方法为工具,实现了三种实时头部姿势估计方法。 ⑤融合切片局部深度描述子和切片局部方向描述子的特点,设计并实现了一种由粗到精的头部姿势估计系统;同时,基于微软Face Tracking SDK 提供的鼻尖位置,实现了一个基于切片方向描述子的实时头部姿势估计系统,并将其应用于人脸识别,提高了人脸识别的易用性。%首先,使用切片局部深度描述子初步估计出头部姿态值;然后,以姿态信息作为先验检测鼻尖位置;最后,使用切片局部方向描述子精确估计头部姿势。 本文的工作为进一步开展人脸识别、视线估计等相关研究打下了坚实的基础。
英文摘要Visual estimation of head pose is essential for many applications such as face recognition and human-computer interaction. Driven by its wide applications, head pose estimation has drawn great attention from academia, and a variety of techniques have been reported in the literature. However, accurate and efficient estimation of head pose is still a grand challenge in computer vision. And it is difficult to establish a stable relationship between the complex and variable face patterns and head poses because of both internal factors such as expression variations and external factors such as illumination changes. In this thesis, we take Kinect, which can simultaneously capture a pair of depth image and RGB image, as image sensor to research on a real-time head pose estimation system. The key problems of head pose estimation covered by this thesis include image preprocessing and feature extraction. In order to deliver robust and distinctive features for head pose estimation, we try to design a general feature design framework for depth image representation. In particular, the main contributions of this thesis are summarized as follows: ① This thesis designs a novel face detection and segmentation method by fusing the characters of both depth images and RGB images captured by a Kinect sensor. Comparing to the traditional methods, this method can fast and accurately detect the faces with large pose variations. ② This thesis proposes a novel and general model (Depth Slice Pose Perception Model, DSPP), which is instructed by the powerful ability of human on processing depth information, for depth images representation. DSPP divides an entire depth image into a series of slices to describe the poses of an object. In this model, the mechanic of processing depth information is closed to human's visual system, which makes this model robust against noises. Furthermore, this model is flexible for designing new features. If you can find a new feature to describe a slice of depth image, then the new feature can be extended to describe the entire depth image. Finally, this model provides a general framework for the representation of depth images, and provides a theoretical method for designing new features for estimating the poses of an object. ③ This thesis proposes three sets of novel features, which are integral slice center (ISC) descriptor, local slice depth (LSD) descriptor and local slice orientation (LSO) descriptor, based on depth slice pose perce...
关键词头部姿势估计 Kinect传感器 Rgb-d图像 切片表达 姿态感知模型 Head Pose Estimation Kinect Sensor Rgb-d Images Slice Representation Pose Perception Model
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/6551
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
唐云祁. 基于彩色和深度信息的头部姿势估计研究与应用[D]. 中国科学院自动化研究所. 中国科学院大学,2013.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20101800902900(6350KB) 暂不开放CC BY-NC-SA
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[唐云祁]的文章
百度学术
百度学术中相似的文章
[唐云祁]的文章
必应学术
必应学术中相似的文章
[唐云祁]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。