CASIA OpenIR  > 毕业生  > 博士学位论文
基于神经生理机制的立体匹配算法研究
其他题名Stereo Matching Inspired by Neurophysiological Mechanisms
孔庆群
学位类型工学博士
导师胡占义
2013-05-28
学位授予单位中国科学院大学
学位授予地点中国科学院自动化研究所
学位专业模式识别与智能系统
关键词立体匹配 视皮层 视差能量模型 层级模型 深度神经网络 Stereo Matching Visual Cortex Disparity Energy Model Hierarchical Model Deep Neural Network
摘要人左右眼间距的存在,使得同一空间物体在左右眼视网膜上的投影存在位置差异,称之为视差。立体匹配旨在研究如何准确鲁棒地计算左右图像的视差,是计算机视觉研究的核心问题之一,具有重要的理论意义和广泛的应用背景。随着新的数学工具的引入,目前基于数学和工程的立体匹配算法取得了比较好的计算结果,然而还无法与人类快速、精确、鲁棒的立体感知相媲美。因此,探索人类的立体匹配机理,建立基于神经生理机制的立体匹配算法具有重要的意义,有望从根本上解决视差计算的问题。 本文从视皮层神经元的视差检测机制出发,对立体匹配问题进行了深入探索,主要工作如下: 1.为了建立基于神经生理机制的立体匹配算法,本文对近年来神经生理学在生物立体匹配方面的主要进展和研究成果进行了较为全面的总结,涉及的视皮层区域包括初级区域中的V1、V2、V3区,以及背部通道的MT、MST、IPS和腹部通道的V4、IT区。此外,还简单介绍了著名的视差能量模型以及它的一些推广型模型。 2.视差能量模型是目前比较公认的描述V1区神经元视差选择特性的模型。虽然它可以解释很多V1区神经元的神经生理特性,但还有一些神经生理学的发现是它无法解释,例如,V1区神经元对反相关随机点立体图的响应要比对随机点立体图响应弱的现象。为此,本文提出了一种加权视差能量模型:首先,利用左右眼感受野内的信号差异对神经元的响应进行调制,然后再结合神经元之间的相互作用来计算细胞群响应,从而得到刺激物的视差。加权视差能量模型一方面很好地解释了V1区神经元对反随机点立体图的响应比随机点立体图响应弱的生理特性;另一方面,基于加权视差能量模型的视差计算精度比现有的基于神经生理学的其它方法高,甚至高于一些传统的计算机视觉方法。 3.从生物的立体匹配过程出发,本文提出了一种图像视差计算的层级模型,具体包括:(1)提出了一种符合心理学实验结果的归一化视差能量模型,减弱了刺激物对比度变化和在感受野中的位置变化对神经元视差响应的影响;(2)利用视皮层视差功能柱的性质,提出了一种不同倾向视差神经元的汇聚方法;(3)根据不同脑皮层之间的连接关系,提出了一种两层网络模型来解决V1区神经元编码视差的歧义问题。实验表明,视差计算的层级模型能够有效地提高纹理重复和纹理不丰富区域的视差计算精度。 4.神经生理学的研究结果表明,从双眼信息融合到匹配完成的过程经历了多个视皮层区域。基于此,本文提出了一种基于深度神经网络的视差计算模型。该模型由4个卷积层组成,逐层利用待匹配点周围神经元的视差调谐响应来纠正该点处神经元的视差调谐响应,使得模型从低层到高层的输出结果精度越来越高,具体表现为:正确视差处神经元的响应逐步增大,同时错误视差处神经元的响应逐步被抑制。实验结果表明,基于深度神经网络的视差计算模型可以较好地模拟从双眼信息融合到匹配完成的过程,高层神经元能够对低层神经元输出结果中产生的错误进行一定的纠正。
其他摘要Due to the position differences of two eyes, there exists a difference between the projections of an object on the two retinas, which is called disparity. Stereo matching aims to obtain the disparity accurately and robustly, which is an important research topics in computer vision. Although some remarkable results have been achieved by those algorithms which are based largely on pure mathematics or computational practicality, they are unable to perform as good as human stereopsis in terms of speed, accuracy and robustness. Therefore, a neurophysiology inspired computational model is solicited. This thesis is to explore newly developed theories about the cortical disparity detection and propose neurophysiologically sound methods for stereo matching. The main contributions and novelties are as follows: 1. We studied and reviewed related neurophysiological progresses about stereo perception, including the low level areas (V1, V2, V3), dorsal areas (MT, MST, IPS) and ventral areas (V4, IT). In addition to these physiological studies, the disparity energy model and its extensions are also reviewed. 2. The disparity tuning responses of V1 neurons have been well described by the disparity energy model. However, this model fails to explain a physiological finding that these neurons should have weaker responses to binocularly anti-correlated random dot stereograms than to random dot stereograms. A weighted disparity energy model is proposed to tackle this problem. Under this model, the responses of the neurons are modulated by making use of the signal differences within the left and right receptive fields. Then, the population responses are computed based on the responses of individual neurons and interaction among them for disparity computation. The main contributions are two-fold: (1) it can adequately describe the weaker responses of the neurons in V1 to anti-correlated random dot stereograms than to random dot stereograms; (2) the obtained disparities are more accurate than existing neurophysiological methods, and even better than some classical computer vision methods. 3. Inspired by the disparity computation in the visual cortex, a hierarchical model is proposed. The merit of the proposed model lies in three aspects: (1) A normalized disparity energy model being consistent with psychological data is proposed to weaken the influence of stereograms contrast and position on the retinas on disparity energy of neurons; (2) Based on properties o...
馆藏号XWLW1866
其他标识符201018014628039
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/6529
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
孔庆群. 基于神经生理机制的立体匹配算法研究[D]. 中国科学院自动化研究所. 中国科学院大学,2013.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20101801462803(12949KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[孔庆群]的文章
百度学术
百度学术中相似的文章
[孔庆群]的文章
必应学术
必应学术中相似的文章
[孔庆群]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。