CASIA OpenIR  > 毕业生  > 硕士学位论文
基于主题匹配与信息融合的交互式视频检索框架
其他题名An Interactive Video Retrieval Framework Using Semantic Matching and Information Fusion
李华北
学位类型工学硕士
导师胡卫明
2008-05-28
学位授予单位中国科学院研究生院
学位授予地点中国科学院自动化研究所
学位专业计算机应用技术
关键词视频特征 检索机制 相关反馈 信息融合 Feature Extraction Retrieval Mechanism Relevance Feedback Information Fusion
摘要随着多媒体技术和互联网技术的飞速发展,以视频为代表的多媒体数据正在以惊人的速度增长。面对如此丰富、无序、海量的多媒体数据,如何实现所需资源的有效组织、高效检索和快速获取已成为人类社会面临的巨大挑战,同时也使多媒体检索技术迅速成为当今最热门的研究领域之一。 基于内容的视频检索(CBVR)是多媒体检索领域的重要分支,它摆脱了人工文本标注的传统方式,直接对视频所蕴涵的物理和语义内容进行分析与理解以达到快速准确的检索效果。本文通过对高层语义特征、视频检索机制、相关反馈算法和多源信息融合等四个方面的研究,提出一套新型的基于基本语义的CBVR系统——“基于主题匹配与信息融合的交互式视频检索框架”,其主要贡献包括: (1) 提出基于模型匹配策略和主题匹配策略的视频特征提取方法。定义新型中层特征——模型匹配相关图用以精确描述视频序列的时空信息;定义新型高层特征——主题直方图用以实现语义关键词的自动标注和对视频基本语义内容的表征。 (2) 提出基于非监督学习的视频检索机制。使用Dominant Set聚类算法,建立基于非监督学习的索引结构和基于聚类索引的查询机制,显著降低了检索系统的在线计算复杂度同时实现了对数据库更为有效的管理。 (3) 提出新型的视频检索相关反馈技术——基于语义的分支反馈算法。该算法采用分支反馈结构和分支更新策略,通过在线补偿监督信息来校正主题直方图所标记的不恰当的语义关键词,进而显著提升系统的检索性能。 (4) 建立基于颜色信息和运动信息融合的视频检索模式。使用光流分析方法描述视频帧间的局部运动信息,并将其作为视频的底层图像特征嵌入主题匹配策略生成基于运动信息的主题直方图; 使用Dempster-Shafer证据理论将基于颜色信息的主题直方图和基于运动信息的主题直方图进行融合,从而实现基于多源信息融合的视频检索。 (5) 根据上述四部分研究,设计并实现了“基于主题匹配与信息融合的交互式视频检索原型系统”——“SMIF VideoSearch 系统”。
其他摘要With the rapid growth of the technology of multimedia and network, the amounts of multimedia data (such as image and video) are increasing greatly. How to effectively organize, store and retrieve the huge data is challenging us and making the multimedia retrieval become one of the hottest research fields. Content-based video retrieval (CBVR) as a branch of the multimedia retrieval has attracted increasing interests, for it directly relies on video content in contrast to traditional retrieval techniques using manual annotations. In this thesis, we focus on the following four parts: video feature extraction, retrieval mechanism, relevance feedback and information fusion to propose an original CBVR system named “An Interactive Video Retrieval Framework using Semantic Matching and Information Fusion”. The main contributions of this thesis are five-fold. (1) We propose a novel feature extraction method based on the model matching and semantic matching strategy. A new mid-level sequence feature named “Model- Matching Correlogram” is extracted to accurately describe video’s spatio-temporal information, while a new high-level semantic feature called “Semantic-Matching Histogram” is defined in order to uncover videos’ basic semantic content. (2) We establish an unsupervised learning-based retrieval mechanism, which consists of indexing process and querying process, using the Dominant Set clustering for the sake of low on-line complexity and high retrieval efficiency. (3) We develop a new relevance feedback algorithm called Semantic-Based Relevance Feedback working together with SMHs to correct the inaccurate semantic keywords labeled by SMHs and improves the retrieval performances remarkably. (4) We set up a video retrieval method based on the fusion of color and motion information. Optical flow analysis is used to reflect the local motion between adjacent frames and embedded into our semantic-matching strategy, while Dempster-Shafer theory is imported to fusion the SMHs on Color and SMHs on Motion. (5) We design and implement the interactive video retrieval prototype system using semantic matching and information fusion —— “SMIF VideoSearch system”.
馆藏号XWLW1265
其他标识符200528014628038
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/7464
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
李华北. 基于主题匹配与信息融合的交互式视频检索框架[D]. 中国科学院自动化研究所. 中国科学院研究生院,2008.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20052801462803(4266KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[李华北]的文章
百度学术
百度学术中相似的文章
[李华北]的文章
必应学术
必应学术中相似的文章
[李华北]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。