CASIA OpenIR  > 毕业生  > 博士学位论文
基于视觉关注分析的移动多媒体理解与应用
其他题名Visual Attention based Mobile Multimedia Understanding and Application
臧存勋
学位类型工学博士
导师卢汉清
2010
学位授予单位中国科学院研究生院
学位授予地点中国科学院自动化研究所
学位专业模式识别与智能系统
关键词移动多媒体 受关注内容分析 人机交互 受关注区域检测 图像浏览 Mobile Multimedia Attention Content Analysis User Interface Attention Region Detection Image Browsing
摘要随着数字媒体生成技术和无线网络通讯技术的高速发展,移动多媒体内容正呈现爆炸式增长趋势,因此如何对其进行有效分析和管理已经成为亟待解决的问题。与此同时,目前移动环境下的多媒体内容分析和管理还存在着两大方面的难题。一方面是多媒体内容本身的理解;另一方面,移动设备上的多媒体内容分析和管理存在着先天的不足,即受制于移动环境下有限的屏幕尺寸、交互方式、网络带宽、CPU计算能力以及有限的电池容量。 本文借鉴人类的视觉关注机理,将交互式视觉关注度量引入移动多媒体内容分析与理解;并以此为基础,结合移动设备的特点与不足,深入分析移动用户需求,提出了多个面向移动环境的多媒体内容浏览、管理以及个性化定制方案。 本文的主要工作和贡献如下: 1、在图像内容的视觉关注度检测方面,不同于传统的图像受关注区域自动检测技术,本文引入了用户交互信息-“关注点”(point of interest),即观察者通过标注一个坐标点来对其所关注的图像内容进行简单提示;进而提出了基于“关注点”的弱交互式图像受关注区域检测的概念。 2、提出了一种基于多分布融合的弱交互式图像受关注区域快速检测方法。该方法通过分析“关注点”提供的语意信息对图像受关注内容进行快速有效地检测。在移动平台上进行的大量实验证明,所提出的弱交互式图像受关注区域检测方法具有良好的准确度;同时在执行速度方面,以现有移动平台上的CPU计算能力,基本上可以达到实时运行;因此非常适合于移动环境下的图像浏览应用。 3、提出了一种基于不对称S/T Graph Cuts的弱交互式图像受关注区域检测方法。该方法也基于所提出的“关注点”信息,并将图像“局部显著度分布”,用户关注度分布的“中央效应”和图像的“自相关”特性合理应用于交互式的Graph cuts理论框架;同上述所提出的图像受关注内容快速检测方法相比,该方法借助Graph cuts理论对图像分割内容边缘的良好约束能力,进一步提高了检测的鲁棒性。 4、将基于“关注点”的弱交互式图像受关注区域检测方法应用到移动环境下的图像浏览,设计了一套完整的移动设备上的个性化图像浏览与应用系统。该系统的主要特点有: 1)将用户交互方式-“关注点”标注,应用到移动设备上的图像浏览,借助所提出的基于“关注点”的弱交互式图像受关注区域检测方法的良好性能,经过移动平台上的大量实验证明,有效提高了移动环境下的图像浏览效率和用户体验(user experience)。 2)提出了一种基于“best-first-merging”聚类算法的图像浏览日志分析方法;并基于该方法为移动用户提供了两种个性化的图像展示方式:个性化图像缩略图和个性化图像幻灯片。同传统移动设备上的图像浏览系统相比,所提出的图像展示方式能够更好的满足移动用户在图像浏览过程中的个性化需求。 5、提出了一套面向移动环境的体育视频自适应传输与浏览方案,该方案基于体育视频内容的视觉关注分析和编码优化技术,主要特点有: 1)提出了一种基于Logo检测与内容上下文相结合的体育视频精彩事件检测方法,经大量实验证明,该检测方法有效降低了体育视频传输过程中的数据传输量,非常适合于...
其他摘要This paper studies a series of research work as follows: 1. We import user interaction, i.e. “point-of-interest”, and propose the point-of-interest based weak interactive image attention detection. 2. We propose a distributions-fusion based weak interactive image attention detection method. Extensive experiments show that it is real-time on main-stream mobile devices and the results are encouraging. 3. We propose an asymmetrical Graph Cuts image attention detection method, which incorporates “local saliency map”, “center effect” of user's attention and image “self-correlation”. 4. With the “point-of-interest” weak interactive image attention detection, we propose a framework of personalized image browsing on mobile devices, which has the following characteristics: 1) With the good performance of the proposed image attention detection, a novel interaction approach, i.e. “point-of-interest” labeling, is designed to augment image browsing on mobile devices. Experiments prove that it effectively improves the efficiency and user experience. 2) A “best-first-merging” based method is presented to analyze image browsing log. Based on this method, we design both personalized image thumbnail and personalized image slide show. 5. We propose an integrated sports video browsing framework in mobile environment, which is based on both sports video attention analysis and coding optimization technology. The proposed framework has the following characteristics: 1) We propose a robust logo detection and context analysis based sports video highlights extractor, which can effectively reduce the amount of data transmission. 2) We propose a content-based video streaming coding scheme, which contains shot detection based variable-period intra-frame selection and attention region coding. Experiments show that it can effectively improve the performance of video coding.
馆藏号XWLW1568
其他标识符200518014628066
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/6229
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
臧存勋. 基于视觉关注分析的移动多媒体理解与应用[D]. 中国科学院自动化研究所. 中国科学院研究生院,2010.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20051801462806(4164KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[臧存勋]的文章
百度学术
百度学术中相似的文章
[臧存勋]的文章
必应学术
必应学术中相似的文章
[臧存勋]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。