CASIA OpenIR  > 毕业生  > 硕士学位论文
适用于物联网应用的kv数据库的研究与实现
其他题名The Study and Building of KV Database applicable to the Internet of Things
刘斌
学位类型工程硕士
导师台宪青
2014-05-20
学位授予单位中国科学院大学
学位授予地点中国科学院自动化研究所
学位专业计算机技术
关键词非关系型数据库 布隆过滤器 有序字符串表 内存分配器 缓存 Nosql Bloom Filter Sstable Memory Allocator Cache
摘要随着物联网的兴起,物与物的关系、人与物的关系越来越紧密。而这种关系紧密主要源于数据交互的频繁。随着数据量的指数级增长,以及物联网数据分析的特殊要求,传统的关系型数据库已经无法满足数据管理的要求。NoSQL数据库成为解决物联网数据存储问题的破题之选。本文介绍了NoSQL数据库技术的起源,从NoSQL数据库的概念和特性、NoSQL数据库的优势以及NoSQL数据库四大家族对NoSQL技术进行了综述。重点研究了当前流行的NoSQL数据库如MongoDB、Tokyo Cabinet、Memcached以及LevelDB等,分析了他们的架构设计和存储实现方案。基于对经典NoSQL数据库的分析,设计了Deluge数据库的架构,并详细描述了其架构和各个模块的设计思路。之后,叙述了一些优化措施和技术细节。论文的主要工作和成果如下: (1)提出基于硬盘组的Hash Log技术,该技术可以大大提高基于WAL技术的数据库的日志写入技术,从而提高数据库系统的并发性和吞吐量。 (2)利用LSM Tree(The Log-Structure Merge-Tree)完成数据的持久化管理,并且利用层级的思路优化检索操作。在实际的检索过程中,采用多种优化技术完成数据的快速判断,从而加快检索速度。 (3)采用独立的内存分配与管理模块,而不是使用系统提供的malloc-free组合。减少锁操作,大大提高了内存申请的效率,从而进一步提高了系统的整体性能。 (4)采用Cache技术,对热数据进行缓存,减少磁盘I/O。
其他摘要With the development of the Internet of Things, the relationship between different things and that between people and things get much closer. And this kind of close relationship depends on the frequent data interaction. With the exponential growth in amount of data and the special requirements of Internet data analysis, the traditional relational database has been unable to meet the requirements of data management. NoSQL becomes the best means for IOT data storage. This thesis introduces the origin of NoSQL technology, and reviews the technology in the following aspects : the concept, characteristics, advantage, and four families of NoSQL database. Research is mainly focused on the current popular NoSQL database such as MongoDB, Tokyo Cabinet, Memcached and LevelDB and their architecture design and implementation of storage is analyzed. Based on the analysis of classic NoSQL database, the Deluge database architecture is designed, and the architecture and design of each module is described in detail. Then some optimization measures and technical details are recounted. The thesis ' main work and achievements are as follows: 1, Put forward Hash Log technology based on the hard disk group. The technology can greatly improve the database log-writing technology based on the technology of WAL, so as to improve the concurrency and throughput of the database system. 2, Realize persistent data management by means of LSM Tree, and levels of thinking was used to optimize retrieval operation. In the process of the actual retrieval, a variety of optimization technology is applied to determine data quickly, so as to speed up the retrieval. 3, Apply independent modules of memory allocation and management, rather than the malloc - free combination provided by the system. Reduce lock operation, greatly improve the efficiency of memory application, thus to further improve the overall performance of the system.
馆藏号XWLW2055
其他标识符2011E8009061002
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/7739
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
刘斌. 适用于物联网应用的kv数据库的研究与实现[D]. 中国科学院自动化研究所. 中国科学院大学,2014.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_2011E800906100(1565KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[刘斌]的文章
百度学术
百度学术中相似的文章
[刘斌]的文章
必应学术
必应学术中相似的文章
[刘斌]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。