NoSQL

我曾说，云计算是目前最大的技术趋势，也是以互联网为基础的新一代技术的总称。宽泛地看，其中除基础设施层面的新型硬件与数据中心、分布式计算、海量数据存储与处理等技术之外，还包括社会化网络，终端设备的多样化(移动)，无所不在的数据采集方式(物联网)，和新一代自然用户界面、用户体验。

有人在Quora上提问：MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。每个数据库都有自己独立的文件。如果你开启了directoryperdb选项，那你每个库的文件会单独放在一个文件夹里。数据库文件在内部会被切分成单个的块，每个块只保存一个名字空间的数据。

我们通过跟踪一个普通的get命令来遍历几个关键函数，熟悉协议处理的过程。你可以通过telnet或者redis_cli、利用lib库发送请求给redis server。前者的是一种裸协议的请求发送到服务端，而后两者会对键入的请求进行协议组装帮助更好的解析(常见的是长度放到前头，还有添加阿协议类型)。

cassandra作为一个分布式的存储性能，特点是写快读慢。最近看cassandra 1.0的文档，发现1.0在读性能上有一些提高。用户可根据系统的要求，合理配置，从而提高读的性能。总结下，有下面4个方面可提高读性能：禁用read repair；Compression；调整key cache和row cache的值；设置JVM heap的大小。

Redis被称为key/value应用中的瑞士军刀，除了其丰富的数据结构支持，更重要的是高效的内存使用，分析源码可以发现作者使用每一个byte都精打细算。在hashtable实现中，Redis引入了zipmap数据结构，保证在hashtable刚创建以及元素较少时，用更少的内存来存储，同时对查询的效率也不会受太大的影响。

用还是不用CouchDB，用还是不用NoSQL，关键还得看自己的应用场景是否适合。是否真的能从中得到好处。希望正在使用或即将使用NoSQL的朋友都做好自己的考量。

MongoDB中数据的基本单元称为文档(Document)。文档是MongoDB的核心概念，多个键极其关联的值有序的放置在一起便是文档。在一个特定集合内部，需要唯一的标识文档。因此MongoDB中存储的文档都由一个"_id"键，用于完成此功能。这个键的值可以是任意类型的，默认试ObjectId对象。

最近Twitter开发者博客上发表了一篇文章，向大家介绍了Twitter的URL抓取服务SpiderDuck，其中用到了Cassandra，HDFS和Memcached作为存储部件。是一个了解NoSQL使用方法的好例子。Kestrel: 是一个Twitter在使用的队列服务，这里将所有需要抓取的URL放入此队列中。

在今天下午进行的NoSQL系统及应用分论坛中，来自淘宝的核心系统存储组技术专家杨传辉(淘宝花名：日照)发表主题演讲“OceanBase——结构化数据海量存储系统”，介绍了淘宝OceanBase的架构、应用及其后续发展。

在今天下午进行的NoSQL系统及应用分论坛中，来自华为的IT产品线企业数据解决方案架构师钟顒发表主题演讲“NoSQL/NewSQL在传统IT产业的机遇和挑战”，介绍了NoSQL/NewSQL的兴起、挑战与演进，以及传统IT产业的演变与挑战。

在今天下午进行的NoSQL系统及应用分论坛中，来自Facebook的技术经理Guoqiang Jerry Chen和软件工程师 Liyin Tang发表主题演讲“Building mission critical messaging system on top of HBase(在HBase的基础上建立关键业务消息系统)”，分享了Facebook开发HBase的经验。

在今天下午进行的NoSQL系统及应用分论坛中，中兴云计算平台研发总工、中兴通讯技术专家委员会专家高洪发表主题演讲“NoSQL技术的电信业务实践”，介绍了NoSQL的发展现状及其在电信业务中的应用。

在今天下午进行的NoSQL系统及应用分论坛中，来自淘宝的软件工程师张毅发表主题演讲“淘宝HBase应用和改善”，介绍了HBase在淘宝平台上使用，以及对HBase的调试和改进的经验分享。

在今天下午进行的NoSQL系统及应用分论坛中，来自eBay Hadoop团队的杰出工程师马明带来主题演讲“Intro to HBase and its usage in eBay(HBase及其在eBay应用)”，介绍了eBay是如何利用Hadoop和HBase来建立搜索引擎方面的技术。

本文来自Spool的开发者博客，描述了Spool利用Redis的bitmaps相关的操作，进行网站活跃用户统计工作。Redis支持对String类型的value进行基于二进制位的置位操作。通过将一个用户的id对应value上的一位，通过对活跃用户对应的位进行置位，就能够用一个value记录所有活跃用户的信息。

MongoDB安装配置及使用：引言，本文档适用于MongoDB2.0.1版本在windows2003上的安装、配置，以及使用。官网，http://www.mongodb.org。下载，进入http://www.mongodb.org/downloads页面，下载2.0.1版本。或者根据需要下载最新的稳定版本。

对NoSQL的先行者而言，甲骨文推出NoSQL数据库可被解读为：“模仿是最真诚的赞赏”。过去几年，NoSQL数据库领域充满令人兴奋的新项目、雄心勃勃的声明，当然也有盲目的自信。NoSQL的支持者称，通过抛弃传统的结构和偏执的三次检测，新NoSQL软件包可提供大量性能优势。随着热情消退，人们开始正视现实。

在IT业的近阶段中，“大数据”无疑是继“云计算”之后业界最热的词。市场研究机构Gartner预测的2012年十大IT技术发展趋势中，“大数据”就是其中之一。Gartner认为，企业必须意识到它们无法存储所有信息。有新技术可以处理极限数据值，如Apache Hadoop，但企业需要掌握新技能才能有效使用这些技术。

我们知道Redis并没有自己实现内存池，没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。

无论你是使用关系型数据库系统、哈希表，还是其它结构来维护数据，你肯定对NoSQL和大数据有所耳闻。 目前，谷歌、雅虎和亚马逊等公司都已经在开发或者使用大数据/NoSQL的解决方案。