跳转至

1、数据库简介、及常用数据库介绍

1、什么是数据库

数据库就是一个存放计算机数据的仓库,这个仓库是按照一定的数据结构(数据结构是指数据的组 织形式或数据之间的联系)来对数据进行组织和存储的,可以通过数据库提供的多种方法来管理其 中的数据。

2、数据库的种类

最常用的数据库模式主要有两种,即关系型数据库和非关系型数据库

3、生产环境常用数据库

生产环境主流的关系型数据库有 Oracle、Microsoft SQL Server、MySQL/MariaDB等。

生产环境主流的关系型数据库有 MongoDB Memcached Redis

4、关系型数据库

1)关系型数据库介绍

关系型数据库模型是把复杂的数据结构归结为简单的二元关系(即二维表格形式)。在关系型数据 库中,对数据的操作几乎全部建立在一个或多个关系表格上,通过这些关联的表格分类、合并、连 接或选取等运算来实现数据的管理。

关系型数据库诞生距今已有 40 多年了,从理论产生到发展到实现产品,例如:常见的 MySQL 和 Oracle 数据库,Oracle 在数据库领域里上升到了霸主地位,形成每年高达数百亿美元的庞大产业 市场,而 MySQL 也是不容忽视的数据库,以至于被 Oracle 重金收购了。

2)关系型数据库小结

  • 关系型数据库在存储数据时实际就是采用的一张二维表(和 Word 和 Excell 里表格几乎一样)。
  • 市场占有量较大的是 MySQL 和 Oracle 数据库,而互联网场景最常用的是 MySQL 数据库
  • 通过 SQL 结构化查询语言来存取、管理关系型数据库的数据。
  • 关系型数据库在保持数据安全和数据一致性方面很强,遵循 ACID 理论

5、非关系型数据库

1)非关系数据库诞生的背景

非关系型数据库也被称为 NoSQL 数据库,NoSQL 的本意是 “Not Only SQL”,指的是非关系型数 据库,而不是“NO SQL”的意思,因此,NoSQL 的产生并不是要彻底否定关系型数据库,而是作为 传统数据库的一个有效补充。NoSQL 数据库在特定的场景下可以发挥难以想象的高效率和高性能。

随着 Web2.0 网站的兴起,传统的关系型数据库在应付 Web2.0 网站,特别是对于规模日益扩大 的海量数据,超大规模和高并发的微博、微信、SNS 类型的 Web2.0 纯动态网站已经显得力不从 心,暴露了很多难以克服的问题,例如:传统的关系型数据库IO瓶颈、性能瓶颈都难以有效突破,于是开始出现了大批针对特定场景,以高性能和使用便利为目的功能特异化的数据库产品。NoSQL(非关系型)类的数据库就是这样的情景中诞生并得到了非常迅速的发展。

NoSQL 是非关系型数据库的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局 面。NoSQL数据存储不需要固定的表结构,通常也不存在连续操作。在大数据存取上具备关系型 数据库无法比拟的性能优势。该术语(NoSQL)在2009年初得到了广泛认同。

当今的应用体系结构需要数据存储在横向伸缩性上能够满足需求。而NoSQL存储就是为了实现这 个需求而诞生的。Google的 BigTable 与Amazon的Dynamo是非常成功的商业 NoSQL 实现。一 些开源的 NoSQL 体系,如 Facebook 的 Cassandra,Apache 的 HBase,也得到了广泛认同, Redis,MongoDB 也逐渐的越来越受到各类大中小型公司的欢迎和追捧。

2)非关系型数据库小结

  • NoSQL 数据库不是否定关系型数据库,而是作为关系数据库的一个重要补充。
  • NoSQL 数据库为了灵活及高性能、高并发而生,忽略影响高性能、高并发的功能。
  • 在NoSQL 数据库领域,当今的最典型产品为 Redis(持久化缓存)、MongoDB、 Memcached(纯内存)等。
  • NoSQL 数据库没有标准的查询语言(SQL),通常使用REST式的数据接口或者查询API。

3)非关系型数据库种类

1. 键值(Key-Value)存储数据库

键值数据库就类似传统语言中使用的哈希表。可以通过key来添加、查询或者删除数据,因为使用 key主键访问,所以会获得很高的性能及扩展性。

键值(Key-Value)数据库主要是使用一个哈希表,这个表中有一个特定的键和一个指针指向特定 的数据。Key-Value模型对于IT系统来说的优势在于简单、易部署、高并发。

典型产品:Memcached、Redis、MemcachedB、Berkeley DB

2. 列存储(Column-Oriented)数据库

列存储数据库将数据存储存在列族(Column Family)中,一个列族存储经常被一起查询的相关数 据。举个例子,如果有一个 Person 类,通常会一起查询他们的姓名和年龄而不是薪资。这种情况 下,姓名和年龄就会被放入一个列族中,而薪资则在另一个列族中。这部分数据库通常用来应对分 布式存储的海量数据。键仍然存在,但是他们的特点是指向了多个列。这些列是由列家族来安排 的。

典型产品:Cassandra,HBase

3. 面向文档(Document-Oriented)的数据库

文档型数据库的灵感是来自于Lotus Notes办公软件的,而且它同第一种键值存储相类似。该类型 的数据模型是版本化的文档,半结构化的文档以特定的格式存储,比如JSON。文档型数据库可以 看作是键值数据库的升级版,允许之间嵌套键值。而且文档型数据库比键值数据库的查询效率更高。

面向文档数据库会将数据以文档的形式存储。每个文档都是自包含的数据单元,是一系列数据项的 集合。每个数据项都有一个名称与对应的值,值既可以是简单的数据类型,如字符串、数字和日期 等;也可以是复杂的类型,如有序列表和关联对象。数据存储的最小单位是文档,同一个表中存储 的文档属性可以是不同的,数据可以使用XML、JSON 或者 JsonB 等多种形式存储

典型产品:MongDB、CouchDB

4. 图形(Graph)数据库

图形数据库允许我们将数据以图的方式存储。实体会被作为顶点,而实体之间的关系则会被作为 边。比如我们有三个实体,Steve Jobs、Apple和Next,则会有两个“Founded by” 的边将 Apple 和 Next 连接到 Steve Jobs。

图形结构的数据库同其他行列以及刚性结构的 SQL 数据库不同,它是使用灵活的图形模型,并且 能够扩展到多个服务器上。NoSQL 数据库没有标准的查询语言(SQL),因此进行数据查询需要 定制数据模型。许多 NoSQL 数据库都有 REST 的数据接口或者查询 API。

典型产品:Neo4J、InfoGr id

6、常用关系型数据库管理系统

1)Oracle 数据库

Oracle 前身叫 SDL,由 Larry Ellison 和另两个编程人员在1977创办,他们开发了自己的拳头产 品,在市场上大量销售,1979年,Oracle 公司引入了第一个商用 SQL关系数据库管理系统。Oracle公司是最早开发关系数据库的厂商之一,其产品支持最广泛的操作系统平台。目前 Oracle 关系数据库产品的市场占有率数一数二。

Oracle 公司是目前全球最大的数据库软件公司,也是近年业务增长极为迅速的软件提供与服务 商。 2007年7月12日,甲骨文公司在美国纽约宣布推出数据库 Oracle llg,这是 Oracle 数据库的最新 版本。Oracle 介绍说,Oraclellg 有400多项功能,经过了1500万个小时的测试,开发工作量达到 了3.6万人/月。Oraclellg 在安全,XML DB,备份等方面得到了很大提升。

  • 主要应用范围:传统大企业,大公司,政府,金融,证券等等。
  • 版本升级:Oracle8i,Oracle9i,Oracle10g,Oracle11g,Oracle12c。

2)MySQL 数据库

MySQL 数据库是一个中小型关系型数据库管理系统,软件开发者为瑞典 MySQL AB 公司。在 2008年1月16号被 Sun 公司收购,后 Sun 公司又被 Oracle 公司收购。目前MySQL 被广泛地应用 在 Internet 上的大中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这 一特点,许多大中小型网站为了降低网站总体拥有成本而选择了 MySQL 作为网站数据库,甚至国 内知名的淘宝网也选择弃用 Oracle 而更换为更开放的 MySQL。

MySQL 数据库主要应用范围:互联网领域,大中小型网站,游戏公司,电商平台等等。

3)MariaDB 数据库

MariaDB 数据库管理系统是 MySQL 数据库的一个分支,主要由开源社区维护,采用 GPL 授权许 可。开发这个 MariaDB 数据库分支的可能原因之一是:甲骨文公司收购了MySQL 后,有将 MySQL 闭源的潜在风险,因此 MySQL 开源社区采用分支的方式来避开这个风险。

开发 MariaDB 数据库的目的是完全兼容 MySQL 数据库,包括 API 和命令行,使之能轻松的成为 MySQL 的代替品。在存储引擎方面,使用 XtraDB (英语:XtraDB)来代替MySQL 的 InnoDB MariaDB 由 MySQL 的创始人 Michael Widenius(英语:Michael Widenius)主导开发,他早前 曾以 10 亿美元的价格,将自己创建的公司MySQL AB卖给了 SUN,此后,随着 SUN 被甲骨文收 购,MySQL 的所有权也落入Oracle 的手中,MariaDB 数据库的名称来自 MySQL 的创始人 Michael Widenius 的女儿 Maria 的名字。

MariaDB 基于事务的 Maria 存储引擎,替换了MySQL 的 MylSAM 存储引擎,它使用了 Percona 的 XtraDB(InnoDB的变体)。这个版本还包括了 PrimeBaseXT(PBXT)和 FederatedX 存储引 擎。

4)SQL Server 数据库

Microsoft SQL Server是微软公司开发的大型关系型数据库系统。1987年,微软和IBM合作开发完 成 OS/2,IBM 在其销售的 OS/2 ExtendedEdition 系统中绑定了 OS/2 DatabaseManager,而微 软产品线中尚缺少数据库产品。为此,微软将目光投向 Sybase,同 Sybase 签订了合作协议,使 用 Sybase 的技术开发基于 OS/2 平台的关系型数据库。1989年,微软发布了 SQLServer1.0 版。Microsoft 在与 Sybase分道扬镳后,随后在其6.05和7.0版本中重写了核心数据库系统。

SQL Server 的功能比较全面,效率高,可以作为中型企业或单位的数据库平台。

SQL Server 可以与 Windows 操作系统紧密集成,不论是应用程序开发速度还是系统事务处理运 行速度,都能得到较大的 提升。对于在 Windows 平台上开发的各种企业级信息管理系统来说, 不论是C/S(客户机/ 服务器)架构还是B/S(浏览器/服务器)架构,SQL Server 都是一个很好的 选择。SQL Server 的缺点是只能在 Windows 系统下运行。

主要应用范围:部分企业电商(央视购物),使用windows服务器平台的企业。

5)其他关系型数据库

DB2, PostgreSQL,Informix,Sybase等。这些关系型数据库逐步的淡出了普通运维的视线,特别是互联网公司几乎见不到。

7、常用非关系型数据库管理系统

1)Memcached(Key-Value)

Memcached 是一个开源的、高性能的、具有分布式内存对象的缓存系统。通过它可以减轻数据库 负载,加速动态的 Web 应用,最初版本由 LiveJoumal 的 Brad Fitzpatrick在2003年开发完成。目 前全球有非常多的用户都在使用它来构建自己的大负载网站或提高自己的高访问网站的响应速度。注意:Memcache 是这个项目的名称,而Memcached 是服务器端的主程序文件名。

缓存一般用来保存一些经常被存取的对象或数据(例如,浏览器会把经常访问的网页缓存起来一 样),通过缓存来存取对象或数据要比在磁盘上存取快很多,前者是内存,后者是磁盘。Memcached 是一种纯内存缓存系统,把经常存取的对象或数据缓存在 Memcached 的内存中, 这些被缓存的数据被程序通过API的方式被存取,Memcached里面的数据就像

一张巨大的 HASH 表,数据以 Key-Value 对的方式存在。Memcached 通过缓存经常被存取的对 象或数据,从而减轻频繁读取数据库的压力,提高网站的响应速度,构建出速度更快的可扩展的 Web应用。官方:http://Memcached.org/

由于Memcached 为纯内存缓存软件,一旦重启所有数据都会丢失,因此,新浪网基于 Memcached 开发了一个开源项目 MemcacheDB。通过为 Memcached 增加 Berkeley DB 的持 久化存储机制和异步主辅复制机制,使 Memcached 具备了事务恢复能力、持久化数据存储能力 和分布式复制能力,MemcacheDB非常适合需要超高性能读写速度、持久化保存的应用场景,但 是最近几年逐渐被其他的持久化产品替代例如Redis。

2)Redis(Key-Value)

Redis 是一个Key-Value 型存储系统。但Redis支持的存储value 类型相对更多,包括 string(字符 串)、list(链表)、set(集合)和 zset(有序集合)等。这些数据类型都支持 push/pop、 add/remove 及取交集、并集和差集及更丰富的操作,而且这些操作都 是原子性的。在此基础 上,Redis 支持各种不同方式的排序。与 Memcached 一样,为了保证效率,Redis 的数据都是缓 存在内存中。区别是 Redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文 件,并且在此基础上实现了 Master-Slave(主从)同步。

Redis 是一个高性能的 Key-Value 数据库。Redis 的出现,很大程度补偿了 Memcached 这类 Key-Value 存储的不足,在部分场合可以对关系数据库綱很好的补充作用。它提供了 Python, Ruby,Erlang,PHP 客户端,使用很方便。官方:http://www.Redis.io/documentation

Redis 特点:

  • 支持内存缓存,这个功能相当于 Memcached。
  • 支持持久化存储,这个功能相当于 MemcacheDB,Ttserver。
  • 数据类型更丰富。比其他 Key-Value 库功能更强。
  • 支持主从集群,分布式。
  • 支持队列等特殊功能。

3)MongoDB (Document-Web)

MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富, 最像关系数据库的。他支持的数据结构非常松散,类似 Json 的 Bjson 格式,因此可以存储比较复 杂的数据类型。MongoDB 最大的特点是他支持查询语言非常强大,其语法有点类似于面向对象的 查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。它的特点是高性能、易部署、易使用,存储数据非常方便。

主要功能特性:

  1. 面向集合(Collenction-Orented)存储,易存储对象类型的数据 ,数据被分组存储在数据集中, 被称为一个集合(Collenction)。每个集合在数据库中都有一个唯一的标识名,并且可以包含无 限数目的文挡。集合的概念类似关系型数据库(RDBMS)里的表(table),不同的是它不需要定 义任何模式(schema)。

  2. 模式自由(Schema-Free),意味着对于存储在 MongoDB 数据库中的文件,我们 不需要知道它的 任何结构定义。如果需要,你完全可以把不同结构的文件存储在同一个数据库里。

  3. 支持动态查询

  4. 支持完全索引,包含内部对象
  5. 支持查询
  6. 支持复制和故障恢复
  7. 使用高效的二进制数据存储,包括大型对象(如视频等)
  8. 自动处理碎片,以支持云计算层次的扩展性
  9. 支持 Ruby,Python,Java,C++, PHP 等多种语言
  10. 文件存储格式为 Bson (—种 Json 的扩展)Bson (Binary Serialized document Format)存储 形式是指:存储在集合中的文档,被存储为键-值对的形式。键用于唯一标识一个文档,为字符串 类型,而值则可以是各中复杂的文件类型。
  11. 可通过网络访问
    • MongoDB 服务端可运行在 Linux、Windows 或 OS X 平台,支持32位和64位应用,默认端口为 27017。推荐运行在64位平台。
    • McmgoDB 把数据存储在文件中(默认路径为:/data/db),为提高效率使用内存映射文件进行 管理。