文章目录

NoSQL之Redis配置和优化

关系型数据库和非关系型数据库

关系型数据库

  • 关系型数据库是一一个结构化的数据库，创建在关系模型(二维表格模型)基础上，一般面向于记录。
  • SQL语句(标准数据查询语言)就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。
  • 主流的关系型数据库包括Oracle、MySQL、SQL Server、Microsoft Access、DB2等。
  • 以上数据库在使用的时候必须先建库建表设计表结构，然后存储数据的时候按表结构去存，如果数据与表结构不匹配就会存储失败。

非关系型数据库

  • NoSQL (NoSQL = Not Only SQL )，意思是“不仅仅是SQL”，是非关系型数据库的总称。
  • 除了主流的关系型数据库外的数据库，都认为是非关系型。
  • 不需要预先建库建表定义数据存储表结构，每条记录可以有不同的数据类型和字段个数(比如微信群聊里的文字、图片、视频、音乐等)
  • 主流的NoSQL 数据库有Redis、 MongBD、Hbase、 Memcached 等

关系型数据库和非关系型数据库区别

  • 数据存储方式不同

    • 关系型和非关系型数据库的主要差异是数据存储的方式。
    • 关系型数据天然就是表格式的，因此存储在数据表的行和列中。数据表可以彼此关联协作存储，也很容易提取数据。
    • 与其相反，非关系型数据不适合存储在数据表的行和列中，而是大块组合在一起。非关系型数据通常存储在数据集中，就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。

  • 扩展方式不同

    • SQL和NoSQL数据库最大的差别可能是在扩展方式上，要支持日益增长的需求当然要扩展。
    • 要支持更多并发量，SQL数据库是纵向扩展，也就是说提高处理能力，使用速度更快速的计算机，这样处理相同的数据集就更快了。
    • 因为数据存储在关系表中，操作的性能瓶颈可能涉及很多个表，这都需要通过提高计算机性能来克服。虽然SQL数据库有很大扩展空间，但最终肯定会达到纵向扩展的上限。
    • 而NoSQL数据库是横向扩展的。因为非关系型数据存储天然就是分布式的，NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。

  • 对事务性的支持不同

    • 如果数据操作需要高事务性或者复杂数据查询需要控制执行计划，那么传统的SQL数据库从性能和稳定性方面考虑是你的最佳选择。
    • SQL数据库支持对事务原子性细粒度控制，并且易于回滚事务。
    • 虽然NoSQL数据库也可以使用事务操作，但稳定性方面没法和关系型数据库比较，所以它们真正闪亮的价值是在操作的扩展性和大数据量处理方面。
关系型数据库非关系型数据库
存储结构二维表结构键值对、文档、图形结构等
扩展方式纵向扩展提升硬件性能横向扩展增加服务器节点数量
事务支持事务控制更文档，细粒度高稳定性和细粒度控制方面不如关系型数据库
典型代表Mysql、Oracle、SQL、ServerRedis、Memcached、MongDB、ElasticSearch、Prometheus

非关系型数据库产生背景

  • 可用于应对Web2.0纯动态网站类型的三高问题(高并发、高性能、高可用)。

    1. High performance–对数据库高并发读写需求
    2. HugeStorage–对海量数据高效存储与访问需求
    3. High Scalability && High Availability–对数据库高可扩展性与高可用性需求

  • 关系型数据库和非关系型数据库都有各自的特点与应用场景，两者的紧密结合将会给Web2.0的数据库发展带来新的思路。

  • 让关系数据库关注在关系上，非关系型数据库关注在存储和高效率上。例如，在读写分离的MySQL数据库环境中，可以把经常访问的数据存储在非关系型数据库中，提升访问速度。

总结
关系型数据库

实例–>数据库–>表(table)–>记录行(row)、数据字段(column)

非关系型数据库:

实例–>数据库–>集合(collection)–>键值对(key-value)
非关系型数据库不需要手动建数据库和集合(表)。

Redis

简介

  • Redis（远程字典服务器）是一个开源的、使用C语言编写的NoSQL 数据库。
  • Redis基于内存运行并支持持久化，采用key-value (键值对)的存储形式，是日前分布式架构中不可或缺的一环。
  • Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。
  • 若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；
  • 若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。即:在实际生产环境中，需要根据实际的需求来决定开启多少个Redis进程。
  • 若对高并发要求更高一些，可能会考虑在同一台服务器上开启多个进程。
  • 若CPU资源比较紧张，采用单进程即可。

优点和使用场景

  1. 具有极高的数据读写速度：数据读取的速度最高可达到110000次/s，数据写入速度最高可达到81000 次/s。
  2. 支持丰富的数据类型：支持key-value、Strings、 Lists、 Hashes、 Sets 及 Ordered Sets等数据类型操作。
  3. 支持数据的持久化：可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
  4. 原子性：Redis所有操作都是原子性的。
  5. 支持数据备份：即master-salve 模式的数据备份。

  • Redis作为基于内存运行的数据库，缓存是其最常应用的场景之一。 除此之外，Redis常 见应用场景还包括获取最新N个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。

  • 使用场景

    • Redis作为基于内存运行的数据库，是一个高性能的缓存，一般应用在Session缓存、队列、排行榜、计数器、最近最热文章、最近最热评论、发布订阅等。
    • Redis适用于数据实时性要求高、数据存储有过期和淘汰特征的、不需要持久化或者只需要保证弱一致性、逻辑简单的场景。
    • 我们通常会将部分数据放入缓存中，来提高访问速度，然后数据库承担存储的工作。

  • 哪些数据适合放入缓存中

    • 即时性。例如查询最新的物流状态信息。
    • 数据一致性要求不高。例如门店信息，修改后，数据库中已经改了，五分钟后缓存中才是最新的，但不影响功能使用。
    • 访问量大且更新频率不高，例如网站首页的广告信息，访问量大，但是不会经常变化。

  • Redis为什么这么快?

    1. Redis是一 款纯内存结构，避免了磁盘I/0等耗时操作。
    2. Redis命令处理的核心模块为单线程，不存在多线程切换而消耗CPU，不用考虑各种锁的问题，不存在加锁、释放锁的操作，没有因为可能出现死锁而导致性能消耗。
    3. 采用了I/O多路复用机制，大大提升了并发效率。
    4. 注:在Redis6.0中新增加的多线程也只是针对处理网络请求过程采用了多线性，而数据的读写命令，仍然是单线程处理的。

Redis部署

##关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

sed -i 's/enforcing/disabled/' /etc/selinux/config

##修改内核参数

vim /etc/sysctl.conf

vm.overcommit_memory = 1          
##内存分配做检查
##1：内核允许超量使用

net.core.somaxconn = 2048
##TCP连接时使用，TCP监听端口的队列长度，就是多少并发

vm.overcommit_memory = 1
net.core.somaxconn = 10240

sysctl -p

##安装Redis

yum install -y gcc gcc-c++ make

cd /opt/
tar xf /opt/redis-7.0.9.tar.gz
cd /opt/redis-7.0.9
make
make PREFIX=/usr/local/redis install

##创建redis工作目录

cd /usr/local/redis

mkdir /usr/local/redis/{conf,log,data}

cp /opt/redis-7.0.9/redis.conf /usr/local/redis/conf/

##创建redis用户

useradd -M -s /sbin/nologin redis
chown -R redis.redis /usr/local/redis/

##修改环境变量
vim /etc/profile 

PATH=$PATH:/usr/local/redis/bin		#增加一行

source /etc/profile

##修改配置文件
vim /usr/local/redis/conf/redis.conf

bind 127.0.0.1 192.168.242.70					
#87行，添加 监听的主机地址

protected-mode no					
#111行，将本机访问保护模式设置no。如果开启了，那么在没有设定bind ip且没有设密码的情况下，Redis只允许接受本机的响应

port 6379										
#138行，Redis默认的监听6379端口

tcp-backlog 10240
##设置与环境变量一致

daemonize yes								
#309行，设置为守护进程，后台启动

pidfile /usr/local/redis/log/redis_6379.pid		
#341行，指定 PID 文件

logfile "/usr/local/redis/log/redis_6379.log"
#354行，指定日志文件

dir /usr/local/redis/data				
#504行，指定持久化文件所在目录

requirepass 123				
#1037行，增加一行，设置redis密码

##定义systemd服务管理脚本

vim /usr/lib/systemd/system/redis-server.service


[Unit]
Description=Redis Server
After=network.target

[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

#启动服务
systemctl start redis-server
systemctl enable redis-server

netstat -lntp | grep 6379

Redis 命令工具

##Redis 命令工具 
redis-server：Redis 服务器启动命令
redis-benchmark：性能测试工具，用于检测 Redis 在本机的运行效率
redis-check-aof：修复有问题的 AOF 持久化文件
redis-check-rdb：修复有问题的 RDB 持久化文件
redis-cli：Redis 客户端命令行工具
redis-sentinel：Redis 哨兵集群使用

redis-cli 命令行工具

-----redis-cli 命令行工具-----
语法：redis-cli -h host -p port [-a password]

-h ：指定远程主机
-p ：指定 Redis 服务的端口号
-a ：指定密码，未设置数据库密码可以省略-a 选项
若不添加任何选项表示，则使用 127.0.0.1:6379 连接本机上的 Redis 数据库

redis-cli -h 192.168.242.70 -p 6379 -a '123'

redis-benchmark 测试工具

-----redis-benchmark 测试工具-----
redis-benchmark 是官方自带的 Redis 性能测试工具，可以有效的测试 Redis 服务的性能。

基本的测试语法：redis-benchmark [选项] [选项值]。

-h ：指定服务器主机名。
-p ：指定服务器端口。
-s ：指定服务器 socket
-c ：指定并发连接数。
-n ：指定请求数。
-d ：以字节的形式指定 SET/GET 值的数据大小。
-k ：1=keep alive 0=reconnect 。
-r ：SET/GET/INCR 使用随机 key, SADD 使用随机值。
-P ：通过管道传输<numreq>请求。
-q ：强制退出 redis。仅显示 query/sec 值。
--csv ：以 CSV 格式输出。
-l ：生成循环，永久执行测试。
-t ：仅运行以逗号分隔的测试命令列表。
-I ：Idle 模式。仅打开 N 个 idle 连接并等待。

#向 IP 地址为 192.168.242.70、端口为 6379 的 Redis 服务器发送 100 个并发连接与 100000 个请求测试性能
redis-benchmark -h 192.168.242.70 -p 6379 -c 100 -n 100000

#测试存取大小为 100 字节的数据包的性能
redis-benchmark -h 192.168.242.70 -p 6379 -q -d 100 -a '123'

#测试本机上 Redis 服务在进行 set 与 lpush 操作时的性能
redis-benchmark -t set,lpush -n 100000 -q -a '123'

String数据类型命令

set 键 值             #设置键和值
setnx mykey "world"				
#该键已经存在，因此本次设置没有产生任何效果,不存在则设置键值

get 键                #查询键的值
keys 键    * ?        #查询键
KEYS *				 #查看当前数据库中所有键
KEYS v?				  #查看当前数据库中以 v 
exists 键             #判断键是否存在

append mykey "hello"				
#该键并不存在，因此append命令返回当前Value的长度。

append mykey " world"				
#该键已经存在，因此返回追加后Value的长度。

strlen mykey			#获取指定Key的字符长度。

del 键                #删除键
type 键               #查询键的数据类型
expire 键  过期秒数    #设置键的生命周期

ttl 键              #查看键的生命周期时间  -1 永不过期  -2 已过期

rename   旧键  新键     重命名键名，会覆盖已存在的键值
renamenx  旧键  新键    重命名键名，如新键名已存在会放弃重命名操作

dbsize                 查询当前库中键的数量


##Redis 支持多数据库，Redis 默认情况下包含 16 个数据库，数据库名称是用数字 0-15 来依次命名的。
##多数据库相互独立，互不干扰。

select 库ID   0~15     #切换库
move 键 库ID            #移动键到指定的库，指定库中有键则失败
flushdb                清空当前库的所有键(慎用)
flushall               清空所有库的所有键(慎用 


config set requirepass  '密码'      #设置redis密码
config get requirepass              #查询密码
auth '密码'                         #在redis里验证密码

 incr mykey						
 #该Key的值递增1,#对空值执行递减操作，其原值被设定为0，递增后的值为1
 
 decr mykey						
 #该Key的值递减1,#对空值执行递增操作，其原值被设定为0，递减后的值为-1
 
 不能转换为整型的普通字符串

decrby mykey 5					#减少指定的整数
incrby mykey 10					#增加指定的整数

getset mycounter 0	
#在获取计数器原有值的同时，并将其设置为新值，这两个操作原子性的同时完成。

get mycounter						#查看设置后的结果。

 mset key1 "hello" key2 "world"	
 #批量设置了key1和key2两个键。
 
 mget key1 key2				
 #批量获取了key1和key2两个键的值。
 
 msetnx key3 "zhang" key4 "san" 	
 #批量设置了key3和key4两个键，因为之前他们并不存在，所以msetnx命令执行成功并返回1。

List数据类型

列表的元素类型为string，按照插入顺序排序，在列表的头部或尾部添加元素

lpush mykey a b c d	
#mykey键并不存在，该命令会创建该键及与其关联的List，之后在将参数中的values从左到右依次插入。

lpushx mykey2 e		
#mykey2键此时并不存在，因此lpushx命令将不会进行任何操作，其返回值为0。

lpushx mykey e		
#mykey键此时已经存在，所以lpushx命令插入成功，并返回链表中当前元素的数量。

lrange mykey 0 2		#取从位置0开始到位置2结束的3个元素。

lrange mykey 0 -1		#取链表中的全部元素，其中0表示第一个元素，-1表示最后一个元素。

lrange mykey 0 0		#获取该键的List Value的头部元素

 lpop mykey			
 #移除并返回mykey键的第一个元素,从左取
"d"

llen mykey			#在执行lpop命令两次后，链表头部的两个元素已经被弹出，此时链表中元素的数量是2

 lrem mykey 2 a		
 #从头部(left)向尾部(right)变量链表，删除2个值等于a的元素，返回值为实际删除的数量。
 
 lrange mykey 0 -1		#看出删除后链表中的全部元素。
 
 lindex mykey 1		#获取索引值为1(头部的第二个元素)的元素值。
 
 lset mykey 1 e		#将索引值为1(头部的第二个元素)的元素值设置为新值e。 
 lindex mykey 1		#查看是否设置成功。

ltrim mykey 0 2		#仅保留索引值0到2之间的3个元素，注意第0个和第2个元素均被保留。
OK

lpush mykey a b c d e	
linsert mykey before a a1		#在a的前面插入新元素a1。
linsert mykey after e e2         在e的后面插入新元素e2

rpush mykey a b c d			#从链表的尾部插入参数中给出的values，插入顺序是从右到左依次插入

rpushx mykey e	#该键已经存在并且包含4个元素，rpushx命令将执行成功，并将元素e插入到链表的尾部。

RPOP mykey						
#移除并返回mykey键的第一个元素,从右取

rpoplpush mykey mykey2	#将mykey的尾部元素e弹出，同时再插入到mykey2的头部(原子性的完成这两步操作)。

rpoplpush mykey mykey		#将source和destination设为同一键，将mykey中的尾部元素移到其头部。

Hash数据类型

  • 概述：hash用于存储对象。可以采用这样的命名方式：对象类别和ID构成键名，使用字段表示对象的属性，而字段值则存储属性值。
  • 如果Hash中包含很少的字段，那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对
hset myhash field1 "zhang"	
#给键值为myhash的键设置字段为field1，值为zhang。

 hget myhash field1				
 #获取键值为myhash，字段为field1的值。
 
 hget myhash field2				
 #myhash键中不存在field2字段，因此返回nil。

hlen myhash						
#hlen命令获取myhash键的字段数量。

hexists myhash field1			
#判断myhash键中是否存在字段名为field1的字段，由于存在，返回值为1。

 hdel myhash field1			
 #删除myhash键中字段名为field1的字段，删除成功返回1。

hsetnx myhash field1 zhang		
#由于myhash的field1字段已经通过上一条命令添加成功，因为本条命令不做任何操作后返回0。

hincrby myhash field 1		#hincrby命令给myhash的field字段的值加1，返回加后的结果。

hincrby myhash field -1		#hincrby命令给myhash的field字段的值加-1，返回加后的结果。

del myhash					#删除该键

hmset myhash field1 "hello" field2 "world"	
#hmset命令为该键myhash，一次性设置多个字段，分别是field1="hello", field2="world"。

hmget myhash field1 field2 field3		
#hmget命令获取myhash键的多个字段，其中field3并不存在，因为在返回结果中与该字段对应的值为nil。

hgetall myhash	
#hgetall命令返回myhash键的所有字段及其值，从结果中可以看出，他们是逐对列出的。

hkeys myhash			
#hkeys命令仅获取myhash键中所有字段的名字。

hvals myhash			#hvals命令仅获取myhash键中所有字段的值

set数据类型（无序集合）

  • 无序集合，元素类型为String类型，元素具有唯一性，不允许存在重复的成员。多个集合类型之间可以进行并集、交集和差集运算。
  • 应用范围：
    1. 可以使用Redis的Set数据类型跟踪一些唯一性数据，比如访问某一博客的唯一IP地址信息。对于此场景，我们仅需在每次访问该博客时将访问者的IP存入Redis中，Set数据类型会自动保证IP地址的唯一性。
    2. 充分利用Set类型的服务端聚合操作方便、高效的特性，可以用于维护数据对象之间的关联关系。比如所有购买某一电子设备的客户ID被存储在一个指定的Set中，而购买另外一种电子产品的客户ID被存储在另外一个Set中，如果此时我们想获取有哪些客户同时购买了这两种商品时，Set的intersections命令就可以充分发挥它的方便和效率的优势了。
sadd myset a b c	
 #插入测试数据，由于该键myset之前并不存在，因此参数中的三个成员都被正常插入。

sadd myset a d e		
#由于参数中的a在myset中已经存在，因此本次操作仅仅插入了d和e两个新成员。

sismember myset a		#判断a是否已经存在，返回值为1表示存在

smembers myset		
#通过smembers命令查看插入的结果，从结果可以看出，输出的顺序和插入顺序无关

scard myset			#获取Set集合中元素的数量

del myset				#删除该键

srandmember myset		#从结果可以看出，该命令确实是随机的返回了某一成员

spop myset			#随机的移除并返回Set中的某一成员

srem myset a d f	
#从Set中移出a、d和f三个成员，其中f并不存在，因此只有a和d两个成员被移出，返回为2。

smove myset myset2 a		
#将a从myset移到myset2，从结果可以看出移动成功。

smove myset myset2 a		
#再次将a从myset移到myset2，由于此时a已经不是myset的成员了，因此移动失败并返回0

Sorted Set数据类型（有序合集）

  • 有序集合，元素类型为Sting，元素具有唯一性，不能重复。

  • 每个元素都会关联一个double类型的分数score(表示权重)，可以通过权重的大小排序，元素的score可以相同。

  • 应用范围：

    1. 可以用于一个大型在线游戏的积分排行榜。每当玩家的分数发生变化时，可以执行ZADD命令更新玩家的分数，此后再通过ZRANGE命令获取积分TOP10的用户信息。当然我们也可以利用ZRANK命令通过username来获取玩家的排行信息。最后我们将组合使用ZRANGE和ZRANK命令快速的获取和某个玩家积分相近的其他用户的信息。
    2. Sorted-Set类型还可用于构建索引数据。
zadd myzset 1 "one"				#添加一个分数为1的成员
zadd myzset 2 "two" 3 "three"		
#添加两个分数分别是2和3的两个成员。

zrange myzset 0 -1 WITHSCORES		
#0表示第一个成员，-1表示最后一个成员。WITHSCORES选项表示返回的结果中包含每个成员及其分数，否则只返回成员。

zrank myzset one				
#获取成员one在Sorted-Set中的位置索引值。0表示第一个位置

zrank myzset four			
#成员four并不存在，因此返回nil。

zcard myzset						
#获取myzset键中成员的数量

zcount myzset 1 2					
#zcount key min max，分数满足表达式1 <= score <= 2的成员的数量。

zrangebyscore myzset 1 2		
#zrangebyscore key min max，获取分数满足表达式1 <= score <= 2的成员

zrangebyscore myzset (1 2			
#获取分数满足表达式1 < score <= 2的成员。

zrem myzset one two				
#删除成员one和two，返回实际删除成员的数量

zscore myzset three				
#获取成员three的分数。返回值是字符串形式

zscore myzset two					
#由于成员two已经被删除，所以该命令返回nil

zincrby myzset 2 one	
#成员one不存在，zincrby命令将添加该成员并假设其初始分数为0，将成员one的分数增加2，并返回该成员更新后的分数

zincrby myzset -1 one				
#将成员one的分数增加-1，并返回该成员更新后的分数

zrange myzset 0 -1 WITHSCORES		
#查看在更新了成员的分数后是否正确

zrangebyscore myzset -inf +inf limit 2 3	
#-inf表示第一个成员（位置索引值最低的，即0），+inf表示最后一个成员（位置索引值最高的），
limit后面的参数用于限制返回成员的值，2表示从位置索引等于2的成员开始，取后面3个成员。

zremrangebyscore myzset 1 2	
#删除分数满足表达式1 <= score <= 2的成员，并返回实际删除的数量。

zrevrange myzset 0 -1 WITHSCORES		
#以位置索引从高到低的方式获取并返回此区间内的成员

zrevrange myzset 1 3			
#由于是从高到低的排序，所以位置等于0的是four，1是three，并以此类推

zrevrank myzset one			
#由于是从高到低的排序，所以one的位置是3

zrevrangebyscore myzset 3 0	
#zrevrangebyscore key max min， 获取分数满足表达式3 >= score >= 0 的成员，并以从高到底的顺序输出

zrevrangebyscore myzset 4 0 limit 1 2		
#zrevrangebyscore命令支持limit选项，其含义等同于zrangebyscore中的该选项，只是在计算位置时按照相反的顺序计算和获取。

zrevrangebyscore myzset +inf -inf limit 1 3
# nosql # redis # 数据库
Logo
开放原子开发者工作坊

开放原子开发者工作坊旨在鼓励更多人参与开源活动，与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动，如meetup、训练营等，主打技术交流，干货满满，真诚地邀请各位开发者共同参与！

更多推荐

cover

赛项征集 | 第二届开放原子开源大赛——汽车软件开源赛火热进行中

avatar 开放原子开发者工作坊

开放原子校源行启动优质开源课程征集，助力高校开源人才培养

校源行启动优质开源课程征集，助力高校开源人才培养

avatar 开放原子开发者工作坊
cover

第二届Open Source Congress在北京成功举办

avatar 开放原子开发者工作坊