1.NoSQL之Redis配置和优化
Redis(远程字典服务器)是一个开源的、使用C语言编写的NoSQL 数据库。Redis基于内存运行并支持持久化,采用key-value (键值对)的存储形式,是日前分布式架构中不可或缺的一环。Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服
文章目录
NoSQL之Redis配置和优化
关系型数据库和非关系型数据库
关系型数据库
- 关系型数据库是一一个结构化的数据库,创建在关系模型(二维表格模型)基础上,一般面向于记录。
- SQL语句(标准数据查询语言)就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作。
- 主流的关系型数据库包括Oracle、MySQL、SQL Server、Microsoft Access、DB2等。
- 以上数据库在使用的时候必须先建库建表设计表结构,然后存储数据的时候按表结构去存,如果数据与表结构不匹配就会存储失败。
非关系型数据库
- NoSQL (NoSQL = Not Only SQL ),意思是“不仅仅是SQL”,是非关系型数据库的总称。
- 除了主流的关系型数据库外的数据库,都认为是非关系型。
- 不需要预先建库建表定义数据存储表结构,每条记录可以有不同的数据类型和字段个数(比如微信群聊里的文字、图片、视频、音乐等)
- 主流的NoSQL 数据库有Redis、 MongBD、Hbase、 Memcached 等
关系型数据库和非关系型数据库区别
-
数据存储方式不同
- 关系型和非关系型数据库的主要差异是数据存储的方式。
- 关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。
- 与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。
-
扩展方式不同
- SQL和NoSQL数据库最大的差别可能是在扩展方式上,要支持日益增长的需求当然要扩展。
- 要支持更多并发量,SQL数据库是纵向扩展,也就是说提高处理能力,使用速度更快速的计算机,这样处理相同的数据集就更快了。
- 因为数据存储在关系表中,操作的性能瓶颈可能涉及很多个表,这都需要通过提高计算机性能来克服。虽然SQL数据库有很大扩展空间,但最终肯定会达到纵向扩展的上限。
- 而NoSQL数据库是横向扩展的。因为非关系型数据存储天然就是分布式的,NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。
-
对事务性的支持不同
- 如果数据操作需要高事务性或者复杂数据查询需要控制执行计划,那么传统的SQL数据库从性能和稳定性方面考虑是你的最佳选择。
- SQL数据库支持对事务原子性细粒度控制,并且易于回滚事务。
- 虽然NoSQL数据库也可以使用事务操作,但稳定性方面没法和关系型数据库比较,所以它们真正闪亮的价值是在操作的扩展性和大数据量处理方面。
关系型数据库 | 非关系型数据库 | |
---|---|---|
存储结构 | 二维表结构 | 键值对、文档、图形结构等 |
扩展方式 | 纵向扩展提升硬件性能 | 横向扩展增加服务器节点数量 |
事务支持 | 事务控制更文档,细粒度高 | 稳定性和细粒度控制方面不如关系型数据库 |
典型代表 | Mysql、Oracle、SQL、Server | Redis、Memcached、MongDB、ElasticSearch、Prometheus |
非关系型数据库产生背景
-
可用于应对Web2.0纯动态网站类型的三高问题(高并发、高性能、高可用)。
- High performance–对数据库高并发读写需求
- HugeStorage–对海量数据高效存储与访问需求
- High Scalability && High Availability–对数据库高可扩展性与高可用性需求
-
关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给Web2.0的数据库发展带来新的思路。
-
让关系数据库关注在关系上,非关系型数据库关注在存储和高效率上。例如,在读写分离的MySQL数据库环境中,可以把经常访问的数据存储在非关系型数据库中,提升访问速度。
总结
关系型数据库
实例–>数据库–>表(table)–>记录行(row)、数据字段(column)
非关系型数据库:
实例–>数据库–>集合(collection)–>键值对(key-value)
非关系型数据库不需要手动建数据库和集合(表)。
Redis
简介
- Redis(远程字典服务器)是一个开源的、使用C语言编写的NoSQL 数据库。
- Redis基于内存运行并支持持久化,采用key-value (键值对)的存储形式,是日前分布式架构中不可或缺的一环。
- Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠于主进程的执行效率。
- 若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;
- 若在同一台服务器上开启多个Redis进程,Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程。
- 若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程。
- 若CPU资源比较紧张,采用单进程即可。
优点和使用场景
- 具有极高的数据读写速度:数据读取的速度最高可达到110000次/s,数据写入速度最高可达到81000 次/s。
- 支持丰富的数据类型:支持key-value、Strings、 Lists、 Hashes、 Sets 及 Ordered Sets等数据类型操作。
- 支持数据的持久化:可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
- 原子性:Redis所有操作都是原子性的。
- 支持数据备份:即master-salve 模式的数据备份。
-
Redis作为基于内存运行的数据库,缓存是其最常应用的场景之一。 除此之外,Redis常 见应用场景还包括获取最新N个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。
-
使用场景
- Redis作为基于内存运行的数据库,是一个高性能的缓存,一般应用在Session缓存、队列、排行榜、计数器、最近最热文章、最近最热评论、发布订阅等。
- Redis适用于数据实时性要求高、数据存储有过期和淘汰特征的、不需要持久化或者只需要保证弱一致性、逻辑简单的场景。
- 我们通常会将部分数据放入缓存中,来提高访问速度,然后数据库承担存储的工作。
-
哪些数据适合放入缓存中
- 即时性。例如查询最新的物流状态信息。
- 数据一致性要求不高。例如门店信息,修改后,数据库中已经改了,五分钟后缓存中才是最新的,但不影响功能使用。
- 访问量大且更新频率不高,例如网站首页的广告信息,访问量大,但是不会经常变化。
-
Redis为什么这么快?
- Redis是一 款纯内存结构,避免了磁盘I/0等耗时操作。
- Redis命令处理的核心模块为单线程,不存在多线程切换而消耗CPU,不用考虑各种锁的问题,不存在加锁、释放锁的操作,没有因为可能出现死锁而导致性能消耗。
- 采用了I/O多路复用机制,大大提升了并发效率。
- 注:在Redis6.0中新增加的多线程也只是针对处理网络请求过程采用了多线性,而数据的读写命令,仍然是单线程处理的。
Redis部署
##关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
##修改内核参数
vim /etc/sysctl.conf
vm.overcommit_memory = 1
##内存分配做检查
##1:内核允许超量使用
net.core.somaxconn = 2048
##TCP连接时使用,TCP监听端口的队列长度,就是多少并发
vm.overcommit_memory = 1
net.core.somaxconn = 10240
sysctl -p
##安装Redis
yum install -y gcc gcc-c++ make
cd /opt/
tar xf /opt/redis-7.0.9.tar.gz
cd /opt/redis-7.0.9
make
make PREFIX=/usr/local/redis install
##创建redis工作目录
cd /usr/local/redis
mkdir /usr/local/redis/{conf,log,data}
cp /opt/redis-7.0.9/redis.conf /usr/local/redis/conf/
##创建redis用户
useradd -M -s /sbin/nologin redis
chown -R redis.redis /usr/local/redis/
##修改环境变量
vim /etc/profile
PATH=$PATH:/usr/local/redis/bin #增加一行
source /etc/profile
##修改配置文件
vim /usr/local/redis/conf/redis.conf
bind 127.0.0.1 192.168.242.70
#87行,添加 监听的主机地址
protected-mode no
#111行,将本机访问保护模式设置no。如果开启了,那么在没有设定bind ip且没有设密码的情况下,Redis只允许接受本机的响应
port 6379
#138行,Redis默认的监听6379端口
tcp-backlog 10240
##设置与环境变量一致
daemonize yes
#309行,设置为守护进程,后台启动
pidfile /usr/local/redis/log/redis_6379.pid
#341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"
#354行,指定日志文件
dir /usr/local/redis/data
#504行,指定持久化文件所在目录
requirepass 123
#1037行,增加一行,设置redis密码
##定义systemd服务管理脚本
vim /usr/lib/systemd/system/redis-server.service
[Unit]
Description=Redis Server
After=network.target
[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
#启动服务
systemctl start redis-server
systemctl enable redis-server
netstat -lntp | grep 6379
Redis 命令工具
##Redis 命令工具
redis-server:Redis 服务器启动命令
redis-benchmark:性能测试工具,用于检测 Redis 在本机的运行效率
redis-check-aof:修复有问题的 AOF 持久化文件
redis-check-rdb:修复有问题的 RDB 持久化文件
redis-cli:Redis 客户端命令行工具
redis-sentinel:Redis 哨兵集群使用
redis-cli 命令行工具
-----redis-cli 命令行工具-----
语法:redis-cli -h host -p port [-a password]
-h :指定远程主机
-p :指定 Redis 服务的端口号
-a :指定密码,未设置数据库密码可以省略-a 选项
若不添加任何选项表示,则使用 127.0.0.1:6379 连接本机上的 Redis 数据库
redis-cli -h 192.168.242.70 -p 6379 -a '123'
redis-benchmark 测试工具
-----redis-benchmark 测试工具-----
redis-benchmark 是官方自带的 Redis 性能测试工具,可以有效的测试 Redis 服务的性能。
基本的测试语法:redis-benchmark [选项] [选项值]。
-h :指定服务器主机名。
-p :指定服务器端口。
-s :指定服务器 socket
-c :指定并发连接数。
-n :指定请求数。
-d :以字节的形式指定 SET/GET 值的数据大小。
-k :1=keep alive 0=reconnect 。
-r :SET/GET/INCR 使用随机 key, SADD 使用随机值。
-P :通过管道传输<numreq>请求。
-q :强制退出 redis。仅显示 query/sec 值。
--csv :以 CSV 格式输出。
-l :生成循环,永久执行测试。
-t :仅运行以逗号分隔的测试命令列表。
-I :Idle 模式。仅打开 N 个 idle 连接并等待。
#向 IP 地址为 192.168.242.70、端口为 6379 的 Redis 服务器发送 100 个并发连接与 100000 个请求测试性能
redis-benchmark -h 192.168.242.70 -p 6379 -c 100 -n 100000
#测试存取大小为 100 字节的数据包的性能
redis-benchmark -h 192.168.242.70 -p 6379 -q -d 100 -a '123'
#测试本机上 Redis 服务在进行 set 与 lpush 操作时的性能
redis-benchmark -t set,lpush -n 100000 -q -a '123'
String数据类型命令
set 键 值 #设置键和值
setnx mykey "world"
#该键已经存在,因此本次设置没有产生任何效果,不存在则设置键值
get 键 #查询键的值
keys 键 * ? #查询键
KEYS * #查看当前数据库中所有键
KEYS v? #查看当前数据库中以 v
exists 键 #判断键是否存在
append mykey "hello"
#该键并不存在,因此append命令返回当前Value的长度。
append mykey " world"
#该键已经存在,因此返回追加后Value的长度。
strlen mykey #获取指定Key的字符长度。
del 键 #删除键
type 键 #查询键的数据类型
expire 键 过期秒数 #设置键的生命周期
ttl 键 #查看键的生命周期时间 -1 永不过期 -2 已过期
rename 旧键 新键 重命名键名,会覆盖已存在的键值
renamenx 旧键 新键 重命名键名,如新键名已存在会放弃重命名操作
dbsize 查询当前库中键的数量
##Redis 支持多数据库,Redis 默认情况下包含 16 个数据库,数据库名称是用数字 0-15 来依次命名的。
##多数据库相互独立,互不干扰。
select 库ID 0~15 #切换库
move 键 库ID #移动键到指定的库,指定库中有键则失败
flushdb 清空当前库的所有键(慎用)
flushall 清空所有库的所有键(慎用
config set requirepass '密码' #设置redis密码
config get requirepass #查询密码
auth '密码' #在redis里验证密码
incr mykey
#该Key的值递增1,#对空值执行递减操作,其原值被设定为0,递增后的值为1
decr mykey
#该Key的值递减1,#对空值执行递增操作,其原值被设定为0,递减后的值为-1
不能转换为整型的普通字符串
decrby mykey 5 #减少指定的整数
incrby mykey 10 #增加指定的整数
getset mycounter 0
#在获取计数器原有值的同时,并将其设置为新值,这两个操作原子性的同时完成。
get mycounter #查看设置后的结果。
mset key1 "hello" key2 "world"
#批量设置了key1和key2两个键。
mget key1 key2
#批量获取了key1和key2两个键的值。
msetnx key3 "zhang" key4 "san"
#批量设置了key3和key4两个键,因为之前他们并不存在,所以msetnx命令执行成功并返回1。
List数据类型
列表的元素类型为string,按照插入顺序排序,在列表的头部或尾部添加元素
lpush mykey a b c d
#mykey键并不存在,该命令会创建该键及与其关联的List,之后在将参数中的values从左到右依次插入。
lpushx mykey2 e
#mykey2键此时并不存在,因此lpushx命令将不会进行任何操作,其返回值为0。
lpushx mykey e
#mykey键此时已经存在,所以lpushx命令插入成功,并返回链表中当前元素的数量。
lrange mykey 0 2 #取从位置0开始到位置2结束的3个元素。
lrange mykey 0 -1 #取链表中的全部元素,其中0表示第一个元素,-1表示最后一个元素。
lrange mykey 0 0 #获取该键的List Value的头部元素
lpop mykey
#移除并返回mykey键的第一个元素,从左取
"d"
llen mykey #在执行lpop命令两次后,链表头部的两个元素已经被弹出,此时链表中元素的数量是2
lrem mykey 2 a
#从头部(left)向尾部(right)变量链表,删除2个值等于a的元素,返回值为实际删除的数量。
lrange mykey 0 -1 #看出删除后链表中的全部元素。
lindex mykey 1 #获取索引值为1(头部的第二个元素)的元素值。
lset mykey 1 e #将索引值为1(头部的第二个元素)的元素值设置为新值e。
lindex mykey 1 #查看是否设置成功。
ltrim mykey 0 2 #仅保留索引值0到2之间的3个元素,注意第0个和第2个元素均被保留。
OK
lpush mykey a b c d e
linsert mykey before a a1 #在a的前面插入新元素a1。
linsert mykey after e e2 在e的后面插入新元素e2
rpush mykey a b c d #从链表的尾部插入参数中给出的values,插入顺序是从右到左依次插入
rpushx mykey e #该键已经存在并且包含4个元素,rpushx命令将执行成功,并将元素e插入到链表的尾部。
RPOP mykey
#移除并返回mykey键的第一个元素,从右取
rpoplpush mykey mykey2 #将mykey的尾部元素e弹出,同时再插入到mykey2的头部(原子性的完成这两步操作)。
rpoplpush mykey mykey #将source和destination设为同一键,将mykey中的尾部元素移到其头部。
Hash数据类型
- 概述:hash用于存储对象。可以采用这样的命名方式:对象类别和ID构成键名,使用字段表示对象的属性,而字段值则存储属性值。
- 如果Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对
hset myhash field1 "zhang"
#给键值为myhash的键设置字段为field1,值为zhang。
hget myhash field1
#获取键值为myhash,字段为field1的值。
hget myhash field2
#myhash键中不存在field2字段,因此返回nil。
hlen myhash
#hlen命令获取myhash键的字段数量。
hexists myhash field1
#判断myhash键中是否存在字段名为field1的字段,由于存在,返回值为1。
hdel myhash field1
#删除myhash键中字段名为field1的字段,删除成功返回1。
hsetnx myhash field1 zhang
#由于myhash的field1字段已经通过上一条命令添加成功,因为本条命令不做任何操作后返回0。
hincrby myhash field 1 #hincrby命令给myhash的field字段的值加1,返回加后的结果。
hincrby myhash field -1 #hincrby命令给myhash的field字段的值加-1,返回加后的结果。
del myhash #删除该键
hmset myhash field1 "hello" field2 "world"
#hmset命令为该键myhash,一次性设置多个字段,分别是field1="hello", field2="world"。
hmget myhash field1 field2 field3
#hmget命令获取myhash键的多个字段,其中field3并不存在,因为在返回结果中与该字段对应的值为nil。
hgetall myhash
#hgetall命令返回myhash键的所有字段及其值,从结果中可以看出,他们是逐对列出的。
hkeys myhash
#hkeys命令仅获取myhash键中所有字段的名字。
hvals myhash #hvals命令仅获取myhash键中所有字段的值
set数据类型(无序集合)
- 无序集合,元素类型为String类型,元素具有唯一性,不允许存在重复的成员。多个集合类型之间可以进行并集、交集和差集运算。
- 应用范围:
- 可以使用Redis的Set数据类型跟踪一些唯一性数据,比如访问某一博客的唯一IP地址信息。对于此场景,我们仅需在每次访问该博客时将访问者的IP存入Redis中,Set数据类型会自动保证IP地址的唯一性。
- 充分利用Set类型的服务端聚合操作方便、高效的特性,可以用于维护数据对象之间的关联关系。比如所有购买某一电子设备的客户ID被存储在一个指定的Set中,而购买另外一种电子产品的客户ID被存储在另外一个Set中,如果此时我们想获取有哪些客户同时购买了这两种商品时,Set的intersections命令就可以充分发挥它的方便和效率的优势了。
sadd myset a b c
#插入测试数据,由于该键myset之前并不存在,因此参数中的三个成员都被正常插入。
sadd myset a d e
#由于参数中的a在myset中已经存在,因此本次操作仅仅插入了d和e两个新成员。
sismember myset a #判断a是否已经存在,返回值为1表示存在
smembers myset
#通过smembers命令查看插入的结果,从结果可以看出,输出的顺序和插入顺序无关
scard myset #获取Set集合中元素的数量
del myset #删除该键
srandmember myset #从结果可以看出,该命令确实是随机的返回了某一成员
spop myset #随机的移除并返回Set中的某一成员
srem myset a d f
#从Set中移出a、d和f三个成员,其中f并不存在,因此只有a和d两个成员被移出,返回为2。
smove myset myset2 a
#将a从myset移到myset2,从结果可以看出移动成功。
smove myset myset2 a
#再次将a从myset移到myset2,由于此时a已经不是myset的成员了,因此移动失败并返回0
Sorted Set数据类型(有序合集)
-
有序集合,元素类型为Sting,元素具有唯一性,不能重复。
-
每个元素都会关联一个double类型的分数score(表示权重),可以通过权重的大小排序,元素的score可以相同。
-
应用范围:
- 可以用于一个大型在线游戏的积分排行榜。每当玩家的分数发生变化时,可以执行ZADD命令更新玩家的分数,此后再通过ZRANGE命令获取积分TOP10的用户信息。当然我们也可以利用ZRANK命令通过username来获取玩家的排行信息。最后我们将组合使用ZRANGE和ZRANK命令快速的获取和某个玩家积分相近的其他用户的信息。
- Sorted-Set类型还可用于构建索引数据。
zadd myzset 1 "one" #添加一个分数为1的成员
zadd myzset 2 "two" 3 "three"
#添加两个分数分别是2和3的两个成员。
zrange myzset 0 -1 WITHSCORES
#0表示第一个成员,-1表示最后一个成员。WITHSCORES选项表示返回的结果中包含每个成员及其分数,否则只返回成员。
zrank myzset one
#获取成员one在Sorted-Set中的位置索引值。0表示第一个位置
zrank myzset four
#成员four并不存在,因此返回nil。
zcard myzset
#获取myzset键中成员的数量
zcount myzset 1 2
#zcount key min max,分数满足表达式1 <= score <= 2的成员的数量。
zrangebyscore myzset 1 2
#zrangebyscore key min max,获取分数满足表达式1 <= score <= 2的成员
zrangebyscore myzset (1 2
#获取分数满足表达式1 < score <= 2的成员。
zrem myzset one two
#删除成员one和two,返回实际删除成员的数量
zscore myzset three
#获取成员three的分数。返回值是字符串形式
zscore myzset two
#由于成员two已经被删除,所以该命令返回nil
zincrby myzset 2 one
#成员one不存在,zincrby命令将添加该成员并假设其初始分数为0,将成员one的分数增加2,并返回该成员更新后的分数
zincrby myzset -1 one
#将成员one的分数增加-1,并返回该成员更新后的分数
zrange myzset 0 -1 WITHSCORES
#查看在更新了成员的分数后是否正确
zrangebyscore myzset -inf +inf limit 2 3
#-inf表示第一个成员(位置索引值最低的,即0),+inf表示最后一个成员(位置索引值最高的),
limit后面的参数用于限制返回成员的值,2表示从位置索引等于2的成员开始,取后面3个成员。
zremrangebyscore myzset 1 2
#删除分数满足表达式1 <= score <= 2的成员,并返回实际删除的数量。
zrevrange myzset 0 -1 WITHSCORES
#以位置索引从高到低的方式获取并返回此区间内的成员
zrevrange myzset 1 3
#由于是从高到低的排序,所以位置等于0的是four,1是three,并以此类推
zrevrank myzset one
#由于是从高到低的排序,所以one的位置是3
zrevrangebyscore myzset 3 0
#zrevrangebyscore key max min, 获取分数满足表达式3 >= score >= 0 的成员,并以从高到底的顺序输出
zrevrangebyscore myzset 4 0 limit 1 2
#zrevrangebyscore命令支持limit选项,其含义等同于zrangebyscore中的该选项,只是在计算位置时按照相反的顺序计算和获取。
zrevrangebyscore myzset +inf -inf limit 1 3
![Logo](https://devpress.csdnimg.cn/79de2bf0b7994defa4242ef90d5513fa.jpg)
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)