单机MySQL的年代
APP->DAL->Mysql
90年代,一个基本的数据的量一般不会太大,单个数据库完全足够
思考:这种情况下,整个网站的瓶颈是什么
Memcached(缓存)+Mysql+垂直拆分
网站百分之八十的情况都是在读,每次都要去查询数据库的话就十分的麻烦,所以说我们希望减轻数据的压力,我们可以使用缓存来保证效率
发展过程
分库分表+水平拆分
如今最近的年代
Not Only SQL
方便扩展,(数据之间没有关系,很好扩展)
大数据最高性能(Redis一秒写8万次,读取11万,Nosql的缓存记录集,是一种细粒度的缓存,性能会比较高)
数据类型是多样的(不需要实现设计数据库,随取随用,如果是书籍来那个十分的表,很多人就无法设计了)
传统的RDBMS和Nisql
传统的RDBMS
Nosql
了解:3V+3高
大数据时代的3V:主要是描述问题的
大数据时代的3高:主要是对程序的要求
KV键值对
文档型数据库(bson格式和json一样)
MongoDb(一般要求掌握)
列存储数据库
图关系数据库
Redis是什么
Redis能干嘛
特性
学习中需要用的东西
Windows
linux
下载安装包
redis安装
将安装包放到linux里
解压安装包
tar -zxvf redis
基本环境的配置
yum install gcc-c++
make
Redis的默认安装路径
usr/local/bin
将Redis配置文件,拷贝到自己创建的文件夹内部
redis默认不是后台启动的,修改配置文件
修改为自动启动
启动Redis服务
使用客户端试连接
redis-server hh/redis-conf
使用redis-cli的测试
查看redis的进程是否开启
ps -ef |grep redis
如何关闭redis服务
shutdown
再次查看进程
redis-benchmark是一个压力测试工具,官方自带的性能测试工具
redis-benchmark命令参数
测试:100个并发连接
redis默认有16个数据库
·redis是单线程的
明白redis是很快的,官方表示,redis是基于内存操作,cpu不是redis性能瓶颈,redis的瓶颈是根据机器的内存和网络带宽,既然可以使用单线程来实现,就使用单线程了。所有就使用了单线程了
redis是c语言写的,官方提供的数据为100000+的qps,完全不比同样是使用key-value的Memecache差
redis为什么单线程还这么快
后面有不会的命令可以在官网上选择
String类似的使用场景:value除了是我们的字符串还可以是我们的数字
(1)计数器
(2)统计多单位的数量
(3)粉丝数
(4)对象的缓存存储
操作字符串
127.0.0.1:6379> keys *
步长
127.0.0.1:6379> set views 0
OK
127.0.0.1:6379> get views
“0”
127.0.0.1:6379> incr views
(integer) 1
127.0.0.1:6379> incr views
(integer) 2
127.0.0.1:6379> get views
“2”
127.0.0.1:6379> decr views
(integer) 1
127.0.0.1:6379> get views
“1”
127.0.0.1:6379> incrby views 10
(integer) 11
127.0.0.1:6379> incrby views 20
(integer) 31
127.0.0.1:6379> decrby views 30
(integer) 1
字符串范围
127.0.0.1:6379> set key1 “hi,hh”
OK
127.0.0.1:6379> get key1
“hi,hh”
127.0.0.1:6379> GETRANGE key1 0 3
“hi,h”
127.0.0.1:6379> SETRANGE key1 1 ello
(integer) 5
127.0.0.1:6379> get key1
“hello”
127.0.0.1:6379> GETRANGE key1 0 -1
“hello”
设置过期时间
127.0.0.1:6379> setex key2 30 “hello”
OK
127.0.0.1:6379> ttl key2
(integer) 25
127.0.0.1:6379> setnx mykey “redis”
(integer) 1
127.0.0.1:6379> keys *
mset和mget
127.0.0.1:6379> mset k1 v1 k2 v2 k3 v3 #同时设置多个值
OK
127.0.0.1:6379> keys *
对象
127.0.0.1:6379> mset user:1:name zhangsan user:1:age 2
OK
127.0.0.1:6379> mget user:1:name user:1:age
getset
127.0.0.1:6379> getset db redis
(nil)
127.0.0.1:6379> get db
“redis”
127.0.0.1:6379> getset db mdb
“redis”
127.0.0.1:6379> get db
“mdb”
实际上是一个链表,before Node after,left,right都可以插入值
(1)如果key不存在,创建新的链表
(2)如果key存在,新增内容
(3)如果移除了所有值,空链表,也代表不存在
(4)在两边插入或者改动值,效率最高,中间元素,相对来说效率会低一点
消息排队,消息队列(Lpush,Rpush),栈(Lpush,Lpop)
存入与读取
127.0.0.1:6379> LPUSH list one
(integer) 1
127.0.0.1:6379> LPUSH list two
(integer) 2
127.0.0.1:6379> LPUSH list three
(integer) 3
127.0.0.1:6379> LRANGE list 0 -1
移除
127.0.0.1:6379> lpop list
“three”
127.0.0.1:6379> rpop list
“four”
127.0.0.1:6379> lrange list 0 -1
获取指定值
127.0.0.1:6379> lrange list 0 -1
获取长度
127.0.0.1:6379> Llen list
(integer) 2
移除指定元素
127.0.0.1:6379> lrange list 0 -1
截断
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> rpush list “hello”
(integer) 1
127.0.0.1:6379> rpush list “hello1”
(integer) 2
127.0.0.1:6379> lpush list “hello2”
(integer) 3
127.0.0.1:6379> lpush list “hello3”
(integer) 4
127.0.0.1:6379> lrange list 0 -1
trim:修剪
lpoplpush:移除列表中的最后一个元素,将他移动到新的列表当中
127.0.0.1:6379> rpush list “hello”
(integer) 1
127.0.0.1:6379> rpush list “hello1”
(integer) 2
127.0.0.1:6379> rpush list “hello2”
(integer) 3
127.0.0.1:6379> rpoplpush list otherlist
“hello2”
127.0.0.1:6379> lrange list 0 -1
lset:将列表中指定下标的值替换为另外一个值,更新操作
127.0.0.1:6379> lpush list value1
(integer) 1
127.0.0.1:6379> lrange list 0 0
linsert:将某个具体的value插入到某个值的前面或者后面
127.0.0.1:6379> rpush list “hello”
(integer) 1
127.0.0.1:6379> rpush list “hello”
(integer) 2
127.0.0.1:6379> linsert list after “hello” “world”
(integer) 3
127.0.0.1:6379> lrange list 0 -1
Set的值不能重复
微薄,A用户将所有关注的人放在一个set集合中,将他的粉丝也放在一个集合中
共同关注,共同爱好,二度好友,推荐好友(六度分割理论)
添加,查看,判断是否存在
127.0.0.1:6379> sadd set “hello”
(integer) 1
127.0.0.1:6379> sadd set “hefei”
(integer) 1
127.0.0.1:6379> sadd set “world”
(integer) 1
127.0.0.1:6379> smembers set
元素个数
127.0.0.1:6379> scard set
(integer) 3
移除
127.0.0.1:6379> srem set hello
(integer) 1
127.0.0.1:6379> scard set
(integer) 2
127.0.0.1:6379> smembers set
随机抽取
127.0.0.1:6379> smembers set
随机删除
127.0.0.1:6379> smembers set
将一个指定的值,移动到另外的集合中
127.0.0.1:6379> sadd set hello
(integer) 1
127.0.0.1:6379> sadd myset hello
(integer) 1
127.0.0.1:6379> smove set myset “world”
(integer) 1
127.0.0.1:6379> scard myset
(integer) 2
127.0.0.1:6379> smembers myset
差交并
127.0.0.1:6379> sadd set1 a
(integer) 1
127.0.0.1:6379> sadd set1 b
(integer) 1
127.0.0.1:6379> sadd set1 c
(integer) 1
127.0.0.1:6379> sadd set2 c
(integer) 1
127.0.0.1:6379> sadd set2 d
(integer) 1
127.0.0.1:6379> sadd set2 e
(integer) 1
127.0.0.1:6379> sdiff set1 set2
Map集合,key-map时候这个值是一个map集合
hash变更的数据user name age,尤其是用户信息之类的,经常变动的信息!hash更适合于对象的存储,String更加适合字符串存储
存,取
127.0.0.1:6379> hset hash field1 gpp
(integer) 1
127.0.0.1:6379> hget hash field1
“gpp”
127.0.0.1:6379> hmset hash field1 hello field2 world
OK
127.0.0.1:6379> hmget hash field1 field2
删除
127.0.0.1:6379> hdel hash field1
(integer) 1
127.0.0.1:6379> hgetall hash
获取长度:hlen
127.0.0.1:6379> hlen hash
(integer) 1
判断是否存在:hexists
127.0.0.1:6379> hexists hash field1
(integer) 0
127.0.0.1:6379> hexists hash field2
(integer) 1
获取key or value
127.0.0.1:6379> hkeys hash
自增,自减
127.0.0.1:6379> hincrby hash num 1
(integer) 6
127.0.0.1:6379> hincrby hash num -1
(integer) 5
在set的基础上,增加了一个值,set k1 v1 zset k1 score1 v1
案例思路:
(1)set排序,存储班级成绩表,工资表排序
(2)普通消息,1,重要消息,2,带权重进行判断
(3)排行榜应用实现
增加
127.0.0.1:6379> zadd zset 1 one
(integer) 1
127.0.0.1:6379> zadd zset 2 two 3 three
(integer) 2
127.0.0.1:6379> zrange zset 0 -1
排序
127.0.0.1:6379> ZRANGEBYSCORE salary -inf +inf
移除
127.0.0.1:6379> zrem salary xiaohong
(integer) 1
127.0.0.1:6379> zrange salary 0 -1
获取数量:zcount
127.0.0.1:6379> zadd set 1 hello
(integer) 1
127.0.0.1:6379> zadd set 2 world 3 gpp
(integer) 2
127.0.0.1:6379> zcount set 1 3
(integer) 3
朋友的定位,附近的人,打车距离的计算
redis的Geo在redis3.2版本就推出了,这个功能可以推算地理位置的信息,两地之间的信息
geoadd:添加地理位置
127.0.0.1:6379> geoadd china:city 116.40 39.90 beijing
(integer) 1
127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai
(integer) 1
127.0.0.1:6379> geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen
(integer) 2
127.0.0.1:6379> geoadd china:city 120.16 30.24 hangzhou 108.96 34.26 xian
(integer) 2
geopos:获取地理位置
127.0.0.1:6379> geopos china:city beijing
geodist:两人之间的距离
127.0.0.1:6379> geodist china:city beijing shanghai
“1067378.7564”
127.0.0.1:6379> geodist china:city beijing shanghai km
“1067.3788”
单位
georadius:找附近的人(半径)
127.0.0.1:6379> georadius china:city 110 30 1000 km
georadiusbymember:找出位置的其他元素
127.0.0.1:6379> georadiusbymember china:city shanghai 400 km
geohash:返回一个或多个位置元素的geohash表示(将二维的经纬度转化为一维的字符串,如果两个字符串越接近,那么则距离越近)
127.0.0.1:6379> geohash china:city beijing chongqing
geo底层的实现原理其实就是Zset,我们可以使用Zset命令来操作geo
127.0.0.1:6379> zrange china:city 0 -1
如果允许容错,那么一定可以使用Hyperloglog
如果不允许容错,就使用set或者直接的数据类型即可
什么是基数?
简介
测试使用
127.0.0.1:6379> pfadd mykey a b c d e f g h i j
(integer) 1
127.0.0.1:6379> pfcount mykey
(integer) 10
127.0.0.1:6379> pfadd mykey1 i j z x c v b n m
(integer) 1
127.0.0.1:6379> pfcount mykey1
(integer) 9
127.0.0.1:6379> pfmerge mykey mykey1
OK
127.0.0.1:6379> pfcount mykey
(integer) 15
位存储
测试
使用bitmaps来记录周一到周日打卡
127.0.0.1:6379> setbit sign 0 1
(integer) 0
127.0.0.1:6379> setbit sign 1 0
(integer) 0
127.0.0.1:6379> setbit sign 2 0
(integer) 0
127.0.0.1:6379> setbit sign 3 1
(integer) 0
127.0.0.1:6379> setbit sign 4 1
(integer) 0
127.0.0.1:6379> setbit sign 5 0
(integer) 0
127.0.0.1:6379> setbit sign 6 0
(integer) 0
查看某一天是否打卡
127.0.0.1:6379> getbit sign 4
(integer) 1
127.0.0.1:6379> getbit sign 5
(integer) 0
统计打卡的天数
127.0.0.1:6379> bitcount sign
(integer) 3
一组命令的集合,一个事务中的所有命令都会被序列化,在事务执行过程中,会按照顺序执行
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> get k2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> exec
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k4 v4
QUEUED
127.0.0.1:6379(TX)> discard
OK
127.0.0.1:6379> get k4
(nil)
编译型异常(代码有问题,命令有错),事务中所有的命令都不会被执行
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> getset k3
(error) ERR wrong number of arguments for ‘getset’ command
127.0.0.1:6379(TX)> set k4 v4
QUEUED
127.0.0.1:6379(TX)> set k5 v5
QUEUED
127.0.0.1:6379(TX)> exec
(error) EXECABORT Transaction discarded because of previous errors.
127.0.0.1:6379> get k5
(nil)
运行时异常(1/0),如果事务队列中存在语法性,那么执行命令的时候,其他命令是一款正常执行的,错误命令抛出异常
127.0.0.1:6379> set k1 “v1”
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> incr k1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> exec
锁
悲观锁
乐观锁
redis监视测试
正常执行成功
127.0.0.1:6379> set money 100
OK
127.0.0.1:6379> set out 0
OK
127.0.0.1:6379> watch money
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> decrby money 20
QUEUED
127.0.0.1:6379(TX)> incrby out 20
QUEUED
127.0.0.1:6379(TX)> exec
测试多线程修改值,使用watch可以当做redis的乐观锁操作
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> decrby money 10
QUEUED
127.0.0.1:6379(TX)> incrby out 10
QUEUED
127.0.0.1:6379(TX)> exec #执行之前,另外一个线程,修改了我们的值,这个时候,就会导致事务执行失败
(nil)
如果修改失败,获取最新的值就好
127.0.0.1:6379> unwatch #如果发现事务执行失败就先解锁
OK
127.0.0.1:6379> watch money #获取最新的锁,再次监视,select version
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> decrby money 1
QUEUED
127.0.0.1:6379(TX)> incrby money 1
QUEUED
127.0.0.1:6379(TX)> exec #比对监视的值是否发生了变化,如果没有变化,那么可以执行成功,如果变了就执行失败
导入对应的依赖
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.6.0</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.56</version> </dependency>
编码测试
package com.redis;
import redis.clients.jedis.Jedis;
public class Testping {
public static void main(String[] args) {
//1.new Jedis 对象即可
Jedis jedis = new Jedis(“127.0.0.1”,6379);
//Jedis所有的命令就是我们之前学习的所有指令,所有之前的指令学习很重要
System.out.println(jedis.ping());
}
}
@Bean
@ConditionalOnMissingBean(name = “redisTemplate”)//我们可以自己定义
@ConditionalOnSingleCandidate(RedisConnectionFactory.class)
public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
//默认的RedisTemplate没有过多的设置,redis队形都是需要序列化的
//两个泛型都是Object,Object的类型,我们后使用需要强制转换<String,Object>
RedisTemplate<Object, Object> template = new RedisTemplate<>();
template.setConnectionFactory(redisConnectionFactory);
return template;
}
@Bean
@ConditionalOnMissingBean//由于String是redis中最常用的使用类型,所有说单独提出来了一个bean
@ConditionalOnSingleCandidate(RedisConnectionFactory.class)
public StringRedisTemplate stringRedisTemplate(RedisConnectionFactory redisConnectionFactory) {
StringRedisTemplate template = new StringRedisTemplate();
template.setConnectionFactory(redisConnectionFactory);
return template;
}
导入依赖
配置连接
spring.redis.host=127.0.0.1
spring.redis.port=6379
测试
redisTemplate:造作不同的数据类型,api和我们的指令是一样的
启动的时候,就通过配置文件来启动
配置文件unit单位对大小写不敏感
好比我们学习spring,import,include
持久化,再规定的时间内,执行了多少次操作,则会持久化到文件.rdb.aof
redis是内存数据库,如果没有持久化,那么数据断电及失
设置redis的密码
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> config get requirepass #获取redis的密码
maxclients 10000:设置连接池上redis的最大客户端的数量
maxmemory :redis配置最大的内存容量
maxmemory-policy noeviction:内存到达上限之后的处理策略
redis发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接受消息。微博,关注系统
redis客户端可以订阅任意数量的频道
订阅/发布消息图
Redis是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出,服务器中的数据库状态也会消失,所以redis提供了持久化功能
是什么
触发机制
如果恢复rdb文件
优点
缺点
是什么
append
优点
缺点
扩展
RDB持久化方式能够在指定的时间间隔内对你的数据进行快照存储
AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加八寸每次写的操作到文件末尾,redis还能对AOF文件进行后台重写,使得AIF文件的体积不至于过大
只做缓存,如果你只希望你的数据在服务器运行的时候存在,你也可以不适用任何的持久化
同时开启两种持久化方式
性能建议
主从复制,是指将一台redis服务器的数据,复制到其他的redis服务器,前者称为主节点,后者称为从节点;数据的复制是单向的,只能由主节点到从节点,Master以写为主,Slave以读为主
默认情况下,每台redis服务器都是主节点;且一个主节点可以有多个从节点,但一个从节点只能由一个主节点,
作用
一般来说,要将redis运用于工程项目中,只使用一台redis是万万不能的,原因
查看当前库的信息
127.0.0.1:6379> info replication
role:master
connected_slaves:0
master_failover_state:no-failover
master_replid:d3a2c0903dd76f5d42ba1d8572af77d537e92d8d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
复制三个配置文件,然后修改对应的信息
一主二从
默认情况下,每台redis服务器都是主节点:我们一般情况下只用配置从机就好了
从机
127.0.0.1:6380> slaveof 127.0.0.1 6379
OK
127.0.0.1:6380> info replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:7
master_sync_in_progress:0
slave_repl_offset:0
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:ce08ec3f604ba9f9933993a3a21c878a05e6b9ee
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0
主机
127.0.0.1:6379> info replication
role:master
connected_slaves:1
slave0:ip=127.0.0.1,port=6380,state=online,offset=28,lag=1
master_failover_state:no-failover
master_replid:ce08ec3f604ba9f9933993a3a21c878a05e6b9ee
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:28
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:28
真实的主从配置是从配置文件里配置,这样配置是永久的
主机可以写,从机不能写只能读,主机中的所有信息和数据,都会自动被从机保存
主机写
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> set k1 v1
OK
从机只能读取内容
127.0.0.1:6380> get k1
“v1”
127.0.0.1:6380> set k2 v2
(error) READONLY You can’t write against a read only replica.
主机断开连接,从机依旧能连接到主机,但是没有写操作,这个时候,主机如果回来了,从机依旧可以直接获取到主机写的信息
如果是使用命令行,来配置的主从没这个时候如果重启了,就会变回主机,只要变为从机,立马就会从主机中获取值
配置哨兵配置文件sentinel.conf
sentinel monitor myredis 127.0.0.1 6379 1:sentinel monitor 被监控的名称 host port 1
后面的数字1,代表主机挂了,slave投票看让谁接替称为主机
启动哨兵
如果Master节点断开了,这个时候就会从从机中随机选择一个服务器(这里面有一个投票算法)
如果主机此时回来了,直能归并到主机下,当作从机,这就是哨兵模式的区别
优点
缺点
概念
解决方案
布隆过滤器
概念
问题
概述
解决方案
设置热点数据永不过期
加互斥锁
概念
解决方案
redis高可用
限流降级
数据预热
XMind - Trial Version