线上Redis禁止使用Keys正则匹配操作 - 简书


本站和网页 https://www.jianshu.com/p/2d0e11c551fc 的作者无关,不对其内容负责。快照谨为网络故障时之索引,不代表被搜索网站的即时页面。

线上Redis禁止使用Keys正则匹配操作 - 简书登录注册写文章首页下载APP会员IT技术线上Redis禁止使用Keys正则匹配操作赵客缦胡缨v吴钩霜雪明关注赞赏支持线上Redis禁止使用Keys正则匹配操作
转载至微信公众号:【架构师小秘圈】 作者:孤独烟,资深后端工程师,业内知名原创作者
一个新闻
新闻内容如下:
PHP工程师执行redis keys \* 导致数据库宕机
某公司技术部发生2起本年度PO级特大事故,造成公司资金损失400万,原因如下:
由于PHP工程师直接操作上线redis,执行
keys * wxdb(此处省略)cf8*
这样的命令,导致redis锁住,从而导致CPU飙升,引起所有支付链路卡住,等十几秒结束后,所有的请求流量全部挤压到了rds数据库中,使数据库产生了雪崩效应,发生了数据库宕机事件。
该公司表示,如再犯类似事故,将直接开除,并表示之后会逐步收回运维部各项权限。
正文
一条铁律
在业内,redis开发规范中有一条铁律如下所示
线上Redis禁止使用Keys正则匹配操作
然而大家都知道,却一直忘记,所以事故会不断的发生。
下面讲一讲在线上执行正则匹配操作,引起缓存雪崩,最终数据库宕机的原因。
分析原因
OK,先说两句废话
1、redis是单线程的,其所有操作都是原子的,不会因并发产生数据异常
2、使用高耗时的Redis命令是很危险的,会占用唯一的一个线程的大量处理时间,导致所有的请求都被拖慢。(例如时间复杂度为O(N)的KEYS命令,严格禁止在生产环境中使用)
有上面两句作铺垫,原因就显而易见了。
(1)运维人员进行keys *操作,该操作比较耗时,又因为redis是单线程的,所以redis被锁住。
(2)此时QPS比较高,又来了几万个对redis的读写请求,因为redis被锁住,所以全部Hang在那。
(3)因为太多线程Hang在那,CPU严重飙升,造成redis所在的服务器宕机
(4)所有的线程在redis那取不到数据,一瞬间全去数据库取数据,数据库就宕机了。
需要注意的是,同样危险的命令不仅有keys *,还有以下几组
Flushdb 命令用于清空当前数据库中的所有 key
Flushall 命令用于清空整个 Redis 服务器的数据(删除所有数据库的所有 key )
CONFIG 客户端连接后可配置服务器
因此,一个合格的redis运维或者开发,应该懂得如何禁用上面的命令。所以我一直觉得出现新闻中那种情况的原因,一般是人员的水平问题。
怎么禁用这些命令呢?
就是在redis.conf中,在SECURITY这一项中,我们新增以下命令:
rename-command FLUSHALL ""
rename-command FLUSHDB ""
rename-command CONFIG ""
rename-command KEYS ""
另外,对于FLUSHALL命令,需要设置配置文件中appendonly no,否则服务器是无法启动
注意了,上面的这些命令可能有遗漏,大家可以查官方文档。除了Flushdb这类和redis安全隐患有关的命令意外,但凡发现时间复杂度为O(N)的命令,都要慎重,不要在生产上随便使用。例如hgetall、lrange、smembers、zrange、sinter等命令,它们并非不能使用,但这些命令的时间复杂度都为O(N),使用这些命令需要明确N的值,否则也会出现缓存宕机。
改良建议
业内建议使用scan命令来改良keys和SMEMBERS命令
redis2.8版本以后有了一个新命令scan,可以用来分批次扫描redis记录,这样肯定会导致整个查询消耗的总时间变大,但不会影响redis服务卡顿,影响服务使用。
具体使用,大家可以参考这份文档http://doc.redisfans.com/key/scan.html
推荐阅读更多精彩内容Redis NoSQL数据库(version 3.0)NOSQL类型简介键值对:会使用到一个哈希表,表中有一个特定的键和一个指针指向特定的数据,如redis,volde...MicoCube阅读 3,548评论 2赞 27redis理论基础原帖地址:https://www.jianshu.com/p/2f14bc570563 redis概述 Redis...onlyHalfSoul阅读 1,981评论 0赞 28Redis 的 KEYS 命令引起 RDS 数据库雪崩,宕机 2 次,造成几百万损失最近的互联网线上事故发生比较频繁,9月19日网上爆料出顺丰近期发生了一起线上删库事件,在这里就不介绍了。 在这里讲...Java黎先生阅读 1,011评论 0赞 13从我不是药神到超载的小客车徐峥在电影中演一个卖印度神油的药贩子,从电影的情节来看,这是一个富有良知的药贩子,卖印度神油并没有改善他的生活,反...砾行阅读 107评论 0赞 1俞慧莉【精进打卡第320天】今早看到好多车主没戴头盔的电瓶车被警察扣走,昨晚看到林张春老师不断提醒各位家长打开电瓶车大灯,我观察了一下,十辆基...朵朵朵朵雪中莲阅读 52评论 0赞 0休息一整天水再浑浊,只要长久沉淀, 依然会分外清澄;人再愚钝, 只要足够努力,一样能改写命运。 ​传递美好的小珊珊Yoga阅读 38评论 0赞 0android:layout_marginEnd隐藏的坑 or setMargins无效转载请以链接形式标明出处: https://www.jianshu.com/p/3924ab03a97b本文出自:...103style阅读 3,921评论 0赞 1一张清单透露给你:哈佛大学是怎样训练谈判能力的9分钟搞定 赢得利益还能促进友谊的方法 1 这本书讲什么? 这次,炫先森陪你阅读的书是《谈判力》,这是一本指导我们...炫先森阅读 857评论 0赞 5评论1赞3030赞31赞赞赏更多好文