基于Redis的开源分布式服务Codis - 腾讯云开发者社区-腾讯云腾讯云备案控制台开发者社区学习实践活动专区工具TVP文章/答案/技术大牛搜索搜索关闭写文章提问登录/注册张善友深圳市友浩达科技有限公司 · CTO (已认证)腾讯云 TVP 成员1.5K 篇文章基于Redis的开源分布式服务Codis转到我的清单专栏首页张善友的专栏基于Redis的开源分布式服务Codis60分享分享文章到朋友圈分享文章到 QQ分享文章到微博复制文章链接到剪贴板海报分享海报分享基于Redis的开源分布式服务Codis发布于2018-01-19 11:25:29阅读 5960Redis在豌豆荚的使用历程——单实例==》多实例，业务代码中做sharding==》单个Twemproxy==》多个Twemproxy==》Codis，豌豆荚自己开发的分布式Redis服务。在大规模的Redis使用过程中，他们发现Redis受限于多个方面：单机内存有限、带宽压力、单点问题、不能动态扩容以及磁盘损坏时的数据抢救。 Redis通常有3个使用途径：客户端静态分片，一致性哈希；通过Proxy分片，即Twemproxy；还有就是官方的Redis Cluster，但至今无一个新版本。随后刘奇更详细的分析了为什么不使用Twemproxy和Redis Cluster： Twemproxy：最大的痛点是无法平滑的扩容或者缩容，甚至修改配置都需要重启服务；其次，不可运维，甚至没有Dashboard。 Redis Cluster（官方）：无中心化设计，程序难以编写；代码有点吓人，clusterProcessPacket函数有426行，人脑难以处理所有的状态切换；迟迟没有正式版本，等了4年之久；目前还缺乏最佳实践，没有人编写Redis Cluster的若干条注意事项；整个系统高度耦合，升级困难。 虽然我们有众多的选择，比如Tair、Couchbase等，但是如果你需要更复杂和优秀的数据结构，Redis可称为不二之选。基于这个原因，在Redis之上，豌豆荚设计了Codis，并将之开源。 Codis 既然重新设计，那么Codis首先必须满足自动扩容和缩容的需求，其次则是必须避免单点故障和单点带宽不足，做一个高可用的系统。在这之后，基于原有的遗留系统，还必须可以轻松地将数据从Twemproxy迁移到Codis，并实现良好的运维和监控。基于这些，Codis的设计跃然纸面： 然而，一个新系统的开发并不是件容易的事情，特别是一个复杂的分布式系统。刘奇表示，虽然当时团队只有3个人，但是他们几乎考量了可以考量的各种细节： 尽量拆分，简化每个模块，同时易于升级 每个组件只负责自己的事情 Redis只作为存储引擎 Proxy的状态 Redis故障判定是否放到外部，因为分布式系统存活的判定异常复杂 提供API让外部调用，当Redis Master丢失时，提升Slave为Master 图形化监控一切：slot状态、Proxy状态、group状态、lock、action等等 而在考量了一切事情后，另一个争论摆在了眼前——Proxy或者是Smart Client：Proxy拥有更好的监控和控制，同时其后端信息亦不易暴露，易于升级；而Smart Client拥有更好的性能，及更低的延时，但是升级起来却比较麻烦。对比种种优劣，他们最终选择了Proxy，无独有偶，在codis开源后，twitter的一个分享提到他们也是基于proxy的设计。 Codis主要包含Codis Proxy（codis-proxy）、Codis Manager（codis-config）、Codis Redis（codis-server）和ZooKeeper四大组件，每个部分都可动态扩容。 codis-proxy 。客户端连接的Redis代理服务，本身实现了Redis协议，表现很像原生的Redis （就像 Twemproxy）。一个业务可以部署多个 codis-proxy，其本身是无状态的。 codis-config。Codis 的管理工具，支持添加/删除Redis节点、添加/删除Proxy节点、发起数据迁移等操作。codis-config自带了一个http server，会启动一个dashboard，用户可以在浏览器上观察 Codis 集群的运行状态。 codis-server。Codis 项目维护的一个Redis分支，加入了slot的支持和原子的数据迁移指令。 ZooKeeper。Codis依赖ZooKeeper来存放数据路由表和codis-proxy节点的元信息，codis-config发起的命令会通过 ZooKeeper同步到各个存活的codis-proxy。 最后，刘奇还介绍详细的了Codis中Migration、lock (rwlock)等操作的实现过程和原理，以及从Twemproxy迁移到Codis的详细操作。更多Codis详情可移步Clodis开源页 GitHub 本文参与 腾讯云自媒体分享计划 ，欢迎热爱写作的你一起参与！本文分享自作者个人站点/博客：http://www.cnblogs.com/shanyou/复制如有侵权，请联系 cloudcommunity@tencent.com 删除。展开阅读全文云数据库 Redis举报点赞 6分享登录 后参与评论0 条评论相关文章基于 Twemproxy 与 Codis 的 redis 集群方案比较此前的文章中，我们介绍了三种 redis 集群和搭建方法。
redis 集群详解及搭建过程用户3147702基于redis实现分布式服务限流器在后台开发中，服务端的限流器是一个很常见并且十分有用的组件，利用好限流器可以限制请求速率，保护后台服务。
比较常见的限流器分为两种，漏桶算法和令牌桶算法。用户5326575微服务框架（基于开源技术的分布式、服务化框架）采用微服务架构，降低了系统之间的耦合性，降低了单个应用故障对业务系统的影响，同时采用该架构，为将来的持续集成（Devops）打下技术基础。同时也降低了团队之间的...用户7788846Redis集群技术1. Redis常见集群技术
长期以来，Redis本身仅支持单实例，内存一般最多10~20GB。这无法支撑大型线上业务系统的需求。而且也造成资源的利用率过低——...小小科redis系列：基于redis的分布式锁这篇博文讲介绍如何一步步构建一个基于Redis的分布式锁。会从最原始的版本开始，然后根据问题进行调整，最后完成一个较为合理的分布式锁。云枭基于redis的分布式锁1.如果在第一步之后, 程序崩了, 没有给锁设置过期时间, 导致所有后续操作都无法正常获取到锁. 怎么破?烟草的香味基于 Redis 的分布式锁分布式锁在分布式应用中应用广泛，想要搞懂一个新事物首先得了解它的由来，这样才能更加的理解甚至可以举一反三。Java知音基于 Redis 的分布式锁分布式锁在分布式应用中应用广泛，想要搞懂一个新事物首先得了解它的由来，这样才能更加的理解甚至可以举一反三。crossoverJie深入浅出百亿请求高可用Redis(codis)分布式集群揭秘摘要：作为noSql中的kv数据库的王者，redis以其高性能，低时延，丰富的数据结构备受开发者青睐，但是由于redis在水平伸缩性上受限，如何做到能够水平扩容...腾讯技术工程官方号Redis Cluster深入与实践（续）前文回顾
上一篇文章基于redis的分布式锁实现写了基于redis实现的分布式锁。分布式环境下，不会还使用单点的redis，做到高可用和容灾，起码也是redi...aoho求索redis集群模式这实际上是一种静态分片技术。Redis实例的增减，都得手工调整分片程序。基于此分片机制的开源产品，现在仍不多见。这种方式下，可运维性较差。出现故障，定位和解决都...开发架构二三事基于 Redis 实现的分布式锁Spring Cloud 分布式环境下，同一个服务都是部署在不同的机器上，这种情况无法像单体架构下数据一致性问题采用加锁就实现数据一致性问题，在高并发情况下，对...南风基于Redis分布式BitMap的应用在实际开发中常常遇到如下需求：判断当前元素是否存在于已知的集合中，将已知集合中的元素维护一个HashSet，使用时只需耗时O(1)的时间复杂度便可判断出结果，J...赛先生和泰先生基于Redis实现的分布式锁Spring Cloud 分布式环境下，同一个服务都是部署在不同的机器上，这种情况无法像单体架构下数据一致性问题采用加锁就实现数据一致性问题，在高并发情况下，对...不会飞的小鸟基于 Redis 的分布式锁实现很久之前有讲过并发编程中的锁「并发编程的锁机制：synchronized和lock」。在单进程的系统中，当存在多个线程可以同时改变某个变量时，就需要对变量或代码...CG国斌基于redis的分布式锁实现关于分布式锁
很久之前有讲过并发编程中的锁并发编程的锁机制：synchronized和lock。在单进程的系统中，当存在多个线程可以同时改变某个变量时，就需要...aoho求索大规模 codis 集群的治理与实践本文将从方案选型、整体架构、自动化接入、数据迁移、高可用、运营实践等方面详细介绍我们在生产环境中的实践情况。小时光4种 Redis 集群方案介绍+优缺点对比点击上方“芋道源码”，选择“设为星标”
管她前浪，还是后浪？
能浪的浪，才是好浪！
每天 10:33 更新文章，每天掉亿点点头发...
源码精品专栏
原创 |...芋道源码更多文章作者介绍张善友腾讯云 TVP 成员深圳市友浩达科技有限公司CTO深圳市友浩达科技有限公司 · CTO (已认证)关注专栏文章1.5K阅读量836.8K获赞10K作者排名55精选专题腾讯云原生专题云原生技术干货，业务实践落地。活动推荐腾讯云自媒体分享计划入驻社区，可分享总价值百万资源包立即入驻邀请好友加入自媒体分享计划邀请好友，同享奖励 30 / 100 / 180 元云服务器代金券立即邀请运营活动广告关闭社区专栏文章阅读清单互动问答技术沙龙技术视频团队主页腾讯云TI平台活动自媒体分享计划邀请作者入驻自荐上首页技术竞赛资源技术周刊社区标签开发者手册开发者实验室关于视频介绍社区规范免责声明联系我们友情链接归档问题归档专栏文章归档快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档腾讯云开发者扫码关注腾讯云开发者领取腾讯云代金券热门产品域名注册云服务器区块链服务消息队列 网络加速云数据库域名解析云存储视频直播热门推荐人脸识别腾讯会议企业云CDN 加速视频通话图像分析MySQL 数据库SSL 证书语音识别更多推荐数据安全负载均衡短信文字识别云点播商标注册小程序开发网站监控数据迁移Copyright © 2013 - 2022 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 京公网安备 11010802017518 粤B2-20090059-1扫描二维码扫码关注腾讯云开发者领取腾讯云代金券