DCA(分布式缓存)产品,为数字化转型助力
一、背景:
随着企业数字化转型的深入,迫切需要更大、更快、更准的分布式计算系统;在时延上提出了迫切的要求,那么基于内存的缓存技术,是分布式架构中不可缺少的一环,但随着计算数据量的剧增,需要更强大的分布式缓存技术,通过软硬件结合,实现更快,更大的数据缓存能力,为分布式计算框架提供更稳定、快速的数据访问能力,DCA就是一套完整的缓存技术的解决方案。
二、产品概述
DCA(分布式缓存)是一个基于分布式缓存实现数据高速管理的解决方案;在接入层,实现应用接入连接的负载均衡,过载保护,连接的安全管理等统一的纳管控;在数据层,实现对数据的全量、增量刷新,数据分片,数据域管理,数据生命周期,数据动态扩容融等统一管理;在日常运维实现日常的常用运维和实时、定时的数据稽核等能力;
DCA可实现与物理库的数据的实时同步能力和稽核能力;
DCA可作为持久数据库(NOSQL)、临时数据缓存使用,可根据key进行生命周期管理;
产品架构
产品分为展现层,应用服务层,数据存储层。其中应用服务层主要负责数据访问请求和路由转发功能,保证数据请求高并发。
产品架构
1、通过标准的接口协议,业务应用可无改造接入,方便应用系统的升级
2、产品管理完全独立于业务系统,实现业务与数据的分离,同时可通过展现层,纳入到原有的系统中,统一管控
3、通过租户管理能力,实现不同的业务应用在物理上隔离管控,减少系统间相互干扰
4、通过数据管理的数据扩容能力,实现在不停业务的前台下,实现底层数据的扩容
5、数据域可根据不同的租户进行前台配置部署,在整个部署过程中,可根据业务的需求参数进行配置,无须手工安装存储引擎
6、通过数据管理模块实现数据的双向同步,全量/增量同步
7、数据分片能力,通过数据管理模块,按照数据的特点进行一致性Hash算法,对数据进行分片,与业务系统完全隔离,不需要指定;
底层技术:
数据存储:
1、为了适应不同的数据存储要求,数据存储支持原生态的redis和Pmem-Redis两种数据存储模式;Pmem-Redis是基于 PMem 的多种 redis 解决方案,核心是可在先有的机器资源下扩充主机的内存资源,实现在不降低性能的前提下,实现数据的存储:
2、英特尔® 傲腾™ 持久内存 (PMem)方案:
英特尔® 傲腾™ 持久内存 (PMem) 采用创新内存技术,将高性价比的大容量内存与对数据持久性的支持巧妙地结合在一起。第三代英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 持久内存 200 系列双剑合璧,通过创建两层内存和存储分层架构,优化工作负载的性能与成本。在支持这些处理器的双路和四路平台上,持久内存正帮助企业将更多数据转化成可行洞察。使新平台架构能够做到以下几点:
• 将更多数据保存在更靠近 CPU 的地方,帮助加速大内存计算
• 将数据长久保存在内存中,而无需从存储设备中重新加载, 因此可加快重启时间并减少 I/O
• 降低大内存节点的功耗
三、产品特性:
n 部署能力
满足云原生要求,并实现容器调度下网络0时延通信(主流容器网络调度在2到8毫秒的损耗)
n 高性能
集群支持千万级并发,高吞吐下保证低时延,平均访问延迟在微妙级。
n 高可用
四层负载均衡控制,主机间负载均衡,进程间负载均衡,数据间负载均衡, 流量间负载均衡。
完善的容灾机制,支持主机容灾,节点容灾,故障自动恢复。
节点限流,节点异常降级。
n 水平扩展
支持服务节点在线扩缩容,提高集群吞吐量。
支持数据节点在线扩缩容,通过Redis分布式锁机制,实现自动数据迁移,达到业务无感知。同时,如果由于不可预知因素导致数据迁移异常,则会自动回滚。
n 数据存储
支持T级别数据的存储能力,大大缓解内存资源与CPU资源的矛盾,可充分利用CPU的资源
n 持久化
具备缓存数据同步持久化能力,在故障情况下,可快速从磁盘加载数据
n 对外接口
支持标准Redis协议接口和Restful接口,实现业务系统高效对接
n 智能运维
提供可视化运维页面,支持一键部署启停,集群故障检测。
多维度指标监控,包括tps,时延,节点连接数,异常错误码等。
丰富的刷新稽核工具,涵盖全量刷新,增量刷新, 实时增量稽核,定期全量稽核,冗余数据清理。
四、平台
硬件
使用Intel第三代至强处理器及英特尔® 傲腾™ 持久内存(PMem)解决方案,与传统的Dram物理内存相比性能略有损耗,但是提供了数据持久化功能,更大的内存容量,价格实惠。
软件
与Intel合作使用英特尔® 傲腾™ 持久内存(PMem)的PMem Aapp Direct(应用直接访问)模式,基于开源的Redis5.0,研发定制PMem版Redis。
五、性能提升
部署2台物理机作为DCA集群,在时延满足生产要求下(90%在1ms内),数据节点使用原生态Redis性能达到230万TPS,而使用PM-Redis + PMem卡则集群性能为210万TPS。
整体处理能力,较Intel第二代至强处理器+原生态Redis整体性能提升50%的整体性能。
六、与常用开源分布式缓存能力比对
DCA产品更关注业务场景的应用,扩展了丰富的数据管理能力,包括:租户模式、数据从不同的物理库的全量,增量刷新,数据稽核,数据稽核,特定数据的整合能力;可实现不停业务的数据扩充等面向业务的能力;
在运维上,实现智慧运维能力,提供了更丰富的运维能力和运维埋点能力,可实现一定程度的自愈能力;
可根据业务的敏感度,对数据接口进行降维处理,实现关键核心能力不受影响。
七、适用行业:
电信,金融,电商,工业互联,工业监控,人工智能,车联网等
DCA的实现有助于加速获取洞察,为制定关键业务决策、节约成本和新增收入奠定基础。