本系列干货内容,由实时云数仓产品总监从架构、安全、性能三个方面展开介绍柏睿云产品。
前文传送门
安全,是IT行业一个持久的话题。对于一个运行于云环境中的数据库PaaS产品来说,安全尤为重要。本篇为「数据安全篇」(下),欢迎阅读!
数据安全篇·目录
01 责任共担模型
02 整体业务安全
03 平台操作系统安全
04 平台数据安全
05 平台业务高可用
06 用户业务应用安全建议
平台数据安全
柏睿实时云数仓不仅从业务的隔离与系统层考虑安全,在数据的存储上也考虑了很多安全特性。
云计算的魅力在于用户不需要关注云主机、云存储是如何运行的,云服务商承诺商品的相关可靠性。用户就像用自来水一样,打开水龙头直接用就可以了。
●
存算分离架构
柏睿实时云数仓原始技术架构来源于柏睿自研存算一体机,采用计算与存储分离的架构。这种架构类似于当前流行的微服务架构,但只有适合自己的才是最好的,柏睿数据根据自身多年数据库研发经验,所理解的微服务架构为:
将原单一的产品根据功能与服务对象划分成多种小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程或独立的资源中,服务与服务间采用轻量级的通信机制互相沟通。每个服务都围绕着自身功能进行构建,并且能够独立地部署。另外,应尽量避免统一的、集中式的服务管理机制,对具体的一个服务而言,应根据相关联服务,选择合适的工具对其进行构建。
柏睿存算分离架构的优势包括:
●
存储可靠性
柏睿实时云数仓运行在云端,借助云计算平台可以为用户提供高可靠的数据存储能力。
例如华为云主机的云硬盘数据可靠性高达99.9999999%(9个9)。(具体内容请参见)针对云主机的可用性,华为云官方有明确云主机服务可用率SLA:华为云通过商业和技术上的合理努力,承诺单实例维度每服务周期服务可用率不低于99.975%;单区域多可用区维度每服务周期服务可用率不低于99.995%。(具体内容请参见)
●
柏睿实时云数仓底层基于柏睿数据自研的新一代分布式内存数据库技术,在云端增加了数据存储能力。柏睿实时云数仓是分析型(OLAP)数据库,基于MPP架构,使用CAP理论保障数据的一致性:
●
数据备份与恢复
传统数据库运行在用户局域网络中,用户借助局域网络的高带宽,即可快速无增加成本地将数据库中的内容备份或导出。
柏睿实时云数仓运行在云端,如何让用户既快速又能低成本的备份数据?我们的实现方法是:优化柏睿数据库存储能力,支持云存储备份与恢复数据。
下图是运行在华为云中的柏睿实时云数仓的一个测试场景,在不同规模的集群中从华为云存储中加载500G的TPC-H数据。
平台业务高可用
云厂商已从基础设施层,为云计算用户提供了高可用的运行环境,如当一个云底层物理服务器异常时,其上运行的虚拟机将自动“漂移”到其他物理机中运行。所以服务器硬件损坏不能启动、磁盘异常数据丢失这些传统物理服务器遇到的问题,在云计算环境中基本不会出现。
在云环境中,分析型数据库遇到传统硬件损坏时,仅需要重启云主机,就可以恢复业务,因此针对本文中的业务高可用,一般是应用在线下物理机环境中的。
本节内容主要讲述柏睿数据基于自研的新一代分布式内存数据库RapidsDB,在线下的高可用部署。
●
数据节点高可用
柏睿实时云数仓中的数据节点是存储数据的云服务,其高可用性是在集群内部设置可用性组来实现。
目前,RapidsDB最多支持成对模式,成对模式下可用性组中的每一个叶在另一个可用性组中有一个对应的成对节点。该叶与它的成对叶共享同一个分区集,但是主分区在它们之间平均分配。如果出现故障,RapidsDB 将自动升级该叶的成对叶上的副本分区。
●
网关节点高可用
参考柏睿实时云数仓部署示意图,通过RapidsDB的SQL分发节点实现对网关点的高可用。如图下所示,网关Master节点为128.64.97.80。
当Master节点关机时,IP地址最小的SQL分发节点将接替网关节点的工作。
用户业务应用安全建议
用户需要从业务应用侧负责数据库的安全,推荐如下设置:
至此,我们已经详细阐述了柏睿实时云数仓的「架构篇」和「数据安全篇」。
那么,柏睿实时云数仓在科学架构这副“强壮骨架”中,在数据安全这个“健康保障”下,如何发挥强劲的“动力能量”?
下一篇,我们将揭晓这个答案,带您领略柏睿实时云数仓的在云端优化运行能力的技术闪光点。
敬请期待!