1、支持按数据块复制;
2、主分片写入,副本复制,由复制模块保障主备一致性;
3、集群写入性能1倍以上提升。
核心功能:
1、实现非对称部署,gclusterd和gcware部署在同一台机器上,gnode单独部署。gclusterd和gcware节点最多支持64台,gnode节点至少支持300台,数据量大于30PB。
2、取消safe group,升级安装后,gcware自动更新内部数据结构到新集群架构的数据结构。
3、集群与gnode通信采用异步API方式,不再产生新线程访问gnode。
4、一个物理节点可支持多个主分片,数据的Hash分布和主分片(虚拟节点)对应,虚拟节点和物理节点的对应关系可调整。
2、取消safe group,升级安装后,gcware自动更新内部数据结构到新集群架构的数据结构。
3、集群与gnode通信采用异步API方式,不再产生新线程访问gnode。
4、一个物理节点可支持多个主分片,数据的Hash分布和主分片(虚拟节点)对应,虚拟节点和物理节点的对应关系可调整。
1、支持联邦架构部署:
采用新的加载架构,支持在线扩展,采用多分片和副本灵活部署的机制提升可用性和降低木桶效应,高效的节点替换,提升了大表连接,大表分组,数据重分布的执行性能。
2、集群规模:
支持大于300节点的集群规模,采用联邦架构,分为GCluster,GCware集群和GNode集群。 GCluster,GCware集群支持64节点, GNode集群支持大于300节点的集群规模,数据量大于30PB。
3、新集群加载服务:
支持SQL接口的加载方式(同时也提供了8512系列外部工具调用方式的兼容接口),无需部署分发服务器和客户端,加载性能随数据文件服务器和GNode集群的节点线性提升。
4、在线扩展:
支持单分片按照数据重分布的方式进行扩展(重分布期间允许读和追加写)和多分片按照直接搬移分片文件的方式进行扩展(只允许读,不允许写),提供以SQL方式并支持按表进行扩展,扩展过程可监控。
5、数据复制服务:
采用新的分片数据主副本一致性方案——数据复制服务,Loader和Insert操作只写主分片,副本通过数据复制服务完成写入,可更好的保障主副本一致性,并大大提升写入性能(至少1倍以上)。
6、数据传输服务:
统一并进一步改进了节点间的数据传输服务,提高了数据传输性能(至少1倍以上),并支持传输服务数据直接落地,可用于数据复制、扩容、集群拉临时表等各种场景,大大提升了集群各类操作的性能。
7、多分片副本灵活配置:
现有版本提供单分片的数据部署,通过safegroup机制保障高可靠性,当节点出现故障时,性能下降最多1倍,新版本采用多分片的数据部署,副本不是按照safegroup的方式进行绑定,可灵活进行配置,当节点出现故障时,性能根据多分片的数量按比列下降。
8、核心算子优化:
改进了Join、Group等核心算子的实现,采用one-pass hash join,one-pass hash group算法大大提升了海量数据下的运行性能,针对大数据量的典型场景会有数倍甚至数量级的性能提升。
9、透明存储加密:
在存储层实现了透明存储加密,在对客户应用无影响的前提下,提高了数据存储安全性,且对数据库整体运行性能几乎没有负面影响(性能下降不超过5%)。
10、节点替换:
目前版本的节点替换手工操作太多,并且停机时间较长,V8.6.1.1版本可在线进行节点替换(停机半小时内)。