基于第四代英特尔 至强 可扩展处理器的浪潮云海超融合压缩和纠删功能设计浪潮云海 InCloud Rail 超融合一体机通过软件定义计算、存储和网络技术实现服务器的资源池化，为整个 IT 环境提供更高的可用性、安全性和扩展性，能够满足企业对于降低成本、简化管理、提高安全性和扩展性的需求，助力企业迁移核心业务上云，构建企业云数据中心。

　　面向海量的数据处理需求，浪潮云海超融合一体机提出一种融合压缩和纠删功能于一体的数据存储空间优化方案，该方案基于英特尔 ® 至强 ® 可扩展处理器提供的 QAT 加速器实现压缩功能，同时使用英特尔 ® 智能加速库实现纠删功能，可同时支持数据压缩和纠删。在超融合一体机的海量应用归档数据场景，它需要在应用运行质量较少受影响的前提下，尽可能提升数据存储效率。在控制成本的前提下，开启同时支持压缩和纠删特性，对于数据库应用节省存储空间最高可达 70.5%, 且对性能的影响较低，能够助力用户提升数据库系统的投资收益、释放数据价值。

　　InCloud dSAN 是浪潮云海超融合一体机中新一代的软件定义存储产品，面向用户在私有云、大数据、高性能应用、云原生、云边协同等多元化的应用场景。随着 Intel 新一代 CPU、NVMe 硬盘开云网址、RDMA 智能网卡等高性能物理硬件普及，InCloud dSAN 在系统设计方面根据新一代物理硬件特点设计多种特色功能:

　　●全异步和无锁化的编程技术，发挥 CPU 多核性能，: 基于 SPDK (Storage Performance Development Kit) 高性能存储开发套件，引入 Reactor、Thread、Poller 三层逻辑抽象，设计轮询、异步化、无锁的软件框架，从网络、磁盘、管理等模块发挥 CPU 多核能力。

　　●多种链路传输技术，支持多种组网形态: 设计全栈 RDMA 功能，从虚拟机、存储协议层、副本数据转发层等内部网络传输方面，支持全栈的用户态 RDMA 链路传输，利用 RDMA 零拷贝特性降低时延开云网址。

　　●全新的存储引擎设计，发挥 NVMe 极致性能: 设计基于裸盘读写的全新引擎，设计元数据、日志、数据等逻辑空间，实现元数据管理、数据分配和 I / O 调度等逻辑。特别是针对 NVMe 硬盘，基于 SPDK 存储开发套件中的用户态 NVMe 库实现特有的 NVMe 存储引擎。

　　在超融合的应用场景中，针对、等行业的数据库应用不仅对实时读写、随机 I / O 访问和大规模数据集等场景对存储性能有极高要求，同时对于归档数据的存储空间也提出了新的需求，如行业常见的 PACS (Picture Archiving and Communication System) 影像归档和通信系统，将日常产生的影像 (包括核磁、CT、超声等图像) 通过数字化方式海量存储，同时在需要时可快速调回查看，对存储系统归档和性能有较高的要求。为了应对此场景，浪潮云海新一代超融合一体机的 InCloud dSAN 设计了新型的数据压缩和纠删功能，该功能集成英特尔 ®QAT 加速器和 ISA-L 加速库，在原有的高性能设计方案基础上满足了极致性能和极致数据压缩两种需求。

　　压缩和纠删方案主要思想: 将压缩和纠删计算放置于缓存下刷阶段开云网址，可以避免在 I / O 访问过程中的压缩和纠删计算的性能损耗。通过智能的缓存管理，保障了热点数据的 I / O 访问集中在缓存层，避免在数据访问过程中的透写。

　　●数据分层管理: 将数据存储划分为缓存层和数据层，其中缓存层使用高性的 NVMe 和 Sata SSD 存储，同时在缓存层使用多副本的设计，提供高性能数据存储能力。数据层提供冷数据存储，主要由 HDD 硬盘存储，提供高容量存储空间。

　　●智能缓存管理: 设计冷热分层的智能缓存管理，高效识别热点数据和冷数据。可支持针对特定的数据设置优先级，保证需要支持压缩和纠删的数据区域可优先保存于缓存空间中。

　　●数据空间高效存储: 在缓存层中由于副本存储，将上层应用的小块 IO 聚合，当数据变成冷数据下刷至存储层时，由于下刷采用数据对齐，可聚合成大块的顺序条带读写，可以在数据层进行高效的数据存储。

　　●压缩和 EC 加速计算: 在缓存层数据下刷时，首先经过 QAT 压缩处理，经过压缩的数据调用 EC 计算，将纠删和压缩数据存放到数据存储层。

　　为了验证该方案的性能，测试数据采用在和等行业常见的基础 Linux 虚拟机镜像、Windows 系统的 SQLServer 数据库，及 Linux 系统的 Oracle 数据库应用。调整 QAT 压缩的等级及 ISA-L 的 EC 纠删 K / M 模型，测试在不同的模型压缩、纠删及压缩和纠删后的节省空间，从测试结果分析，同时开启 QAT 和 EC 纠删最大空间可以节省比例达 70.5%。

　　充分发挥第四代英特尔 ® 至强 ® 可扩展处理器内置的英特尔 ®QAT 加速器能力，QAT 加速器对于数据库应用节省数据空间为 58.4%,EC 纠删根据不同的 K / M 模型可计算节省空间比例，在指定特定 K / M 模型压缩和纠删功能可节省 70.5%。

　　浪潮云海 InCloud Rail 新一代超融合一体机，依托于英特尔 ®QAT 和 ISA-L 软件加速库技术，设计可同时支持压缩、纠删、“压缩和纠删”等不同的空间节省方案，采用独特的数据分层、智能缓存管理、软件硬协同等设计，完美解决了兼顾高性能、高数据冗余度和高存储空间利用率等技术难题。

　　广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。