交换机
园区网交换机
数据中心与云计算交换机
行业精选交换系列
无线
放装型无线接入点
墙面型无线接入点
智分无线接入点
室外无线接入点
场景化无线
行业精选无线系列
无线管理与应用
安全
下一代防火墙
安全网关
检测管理安全
所有技术解决方案
服务产品
本文介绍VDI分布式存储产品中采用的缓存加速的日志数据布局技术,该技术相比当前市面上主流的开源分布式存储产品,比如Ceph,能够带来2倍以上的有效容量和2倍以上的性能提升。
VDI活动,一天大概包含如下几个阶段:
其中,启机/登陆风暴的技术见《VDI启机风暴技术白皮书》,病毒扫描相关技术见《Cache加速技术白皮书》。这里描述用户Steady State阶段的数据读写问题。
由上面的统计数据可知,Steady State阶段主要是4KB、8KB的随机写IO。随机写IO在纠删码配置下有RAID写惩罚(参考下一节描述),性能往往满足不了业务需求。故VDI场景,传统上存储一般配置为副本,用更低的得盘率来获得性能上一定的提升。
存储方案规划的过程中,最基本的考虑因素有两个,性能和容量。计算后端物理磁盘的IOPS不能简单的把物理磁盘的最大IOPS相加。原因是对于不同的RAID级别,为了保证当物理磁盘损坏的情况下可以恢复数据,数据写入的过程中都需要进行一些特别的计算。
比如对于RAID-5,条带上的任意磁盘上的数据改变,都会重新计算校验位。下图,一个7+1的RAID-5的条带中,7个磁盘存储数据,最后一个磁盘存储校验位。
对于一个数据的写入,我们假设在第5个磁盘上写入数据1111,如下图所示。
那么整个RAID-5需要完成写入的过程分为如下几步:
由上述几个步骤可见,对于任何一次写入,在存储端,需要分别进行2次读取和2次写入,所以说RAID-5的写惩罚值是4。
不同RAID级别的写惩罚,如下表所示:
RAID类型 |
写惩罚 |
RAID-0 |
1 |
RAID-1 |
2 |
RAID-5 |
4 |
RAID-6 |
6 |
RAID-10 |
2 |
根据上文的描述,在实际存储方案设计的过程中,计算实际可用IOPS的过程中必须纳入RAID的写惩罚机上。计算公式如下:
假设组成RAID-5的物理磁盘总IOPS为1000,使用该存储的应用程序读写比例是10% / 90%,那么对于前端主机而言,实际可用的IOPS为:
(1000 * 90% / 4)+(1000 * 10%)= 325
故,在VDI场景Steady State阶段,RAID或者纠删码配置下,实际业务可用的IOPS非常低,往往满足不了业务需求。
VDI分布式存储采用缓存加速的日志数据布局技术,加速虚拟桌面用户的数据读写性能。具体步骤如下:
VDI分布式存储的日志数据布局采用ROW方式,不论是追加写还是改写现有数据,都重新分配一个连续的地址空间写入。这样,无论用户的业务模型如何,所有的写数据对于后端磁盘来说都是顺序的,避免了传统RAID写流程所需的写惩罚。并且所有的数据都可以均匀的分布到不同的后端磁盘上,可以有效利用后端磁盘的总带宽和总IOPS。
如下图所示,LUN1写入A、B、C、D四个数据,LUN2写入A、B两个数据,存储系统将LUN1、LUN2的数据合并成一个条带,并计算出2个校验值之后,将数据写入后端磁盘。
当修改数据发生时,如下图所示。LUN1将数据B修订成b,LUN2写入C、D、E,LUN3写入数据A、B。系统会将这些数据聚合成条带,计算校验值之后,写入后端磁盘,然后标记数据(1 B)为垃圾数据。
但是,当系统经过长时间的修改和写入后,会产生大量的垃圾数据,从而导致无法找到条带用于新的数据写入。日志数据布局技术,通过全局垃圾回收来重新整理空间,从而做到在任何容量利用率的情况下,都可以找到新条带用来数据写入。
如果条带上的数据都为垃圾数据,则直接回收该条带。
如果条带上仅有部分脏数据,则将这些条带上的有效数据拷贝到新的条带之后,回收这些条带。
该技术有如下优点:
考虑如下需求:每个VDI节点50个VDI桌面,每个桌面100 IOPS,共需要存储提供5000 IOPS,其中写IO占90%。假设每个磁盘的吞吐为200MB/s,且能够提供200 IOPS。同时,我们假设读缓存命中率为80%,假设SSD缓存性能足够满足该场景需求,同时假设VDI有效工作时间为每天8小时。比较传统3副本、缓存加速日志数据布局技术8D2P EC和3副本下的有效容量和每磁盘能满足的业务IOPS需求。
在该场景下,读操作首先判断Cache是否命中,否则从后端磁盘读。写操作首先3副本写到对应的SSD上,后台异步将这些IO刷到对应的磁盘。
VDI节点需要后端磁盘提供的读IOPS为:总IOPS需求 * 读IO比例 * 缓存不命中率。
5000 IOPS * 10% * 20% = 100 IOPS
3副本的写惩罚为3,在VDI节点一整天开机的情况下,需要的写IOPS为:总IOPS * 写IO比例 * 写惩罚 * 每周工作时间 / 每周开机时间。
5000 IOPS * 90% * 3 * (8 * 5) / (24 * 7) = 3214 IOPS
该场景下,共需要(3214 + 100)/ 200 ,约16个磁盘。平均每个磁盘能够满足该场景312(5000 / 16)业务IOPS需求。
VDI节点需要后端提供的读IOPS和3副本类型的相同,为100 IOPS。
8D2P配置下,写惩罚系数为1.25,假设平均每个IO 8KB。同时,VDI产品中配置的条带深度为128KB。则需要的写IOPS为:总IOPS * 写IO比例 * 写惩罚 * 平均每个IO大小 / 条带深度。
5000IOPS * 90% * 1.25 * 8KB / 128KB = 351 IOPS
该场景下,共需要(100 + 351)/ 200 ,约3个磁盘。平均每个磁盘满足该场景1667 (5000 / 3)业务IOPS需求。
读IOPS同样为100。
写IOPS需求为:5000 IOPS * 90% * 3 * 8KB / 128KB = 844 IOPS
该场景下,共需要(100 + 844)/ 200 ,约5个磁盘。平均每个磁盘满足1000业务IOPS需求。
下表比较该场景下,3副本和8D2P有效容量、每个硬盘提供的有效容量和性能。
|
传统3副本 |
缓存加速日志数据布局3副本 |
缓存加速日志数据布局8D2P EC配置 |
有效容量 |
33% |
33% |
80% |
每磁盘满足的业务IOPS |
312 |
1000 |
1667 |
缓存加速日志数据布局下,纠删码和副本有相似的数据可靠性,建议以纠删码配置为主。
存储方案规划中,最基本的考虑因素有两个:性能和容量。在VDI场景中,缓存加速日志数据布局,相比传统存储具备如下优势:
相关推荐:
锐捷网络以太彩光解决方案在中国以太全光网络市场排名第一,服务制造业、教育、医疗等30万间入室场景。方案通过彩光技术、无源汇聚和智能运维,为企业提供稳定可靠、灵活扩展的网络基础设施,支持办公、生产、Wi-Fi 7等多场景需求,助力企业智能制造与数字化转型。
#制造业
#全场景
#交换机
#园区网
锐捷网络推出RG-CMG6000“聪明哥”系列智能安全网关,采用7合1高度集成设计,整合路由、防火墙、VPN、行为管理等核心功能。方案支持基于7000+应用特征的精准行为管控、会话与流量双重负载均衡技术,并通过INC-EMB平台实现统一纳管,为教育、医疗及中小企业提供更高效、更可靠的一站式网络出口解决方案。
#安全
锐捷网络极简以太彩光4.0解决方案针对校园光网络运维推出创新管理模式,通过UNC统一网络中心实现设备即插即用上线、光链路秒级故障诊断、精准告警压缩和智能决策支持,有效解决高校网络运维中设备上线效率低、故障定位难、告警冗余及数据支撑不足等核心问题,助力教育行业数字化转型,提升运维效率90%以上。
#交换机
#普教
#高职教
#教学网
锐捷网络推出极简以太彩光方案,采用160G高密彩光技术,实现全链路单芯传输与光链路可视化管理。方案涵盖框式核心交换机、超聚合彩光交换机及无源透明汇聚设备,支持万兆入室,简化布线架构,提升部署效率与网络可靠性,适用于高带宽、高密度园区网络场景,助力企业光网络建设更简单高效。
#交换机