“面向带宽”和“面向IOPS”这两个不同的场景,在“性能衡量标准”、“软件栈调度策略要求” 和 “介质最佳访问模型”3个方面都存在差异,甚至不同场景下的需求也会发生冲突。 ▶性能衡量标准的差异 带宽型业务性能衡量标准是单位时间内的数据总吞吐量,而IOPS型业务是单位时间内能处理的总的IO请求量、以及每个IO的处理时延。 ▶软件栈调度策略要求的差异 带宽型业务希望CPU尽量少切换,而IOPS型业务希望CPU在请求间尽快切换,确保每个请求的处理时延都很低。 ▶介质最佳访问模型的差异 带宽型业务最佳的访问模型是磁盘IO大、元数据少,磁盘LBA连续度高,而IOPS型业务最佳的访问模型是IO大小与磁盘管理粒度匹配、IO放大少。 为解决HPC存储在混合负载场景下的性能难题,华为推出了OceanFS(下一代OceanStor文件系统),通过多维度创新来解决带宽和IOPS型业务共存的问题。 要点二 ▶大IO直通技术 大IO不缓存、不镜像,直接下盘,减少内存和网络放大。 ▶大比例EC技术 在保证可靠性的前提下,降低校验数据占比,减少磁盘带宽放大。 ▶拷贝集成校验技术 在CPU和内存执行拷贝时,进行DIF校验,减少内存带宽放大。 ▶Append-Only磁盘布局技术 新数据追加写到磁盘连续的空白位置,无效数据后台垃圾回收,保障大I/O在磁盘上的连续度。 要点三 ▶小IO缓存聚合技术 小I/O写缓存,聚合后镜像到其它节点,降低小I/O响应时延。 ▶免分布式锁技术 基于目录分区粒度将数据打散,目录分区归属到节点,避免了并发操作时的锁协商,大幅降低CPU开销和请求时延。 ▶单边RDMA智能缓存技术 小I/O采用单边RDMA技术镜像,减少I/O在CPU、内存、网卡间的复制,释放CPU算力。 要点四 OceanFS如何解决, 混合负载下的大、小I/O的性能冲突? 华为OceanStor Pacific存储 以非凡存力,释放数据潜力 率先实现 一套存储同时支持高带宽和高IOPS 助力用户从传统HPC向HPDA平滑演进 Tech Now!是华为OceanStor存储打造的一档科技范、有“养料”的小栏目,旨在分享有趣味的创新技术、热点话题、趋势分析,你所关心的就是我所讲述的。 Tech Now!更懂存储科技热点~