您好!欢迎进入武汉聚雅科技有限公司官网

武汉聚雅科技有限公司

  1. 华为光与行业感知省级合作伙伴运营中心
  2. 华为F5G全光网 AI行业感知 数字孪生平台

服务咨询热线

18942931149
17362912244

Tech Now! 第三期|破解HPC存储性能瓶颈的“武林秘籍”

作者:聚雅科技 发布日期:2021-05-11 11:13:30 关注次数:1698

数字经济时代,信息科学技术蓬勃发展,传统HPC与大数据、人工智能技术逐渐走向融合,以ARM、GPU、FPGA为代表的异构计算对存储性能的要求进一步提高,HPC存储面临的负载类型愈加多样化。

传统HPC存储系统处理复杂业务负载时,需要部署多套不同类型的存储,容易形成性能孤岛,降低整体流程处理效率。因此,一个存储集群如何同时满足高带宽、高IOPS和极致低时延的混合负载模型,提升流程处理效率,成为HPC存储面临的最大挑战。


图片
问题都看到了,那么如何来解决呢?
别着急,Tech Now!这就为您安排~

所谓“天下武功,唯快不破”
本期为您揭秘
破解HPC存储性能瓶颈的“武林秘籍”



高能知识点太过密集?
课代表的笔记为您呈上!

要点一          图片

混合负载下,为什么性能是存储面临的挑战?


要点一.gif

“面向带宽”和“面向IOPS”这两个不同的场景,在“性能衡量标准”、“软件栈调度策略要求” 和 “介质最佳访问模型”3个方面都存在差异,甚至不同场景下的需求也会发生冲突。


性能衡量标准的差异

带宽型业务性能衡量标准是单位时间内的数据总吞吐量,而IOPS型业务是单位时间内能处理的总的IO请求量、以及每个IO的处理时延。


软件栈调度策略要求的差异

带宽型业务希望CPU尽量少切换,而IOPS型业务希望CPU在请求间尽快切换,确保每个请求的处理时延都很低。


介质最佳访问模型的差异

带宽型业务最佳的访问模型是磁盘IO大、元数据少,磁盘LBA连续度高,而IOPS型业务最佳的访问模型是IO大小与磁盘管理粒度匹配、IO放大少。


为解决HPC存储在混合负载场景下的性能难题,华为推出了OceanFS(下一代OceanStor文件系统),通过多维度创新来解决带宽和IOPS型业务共存的问题。



要点二

图片
OceanFS如何实现大I/O极致的带宽?


要点二.gif

大IO直通技术

大IO不缓存、不镜像,直接下盘,减少内存和网络放大。


大比例EC技术

在保证可靠性的前提下,降低校验数据占比,减少磁盘带宽放大。


拷贝集成校验技术

在CPU和内存执行拷贝时,进行DIF校验,减少内存带宽放大。


Append-Only磁盘布局技术

新数据追加写到磁盘连续的空白位置,无效数据后台垃圾回收,保障大I/O在磁盘上的连续度。



要点三


图片
OceanFS如何实现小I/O超高IOPS和超低时延?


要点三.gif

小IO缓存聚合技术

小I/O写缓存,聚合后镜像到其它节点,降低小I/O响应时延。


免分布式锁技术

基于目录分区粒度将数据打散,目录分区归属到节点,避免了并发操作时的锁协商,大幅降低CPU开销和请求时延。


单边RDMA智能缓存技术

小I/O采用单边RDMA技术镜像,减少I/O在CPU、内存、网卡间的复制,释放CPU算力。



要点四

图片

OceanFS如何解决,

混合负载下的大、小I/O的性能冲突?


要点四.gif

CPU智能调度
专核专用,大、小I/O请求队列分离,减少CPU切换时延。


自动识别I/O优先级
基于I/O优先级进行端到端QoS管理,前台优于后台,元数据优先于数据,响应优先于请求。

多粒度磁盘管理
基于I/O大小自适应索引策略,大I/O大粒度索引,保证带宽,小I/O小粒度索引,保证时延。


华为OceanStor Pacific存储

以非凡存力,释放数据潜力

率先实现

一套存储同时支持高带宽和高IOPS

助力用户从传统HPC向HPDA平滑演进



Tech Now!是华为OceanStor存储打造的一档科技范、有“养料”的小栏目,旨在分享有趣味的创新技术、热点话题、趋势分析,你所关心的就是我所讲述的。

Tech Now!更懂存储科技热点~

结尾.jpg



推荐案例

Testimonial
  • AI周界2.0,ELIV轻智能全新上市

    更多新品尽在8月8日敬请期待!

    了解详情
  • AI篇 | 低照智能全彩技术

    低照智能全彩技术采用全新的传感器技术和图像算法处理技术,在夜晚也可以达到清晰高品质的图像效果,显著提升了夜间图像的识别效率。但是由夜间抓拍带来的光污染也是一个非···

    了解详情
  • AI篇 | 人机协同的趋势探讨

    本文从智能视图云平台的由来、 云存储技术实现对海量视图数据的管理、AI技术实现对视图数据的理解,以及5G技术实现广泛的大容量互联等5个维度,对智能视图云平台的趋···

    了解详情
  • 配置 | NVR800+SIU的门禁联动配置指导

    还在刷卡进出门禁?有没有更智能的识别方法?今天就给大家介绍一套识别目标自动开关的门禁系统准备好NVR800、SIU摄像机和门禁然后一起操作起来吧~摄像机与门禁系···

    了解详情
  • AI篇 | 芯片的演进和发展

    摄像机的核心组件是图像传感器和视频处理芯片,要实现良好的图像质量,除了前端镜头、传感器部分对光线的处理,影像处理部分也是摄像机中不可忽视的一环。而芯片作为核心处···

    了解详情
  • 智慧工地解决方案

    智慧工地解决方案一、行业背景         智慧工地是一种崭新的工程全生命周期管理理念。它立足于“互联网+建···

    了解详情
  • 智慧农贸解决方案

    智慧农贸整体解决方案           日新月异的现代科技每一天都在刷新着你我的认知,智慧城市,智···

    了解详情
  • 智慧监管解决方案

         行业背景看守所是对罪犯和重大犯罪嫌疑分子进行临时羁押的场所,是羁押依法被逮捕、刑事拘留的犯罪嫌疑人的机关。随着现代信息技···

    了解详情
  • 智慧园区解决方案

                园区是工作与生活的载体,是经济发展的核心抓手,是构建万物互联的智能···

    了解详情
  • 3722 20-10-16
    高空抛物监控方案设计

    2020年5月深圳某小区高空抛物砸伤一名6个月大的婴儿,致宝宝头部骨折,脑袋变形,脑内出血。高空抛物···

咨询热线

1736291224417362912244

邮箱:274713778@qq.com

QQ:395589917