您好!欢迎进入武汉聚雅科技有限公司官网

武汉聚雅科技有限公司

  1. 华为光与行业感知省级合作伙伴运营中心
  2. 华为F5G全光网 AI行业感知 数字孪生平台

服务咨询热线

18942931149
17362912244

【Tech Now!第一期】HPC性能加速利器——DPC分布式并行客户端

作者:聚雅科技 发布日期:2021-05-11 11:28:27 关注次数:2793

随着信息化的飞速发展,人类对信息处理能力的要求越来越高,海量的数据需要高效的计算与存储,HPC高性能计算应运而生。


在AI和大数据时代,存储影响算力的发挥、承载最为关键的数据,不夸张的说,HPC这辆方程式赛车跑的快不快,稳不稳,存储是赢得比赛的关键一环,因此对它提出的要求也不断提高:

1、 传统业务的创新和新兴业务的崛起,给HPC带来了源源不断的数据,需要更高扩展性、更低TCO的存储;

2、 GPU、FPGA等算力的崛起,进入了多样性算力时代,同时也给存储带来了更为复杂的负载;

3、 HPC与大数据、AI技术的结合大势所趋,HPDA(High Performance Data Analysis)应用高速增长,需要更高效的数据流转与分析。


图片
问题都看到了,那么如何来解决呢?
别着急,Tech Now!这就为你安排~

华为OceanStor Pacific下一代HPDA/AI存储,
以非凡存力,释放数据潜力。
本期为您揭秘,HPC性能加速利器——
DPC分布式并行客户端

干货太多,笔记不好整理?
小编都为你齐刷刷准备好了~

要点一

图片
DPC分布式并行客户端是什么?
DPC(Distributed Parallel Client)分布式并行客户端,它作为存储客户端运行在计算节点上,可同时连接多个存储节点,对上层应用提供标准POSIX和MPI-IO接口,以获得更好的兼容性和更优的性能。

要点二

图片

DPC并行客户端相比NFS标准协议的优势?


优势1:DPC并行客户端支持支持MPI-IO,更好适配HPC生态

优势一.gif
HPC场景中,多进程读写一个文件的典型IO模式下,需要多线程相互配合,避免读写冲突,MPI就是在这种背景下产生的一种交换消息的标准化方法。NFS是不支持MPI的,DPC通过支持MPI-IO,可大幅提升该模式的IO性能。

优势2:DPC并行客户端单客户端可连接多存储节点,单客户端、单流性能更高

优势二.gif
NFS标准协议一个客户端仅能连接一个存储节点,客户端性能受限于存储节点配置;DPC可实现一个客户端以RDMA方式连接多个存储节点,消除存储瓶颈,同时提升单客户端性能和单流性能。

优势3:DPC并行客户端的IO路径更短,客户端直接打散数据

优势三.gif
NFS协议数据写入时,数据需要先写入一个存储节点,该节点再把数据打散到其他存储节点,需要两次IO写入;DPC可将数据在客户端打散后直接写入不同的存储节点,减少一次IO转发,获得更低的读写延迟。

优势4:DPC并行客户端负载均衡能力更优,IO级负载均衡

优势四.gif
NFS标准协议的负载均衡均发生在客户端挂载时,个别客户端业务突发会导致存储节点出现瓶颈,进而影响整系统性能;DPC客户端可同时连接多存储节点实现IO级负载均衡,保障存储节点的负载时刻保持均衡。

基于DPC并行客户端的系列能力,

华为OceanStor Pacific存储就能够更好的适配HPC场景的不同需求,

实现HPC全场景加速!


Tech Now!是华为OceanStor存储打造的一档科技范、有“养料”的小栏目,旨在分享有趣味的创新技术、热点话题、趋势分析,你所关心的就是我所讲述的。

Tech Now!更懂存储科技热点~

图片


推荐案例

Testimonial
  • AI周界2.0,ELIV轻智能全新上市

    更多新品尽在8月8日敬请期待!

    了解详情
  • AI篇 | 低照智能全彩技术

    低照智能全彩技术采用全新的传感器技术和图像算法处理技术,在夜晚也可以达到清晰高品质的图像效果,显著提升了夜间图像的识别效率。但是由夜间抓拍带来的光污染也是一个非···

    了解详情
  • AI篇 | 人机协同的趋势探讨

    本文从智能视图云平台的由来、 云存储技术实现对海量视图数据的管理、AI技术实现对视图数据的理解,以及5G技术实现广泛的大容量互联等5个维度,对智能视图云平台的趋···

    了解详情
  • 配置 | NVR800+SIU的门禁联动配置指导

    还在刷卡进出门禁?有没有更智能的识别方法?今天就给大家介绍一套识别目标自动开关的门禁系统准备好NVR800、SIU摄像机和门禁然后一起操作起来吧~摄像机与门禁系···

    了解详情
  • AI篇 | 芯片的演进和发展

    摄像机的核心组件是图像传感器和视频处理芯片,要实现良好的图像质量,除了前端镜头、传感器部分对光线的处理,影像处理部分也是摄像机中不可忽视的一环。而芯片作为核心处···

    了解详情
  • 智慧工地解决方案

    智慧工地解决方案一、行业背景         智慧工地是一种崭新的工程全生命周期管理理念。它立足于“互联网+建···

    了解详情
  • 智慧农贸解决方案

    智慧农贸整体解决方案           日新月异的现代科技每一天都在刷新着你我的认知,智慧城市,智···

    了解详情
  • 智慧监管解决方案

         行业背景看守所是对罪犯和重大犯罪嫌疑分子进行临时羁押的场所,是羁押依法被逮捕、刑事拘留的犯罪嫌疑人的机关。随着现代信息技···

    了解详情
  • 智慧园区解决方案

                园区是工作与生活的载体,是经济发展的核心抓手,是构建万物互联的智能···

    了解详情
  • 3618 20-10-16
    高空抛物监控方案设计

    2020年5月深圳某小区高空抛物砸伤一名6个月大的婴儿,致宝宝头部骨折,脑袋变形,脑内出血。高空抛物···

咨询热线

1736291224417362912244

邮箱:274713778@qq.com

QQ:395589917