Azure HPC缓存

什么是Azure HPC缓存?

Azure HPC Cache是一种Azure服务,提供低延迟的文件访问,以支持在Azure中运行的高性能计算(HPC)工作负载。Azure HPC Cache通过聚合命名空间加速了对高性能计算工作负载中的文件的访问。使用Azure HPC缓存,通过低延迟和更低的基础设施管理开销来获得更好的生产力。该服务甚至可以用于跨WAN链接存储数据的工作流,例如在本地数据中心网络连接存储(NAS)环境中。

在Azure门户中创建Azure HPC缓存非常容易,并且可以从同一门户页面进行监视。由于Azure HPC Cache工作在一个聚合的名称空间上,所以即使更改后端存储目标,客户端访问也很简单。

Azure HPC缓存驻留在单个区域。如果将它连接到其他区域的Blob容器,它可以访问存储在其他区域的数据。在这篇博客中,我们将简要描述在Azure门户中创建HPC缓存所涉及的步骤。

在Azure门户中创建Azure HPC缓存

使用有效的凭据和有效的订阅登录Azure门户。选择“所有服务→存储→HPC缓存”。选择“创建HPC缓存”按钮。因为你要在门户中创建第一个Azure HPC缓存,它显示“没有要显示的HPC缓存”。下面的屏幕显示了这一步。

HPC

下载的横幅

在Azure门户中创建Azure HPC缓存涉及五个步骤:基本、缓存、磁盘加密密钥、标签,最后是回顾和创建步骤。

在第一步Basic中,用户需要在服务详细信息部分下的项目详细信息部分下提供订阅和资源组详细信息。

  • 用户必须为HPC缓存资源提供一个名称
  • 他必须选择创建Azure资源的区域
  • 用户应该为HPC缓存创建一个新的虚拟网络和子网组。用户可以创建新的虚拟网络和子网,也可以使用已有的虚拟网络和子网。在我们的例子中,为了学习的目的,我们正在创建一个新的虚拟网络和子网,也就是说,我们正在创建一个名为“VemvuDemoHPCCacheVN”的新的虚拟网络,默认子网为10.0.0.0/24,如下图所示
  • HPC

  • 单击Next配置Cache

在第二步缓存中,我们选择了最大吞吐量和缓存大小。

  • 马克西姆吞吐量—选择缓存的最大数据传输速率,单位为g / s。可用传输速率高达2GB/s、4GB/s和8GB/s;您可以根据需要的数据传输速率选择这三个中的任何一个
  • 缓存大小—选择cache的总存储大小。备注:创建后不可修改。如果您增加了最大吞吐率,您的最小缓存大小也将增加。从3Tb到48tb,您可以选择缓存大小。在我们的例子中,我们选择的最大吞吐量为2gb /s,缓存大小为3Tb,如下图所示
  • HPC

  • 单击“下一步”,配置磁盘加密密钥

在第三步—磁盘加密密钥中,用户必须定义要使用的加密密钥。Azure HPC缓存数据总是加密的。

  • 使用此节指定要使用的加密密钥的类型;您可以选择microsoft管理的加密密钥(默认)或存储在Azure密钥库中的客户管理密钥
  • 不能将缓存从客户管理的密钥更改为microsoft管理的密钥。所以我们推荐使用微软管理的密钥,所以我们选择了相同的密钥。下面的图片描述了这个配置步骤
  • HPC

  • 单击Next配置Tags

在第四步—标签中,您可以提供标签的名称和值。标签是名称/值对,通过将相同的标签应用到多个资源和资源组,您可以对资源进行分类并查看统一计费。

  • 如果不需要,也可以跳过此配置
  • 单击Next查看并创建

在最后一个步骤- Review & Create中,Azure验证上面步骤中给出的配置输入,并提供通过的结果验证。

  • 该页还提供了HPC缓存服务实例的估计成本,该服务实例使用选择的最大吞吐量和缓存大小创建,如下图所示
  • HPC

  • 单击create继续创建新的HPC Cache

您将在顶部的通知图标上看到一个部署进度通知区域。几分钟后,假设大约20分钟,您新创建的HPC缓存已经准备好了,它有自己新创建的虚拟网络和子网。

HPC

单击Goto资源获取关于新创建的VembuDemoHPCCache的更多详细信息。

监控Azure HPC缓存

一旦你的Azure HPC缓存准备好并移动到生产阶段,你可以从新创建的Azure HPC缓存主页的Overview选项卡监视它的活动,如下图所示。

您将能够在图表中看到从1小时到30天的时间段内的指标。图中显示的可用数据为:

  • 缓存的吞吐量
  • 缓存操作/秒
  • 缓存面向客户的延迟

HPC

与Azure HPC缓存相关的重要配置设置:

网络

这里我们可以设置,

  • MTU大小- 1500或1400;它表示最大的包或帧大小,以八位字节(8位字节)指定,可以在基于包或帧的网络(如Internet)中发送
  • NTP服务器—如果您想指定除Microsoft NTP服务器以外的其他服务器,您可以指定NTP服务器的IP地址或FQDN。默认使用微软的NTP服务器
  • DNS配置-你可以通过提供DNS搜索域和DNS服务器进行名称解析来配置用于Azure HPC缓存的DNS设置

HPC

安装说明

使用此页面构造一个NFS挂载命令,将客户端计算机连接到这个Azure HPC缓存。在此页面上,您将检查挂载访问的客户端先决条件和挂载详细信息。您可以在挂载详细信息中设置“Client路径”、“Cache挂载地址”和“Virtual namespace路径”。根据这些值,您将看到要从任何连接机器执行的完整mount命令。

HPC

存储目标-这里你可以通过提供storage target name, target type, Host name和Usage model来添加一个存储目标到这个正在运行的Azure HPC Cache中

在向Azure HPC缓存添加存储目标之前,需要注意一些事情。为了成功创建存储目标,后端存储系统及其网络必须配置为允许从Azure HPC缓存访问:

  • 存储系统必须允许缓存列出导出
  • 存储系统必须允许缓存以root (UID 0)的身份访问导出文件
  • 缓存子网和数据存储系统之间的防火墙必须允许多个端口上的流量

名称空间—设置客户端访问存储目标的虚拟命名空间路径。

客户端访问策略—您可以通过添加或编辑策略来定制存储目标导出的保护方式。您可以在此页面定义策略,并在“命名空间”页面将策略应用到存储目标。同时配置存储目标、名称空间和客户端访问策略,可以安全地从客户端机器连接Azure HPC缓存。

—在此页面下,您可以通过添加新锁来设置锁,为客户端提供只读访问并防止删除。你可以通过提供一个名称和它的锁类型来创建一个新的锁,例如“只读”或“删除”。

HPC

结论

在您的混合云中使用Azure HPC缓存的主要优势是,它减少了Azure和本地存储之间的延迟。对于那些由于数据集大小和操作规模而将数据绑定到现有数据中心基础设施的应用程序,Azure HPC Cache降低了延迟。

Azure HPC Cache的工作原理是自动缓存位于内部和Azure中的活动数据,有效地隐藏了内部网络连接存储环境的延迟。它是处理云爆炸应用程序或混合NAS环境的理想解决方案。

跟随我们的推特脸谱网为新发布,更新,见解深刻的帖子和更多的Feeds。