高性能计算 (HPC) 使科学家和工程师们能够使用需要高带宽、增强型网络和超高计算能力的应用程序,来解决复杂的科学、工程和业务问题。通过 AWS,您可以在云中运行高性能计算以改善研究速度,还可以利用按需提供的集群计算或集群 GPU 服务器来节省巨额的资金投入,同时降低成本。您有权限访问面向紧密耦合、IO 密集型工作负载的完全等分的高带宽网络,这使您能够为以吞吐量为导向的应用程序在数千个核心之间横向扩展。
此短片解释了在 Amazon Web Services 中运行高性能计算集群作业的种种优势。视频涵盖了运行云基础设施的基本优势,以及 AWS 云所具备的一些独家优势。您将了解如何立即获得数千个 Intel Xenon 处理器和 10Gb 连接,以及帮您轻松创建 HPC 集群的工具,全部内容都按照实际使用量付费的定价模型,绝无任何前期费用。
Amazon Elastic Compute Cloud (EC2) 上的高性能计算 (HPC) 由优化的集群计算和 GPU 实例类型(虚拟机)支持。 您可以像使用其他 EC2 实例一样使用它们,但是它们已经过专门设计以用于提供高性能联网,并且您可以按需扩展到成千上万的实例。
您当前可以启动 C4 实例(新版 Amazon EC2 计算优化实例)。 C4 实例专为计算密集型工作负载而设计,包括高流量前端设备、MMO 游戏、媒体处理、代码转换和高性能计算 (HPC) 应用程序等。
C4 实例共有 5 种大小,最多可提供 36 个 vCPU。C4 实例运行于 Intel Xeon E5-2666 v3(代号 Hell)处理器之上,基础频率为 2.9 GHz,通过使用 Intel® Turbo Boost 技术最高可提供 3.5 GHz 的时钟频率。 每个 C4 实例类型在默认情况下都经过 EBS 优化,无需额外成本。该功能可提供 500 Mbps 到 4000 Mbps 的 EBS 专用吞吐量,远超提供给实例的通用网络吞吐量。
P2 实例十分适用于机器学习、工程模拟、计算金融、地震分析、分子建模、基因组学、渲染、高性能数据库以及其他 GPU 计算工作负载。
P2 实例可以提供 16 个 NVIDIA K80 GPU,支持 192 千兆字节 (GB) 的视频内存、40000 个并行处理核心、70 TFLOPS 的单精度浮点运算性能、超过 23 TFLOPS 的双精度浮点运算性能,还支持 GPUDirect 技术,可以在 GPU 间实现带宽更高、延迟更低的对等通信。P2 实例还具有高达 732GB 的主机内存、高达 64 个使用定制 Intel Xeon E5-2686 v4 (Broadwell) 处理器的虚拟 CPU、用于 I/O 操作的专用网络容量,以及通过 Amazon EC2 Elastic Network Adaptor 实现的增强型联网性能。P2 实例让客户可以使用 CUDA 并行计算平台或 OpenCL 框架来构建和部署计算密集型应用程序,无需前期投资。
集群实例可在某个置放群组内启动。在置放群组内启动的所有实例的延迟性都很低,并且在实例间完全等分 10 Gbp 带宽。和许多其他 Amazon EC2 资源一样,置放群组是动态的,且可按需弹性扩展。您还可以连接多个置放群组来创建超大型高性能计算集群,以应对大量并行处理。
AWS 当前使用面向 C3 和 I2 实例类型的 SR-IOV(单个根 I/O 虚拟化)支持增强联网功能。SR-IOV 是一种设备虚拟化方法,与传统实现相比,它不仅能提更高的 I/O 性能,同时还能降低 CPU 利用率。对于受支持的 Amazon EC2 实例,此功能可提高每秒数据包数 (PPS) 性能、缩短实例间的延迟,并大大降低网络抖动。
数据具有引力;随着数据集的增大,更易于使计算离数据更近,以减少延迟和增加吞吐量。借助 AWS 大数据存储和数据库服务(例如 Amazon S3、Amazon Redshift、Amazon DynamoDB 和 Amazon RDS),您将可以轻松托管高性能计算集群所需的数据。此外,借助 Amazon Elastic Block Store (EBS),您可以创建大规模的并行文件系统,以满足 HPC 工作负载的高容量、性能和吞吐量要求。
您可以通过将竞价型实例用于 HPC 工作负载来节省时间和金钱。竞价型实例是一个定价模型,可使您以您选择的任何价格对未使用的 Amazon EC2 容量出价。当您的出价超过竞价价格时,可获得使用可用竞价型实例的权限,只要出价超过竞价价格,就可以运行该实例。根据历史记录,竞价价格比按需价格低 50% 到 93%。
AWS Marketplace 是一种在线商店,可为开发人员和 IT 专业人士提供简单的方法,用于发现和使用要在 AWS 云中运行的软件。只需直接从 AWS Marketplace 单击几次,您就可以找到一组可在集群中运行的高性能计算软件,例如 Univa Grid Engine 资源管理系统或 Intel Lustre HPC 文件系统。