Amazon FSx for Lustre

快速、可扩展的共享存储,可为您的计算工作负载提供支持

Amazon FSx for Lustre 是一项完全托管的服务,可为计算工作负载提供经济高效的高性能存储。许多工作负载(如机器学习、高性能计算 (HPC)、视频渲染和财务模拟)都依赖于计算实例通过高性能共享存储访问同一组数据。

FSx for Lustre 由常见的高性能文件系统 Lustre 提供支持,可提供亚毫秒级延迟、高达每秒数百 GB 的吞吐量和数百万的 IOPS。它提供多种部署选项和存储类型,以优化成本和性能,从而让满足您的工作负载需求。

FSx for Lustre 文件系统还可以链接到 Amazon S3 存储桶,使您能够同时从高性能文件系统和 S3 API 访问和处理数据。

优势

高性能且可扩展

Amazon FSx for Lustre 可提供满足各种高性能工作负载的性能。Lustre 文件系统针对数据处理进行了优化,实现了亚毫秒级延迟和可扩展到每秒数百 GB 的吞吐量。只需单击几下鼠标,您就可以从数万计算实例访问高性能共享存储。

易于使用 S3 数据

Amazon FSx for Lustre 使您可以轻松处理 S3 中的云数据集。当链接到 S3 存储桶时,FSx for Lustre 会将对象透明地表示为文件,允许您运行工作负载,而无需管理从 S3 传输的数据。当 S3 存储桶的内容发生变更时,FSx for Lustre 会使用可用于运行工作负载的最新数据自动更新您的文件系统。

经济高效

Amazon FSx for Lustre 提供了一系列存储选项,以优化价格和性能。固态硬盘 (SSD) 存储针对延迟敏感型工作负载进行了优化。普通硬盘 (HDD) 存储针对以吞吐量为中心的工作负载进行了优化。您还可以选择使用不复制数据的临时文件系统,以进一步降低短期处理数据的成本。 

设计用于任何 Linux 工作负载

Amazon FSx for Lustre 兼容 POSIX,因此您可以使用当前基于 Linux 的应用程序,而无需进行任何更改。FSx for Lustre 提供原生文件系统界面,像 Linux 操作系统中的任何文件系统一样运作。它提供写后读一致性并支持文件锁定。您可以从 Amazon EC2 实例、Amazon EKS 集群以及使用 Amazon Direct Connect 从本地访问您的文件系统。

简单且完全托管

Amazon FSx for Lustre 使您可以在云中轻松启动和运行高性能 Lustre 文件系统。您不再需要担心以下事宜:硬件预置和维护、软件配置、备份管理以及文件系统复杂的性能调整。您可以在几分钟内通过 bet9网站下载云科技 管理控制台、bet9网站下载云科技 命令行界面或 bet9网站下载云科技 软件开发工具包创建并启动 Amazon FSx for Lustre 文件系统。

使用案例

机器学习

机器学习工作负载会使用大量训练数据。此类工作负载通常会使用共享文件存储,因为多个计算实例需要并发处理训练数据集。FSx for Lustre 是机器学习工作负载的理想选择,因为它提供具有高吞吐量和一致低延迟的共享文件存储来处理 ML 训练数据集。FSx for Lustre 还集成了 Amazon SageMaker,让您可以加快完成训练作业。

高性能计算

高性能计算 (HPC) 使科学家和工程师可以解决复杂的计算密集型问题。HPC 工作负载(如油气发现和基因组分析)会处理大量数据,这些数据需要由具有高吞吐量的多个计算实例访问。FSx for Lustre 是 HPC 和科学计算工作负载的理想选择,因为它提供的文件系统针对高性能工作负载的性能和成本进行了优化,其中文件系统访问跨越数千个 EC2 实例。FSx for Lustre 还集成了 Amazon Web Services ParallelCluster 和 Amazon Batch,使您可以轻松地用于您的 HPC 工作负载。

媒体处理和转码

媒体数据处理工作流(如视频渲染、视觉效果和媒体制作)需要使用计算和存储资源来处理正在创建的海量数据。FSx for Lustre 提供了处理、分发和分析数字媒体文件所需的高性能和低延迟。

自动驾驶车辆

开发自动驾驶车辆系统的客户往往会通过对大量车辆传感器和摄像头数据进行模拟和训练来测试模型,以确保车辆安全。FSx for Lustre 使您可以从数千个高性能节点同时访问这些数据,从而更轻松地大规模运行模拟,并加快模型开发。

大数据和财务分析

大数据分析使用案例(包括 SAS Grid 工作负载和财务分析)会产生大量数据,需要高性能存储来为数据密集型应用程序提供支持。处理不断增加的数据量不仅成本高昂,而且复杂。Amazon FSx for Lustre 可以大规模处理大量数据,并且针对性能和成本进行了优化,让您的组织更快有所发现和实现价值。

电子设计自动化

电子设计自动化 (EDA) 是一种高性能应用程序,用于模拟硅芯片生产设计阶段的性能和故障。FSx for Lustre 提供的性能和灵活性使您可以更快地进行创新、设计和验证新产品,并扩大规模以满足需求。