AWS Data Pipeline 是一种 Web 服务,可帮助您可靠地处理数据并以指定的间隔在不同 AWS 计算与存储服务以及内部数据源之间移动数据。利用 AWS Data Pipeline,您可以经常访问您存储数据的位置,成批转换和处理数据,并高效地将结果传到各种 AWS 服务,例如 Amazon S3、Amazon RDS、Amazon DynamoDB 以及 Amazon Elastic MapReduce (EMR)。
AWS Data Pipeline 帮助您轻松创建具有容错、可重复和高可用性特征的复杂数据处理工作负载。您无须确保资源可用性,管理作业间的从属性,或担心重试瞬时失效或超时的单个任务,以及创建故障通知系统等问题。AWS Data Pipeline 让您移动和处理之前在本地数据孤岛中锁定的数据。
通过我们的拖放控制台可轻松快速创建管道。常见前提条件已内建到服务中,因此您不必向服务写入任何额外逻辑。例如,要检查是否存在 Amazon S3 文件,您只需提供 Amazon S3 存储段的名称和您要检查的文件的路径即可,AWS Data Pipeline 会处理剩下的事情。除了易用的可视化管道创建程序外,AWS Data Pipeline 还提供了管道模板库。这些模板使您能够轻松地为许多复杂用例创建管道,例如定期处理日志文件、将数据存档到 Amazon S3,或运行定期 SQL 查询。
AWS Data Pipeline 允许您利用各种功能,如计划时间表、相关性跟踪和错误处理。您可以使用 AWS 提供的活动和前提条件或自己编写。这意味着,您可以配置 AWS Data Pipeline 来进行以下操作,例如:运行 Amazon EMR 作业、直接对数据库执行 SQL 查询、在 Amazon EC2 或您在自己的数据中心运行自定义应用程序。这使您能够创建强大的管道来分析和处理数据,而无需处理与可靠地计划和执行应用程序逻辑相关的复杂问题
AWS Data Pipeline 是以串行或并行方式向一台或多台机器分配工作同样简单。利用 AWS Data Pipeline 的灵活设计,处理一百万个文件就像处理一个文件一样简单。
您可以完全控制执行您的逻辑的计算资源,从而使增强或调试逻辑更加容易。此外,系统会自动将完整的执行日志提交到 Amazon S3,从而让您对管道中发生的事件有一个持续详尽的记录。