AWS Data Pipeline 是一种 Web 服务，可帮助您可靠地处理数据并以指定的间隔在不同 AWS 计算与存储服务以及内部数据源之间移动数据。利用 AWS Data Pipeline，您可以经常访问您存储数据的位置，成批转换和处理数据，并高效地将结果传到各种 AWS 服务，例如 Amazon S3、Amazon RDS、Amazon DynamoDB 以及 Amazon Elastic MapReduce (EMR)。
AWS Data Pipeline 帮助您轻松创建具有容错、可重复和高可用性特征的复杂数据处理工作负载。您无须确保资源可用性，管理作业间的从属性，或担心重试瞬时失效或超时的单个任务，以及创建故障通知系统等问题。AWS Data Pipeline 让您移动和处理之前在本地数据孤岛中锁定的数据。
通过我们的拖放控制台可轻松快速创建管道。常见前提条件已内建到服务中，因此您不必向服务写入任何额外逻辑。例如，要检查是否存在 Amazon S3 文件，您只需提供 Amazon S3 存储段的名称和您要检查的文件的路径即可，AWS Data Pipeline 会处理剩下的事情。除了易用的可视化管道创建程序外，AWS Data Pipeline 还提供了管道模板库。这些模板使您能够轻松地为许多复杂用例创建管道，例如定期处理日志文件、将数据存档到 Amazon S3，或运行定期 SQL 查询。
AWS Data Pipeline 允许您利用各种功能，如计划时间表、相关性跟踪和错误处理。您可以使用 AWS 提供的活动和前提条件或自己编写。这意味着，您可以配置 AWS Data Pipeline 来进行以下操作，例如：运行 Amazon EMR 作业、直接对数据库执行 SQL 查询、在 Amazon EC2 或您在自己的数据中心运行自定义应用程序。这使您能够创建强大的管道来分析和处理数据，而无需处理与可靠地计划和执行应用程序逻辑相关的复杂问题
AWS Data Pipeline 是以串行或并行方式向一台或多台机器分配工作同样简单。利用 AWS Data Pipeline 的灵活设计，处理一百万个文件就像处理一个文件一样简单。
您可以完全控制执行您的逻辑的计算资源，从而使增强或调试逻辑更加容易。此外，系统会自动将完整的执行日志提交到 Amazon S3，从而让您对管道中发生的事件有一个持续详尽的记录。
