AWS Data Pipeline è un servizio Web che consente di elaborare e trasferire dati tra più servizi di elaborazione e storage AWS e origini dati locali, a specifici intervalli di tempo e con la massima affidabilità. Con AWS Data Pipeline è possibile accedere periodicamente ai dati ovunque siano archiviati, trasformarli ed elaborarli su scala e inoltrarne il risultato a servizi AWS quali Amazon S3, Amazon RDS, Amazon DynamoDB e Amazon EMR.
AWS Data Pipeline ti aiuta a creare facilmente carichi di lavoro complessi di elaborazione dei dati con tolleranza ai guasti, ripetibilità ed elevata disponibilità. Non dovrai preoccuparti di assicurare la disponibilità delle risorse, gestire le dipendenze incrociate tra le attività, riprovare gli errori o timeout temporanei nelle singole attività o creare un sistema di notifica degli errori. AWS Data Pipeline ti consente inoltre di elaborare e trasferire dati che sono stati precedentemente bloccati in archivi di dati locali.
Affidabilità
AWS Data Pipeline è sviluppato su un’infrastruttura distribuita ad elevata disponibilità progettata per l’esecuzione delle tue attività con tolleranza ai guasti. In caso di errori nella logica delle attività o nelle origini dati, AWS Data Pipeline prova automaticamente a rieseguire l’attività. Se l’errore persiste, AWS Data Pipeline invia notifiche dell’errore tramite Amazon Simple Notification Service (Amazon SNS).Le notifiche possono essere configurate per esecuzioni corrette, ritardi nelle attività programmate o errori.
Facilità d'uso
Grazie alla console a trascinamento, è molto semplice e veloce creare una pipeline. Le condizioni preliminari comuni sono integrate nel servizio e non è quindi necessario scrivere logica aggiuntiva per utilizzarle. Ad esempio, puoi controllare l’esistenza di un file Amazon S3 fornendo semplicemente il nome del bucket Amazon S3 e il percorso del file che desideri controllare e AWS Data Pipeline fa il resto. Oltre al semplice componente visivo di creazione della pipeline, AWS Data Pipeline offre una libreria di modelli di pipeline. Questi modelli facilitano la creazione di pipeline da una serie di casi d’uso più complessi, ad esempio l’elaborazione periodica dei file di registro, l’archiviazione di dati su Amazon S3 o l’esecuzione di query SQL periodiche.
Flessibilità
AWS Data Pipeline ti consente di sfruttare una serie di funzionalità quali la programmazione, il tracciamento delle dipendenze e la gestione degli errori. Puoi utilizzare le attività e le condizioni preliminari fornite da AWS e/o scriverne di personalizzate. Ciò significa che puoi configurare un servizio AWS Data Pipeline per intraprendere azioni quali l’esecuzione di lavori di Amazon EMR, l’esecuzione di query SQL direttamente su database o l’esecuzione di applicazioni personalizzate in esecuzione su Amazon EC2 o nel tuo data center. In questo modo puoi creare potenti pipeline personalizzate per analizzare ed elaborare i dati senza dover gestire le complessità derivanti da una programmazione affidabile e dall’esecuzione della logica delle applicazioni
Scalabilità
AWS Data Pipeline facilita inoltre la distribuzione del lavoro su una o più macchine, in seriale o in parallelo. Il design flessibile di AWS Data Pipeline consente di elaborare facilmente un milione di file come se fosse un singolo file.
Costi ridotti
L’utilizzo di AWS Data Pipeline è poco costoso ed è fatturato a una tariffa mensile ridotta. Grazie al piano di utilizzo gratuito di AWS, puoi provarlo gratuitamente. Ulteriori informazioni.
Trasparenza
Hai il pieno controllo sulle risorse di calcolo che eseguono la tua logica di business, facilitando così il consolidamento il debug della tua logica. I registri a esecuzione completa vengono inoltre distribuiti automaticamente ad Amazon S3, offrendoti un record persistente e dettagliato di ciò che è successo nella pipeline.
