Amazon Redshift Data Warehouse

Amazon Redshift bietet eine schnelle Abfrageleistung mithilfe einer spaltenbasierten Speichertechnologie, mit der die E/A-Effizienz verbessert wird und Abfragen mehrerer Knoten parallel erfolgen. Amazon Redshift hat angepasste JDBC- und ODBC-Treiber, die Sie von der Registerkarte "Connect Client" unserer Konsole herunterladen und damit eine breite Palette vertrauter SQL-Clients verwenden können. Sie können also PostgreSQL JDBC- und ODBC-Treiber verwenden. Bei Integrationen mit Amazon S3, Amazon DynamoDB, Amazon Elastic MapReduce, Amazon Kinesis oder einem beliebigen anderen SSH-fähigen Host wird die Datenladegeschwindigkeit mit der Clustergröße linear skaliert.

Mit der Data Warehouse-Architektur von Amazon Redshift können Sie die gängigsten Verwaltungsaufgaben im Zusammenhang mit der Bereitstellung, Konfiguration und Überwachung eines Data Warehouse automatisieren. Sicherungen in Amazon S3 erfolgen fortlaufend, inkrementell und automatisch. Wiederherstellungen erfolgen schnell. Sie können binnen Minuten mit dem Abfragen beginnen, während Ihre Daten im Hintergrund Spool-Vorgänge durchlaufen. Das Aktivieren der regionsübergreifenden Notfallwiederherstellung erfordert nur ein paar Klicks.

Sicherheit ist eingebaut. Sie können gespeicherte oder in der Übertragung befindliche Daten mithilfe hardwarebeschleunigter AES-256- und SSL-Verfahren verschlüsseln, Ihre Cluster mithilfe von Amazon VPC isolieren und sogar Ihre Schlüssel mit AWS Key Management Service (KMS) und Hardware-Sicherheitsmodulen (HSMs) verwalten. Alle API-Aufrufe, Verbindungsversuche, Abfragen und Änderungen des Clusters werden protokolliert und können überprüft werden. Sie können AWS CloudTrail verwenden, um ein Audit für Redshift API-Aufrufe durchzuführen.

Amazon Redshift nutzt verschiedene Innovationen zum Erzielen einer sehr hohen Abfrageleistung bei Datenmengen im Bereich von 100 Gigabytes bis zu einem Petabyte und mehr. Zum Einsatz kommen eine spaltenbasierte Speicherung, Datenkomprimierung und Zonenzuordnungen, um den E/A-Aufwand bei der Ausführung von Abfragen zu verringern. Amazon Redshift verfügt über eine Data Warehouse-Architektur für massive parallele Verarbeitungen (Massively Parallel Processing, MPP), mit der SQL-Vorgänge zur Nutzung aller verfügbaren Ressourcen parallelisiert und verteilt werden. Die zugrunde liegende Hardware ist auf Hochleistungsdatenverarbeitung ausgerichtet, wobei lokal angeschlossene Speicher zur Maximierung des Durchsatzes zwischen den CPUs und den Laufwerken sowie ein vermaschtes 10GbE-Netz zur Maximierung des Durchsatzes zwischen Knoten eingesetzt werden.

Mit ein paar Klicks in der AWS Management Console oder einem einfachen API-Aufruf können Sie die Anzahl oder Typen der Knoten in Ihrem Data Warehouse mühelos entsprechend Ihren jeweiligen Leistungs- oder Kapazitätsanforderungen ändern. Dense Storage-Knoten (DS) ermöglichen die Einrichtung sehr großer Data Warehouses mithilfe von Festplattenlaufwerken zu einem sehr niedrigen Einstiegspreis. Dense Compute-Knoten (DC) ermöglichen das Einrichten besonders leistungsstarker Data Warehouses unter Verwendung von schnellen CPUs, großen Arbeitsspeichermengen und SSD-Festplatten (Solid-State Disks). Amazon Redshift ermöglicht Ihnen, beispielsweise mit nur einem DC1.Large-Knoten mit 160 GB zu beginnen. Anschließend ist mithilfe von DS2.8XLarge-Knoten mit 16 TB eine Skalierung auf 1,8 PB und mehr komprimierte Benutzerdaten möglich. Amazon Redshift versetzt bei der Größenänderung Ihren vorhandenen Cluster in den schreibgeschützten Modus, stellt einen neuen Cluster der gewünschten Größe bereit und kopiert Daten anschließend parallel aus Ihrem alten Cluster in den neuen Cluster. Während der neue Cluster bereitgestellt wird, können Sie Ihren alten weiter abfragen. Nachdem Ihre Daten in den neuen Cluster kopiert wurden, leitet Amazon Redshift die Abfragen automatisch an den neuen Cluster weiter und entfernt den alten Cluster.

Sie zahlen nur für die Ressourcen, die Sie tatsächlich bereitstellen. Sie können On-Demand-Tarife ohne Vorauszahlungen oder langfristige Bindungen wählen oder mit Reserved Instances von erheblich reduzierten Preisen profitieren. Die Preise von On-Demand-Instances beginnen bei nur 0,25 USD/h pro DC1.Large-Knoten mit 160 GB bzw. 0,85 USD/h pro DS2.XLarge-Knoten mit 2 TB. Bei Partial Upfront Reserved Instances können Sie Ihren effektiven Preis auf 0,10 USD/h pro DC2.Large-Knoten (5 500 USD/TB/Jahr) bzw. 0,228 USD/h pro DS1.XLarge-Knoten (999 USD/TB/Jahr) senken. Weitere Informationen finden Sie auf der Seite zu den Preisen von Amazon Redshift.

Mit nur ein paar Klicks in der AWS Management Console oder einfachen API-Aufrufen können Sie einen Cluster erstellen und dessen Größe, den zugrunde liegenden Knotentyp und das Sicherheitsprofil festlegen. Amazon Redshift stellt Ihre Knoten bereit, konfiguriert die Verbindungen zwischen diesen Knoten und sichert den Cluster ab. Ihr Data Warehouse ist in wenigen Minuten betriebsbereit.

Amazon Redshift verarbeitet alle erforderlichen Aufgaben zur Verwaltung, Überwachung und Skalierung Ihres Data Warehouse, vom Überwachen des Cluster-Status über das Erstellen von Backups bis hin zum Installieren von Patches und Upgrades. Sie können mühelos die Größe Ihres Clusters verändern, wenn sich Ihre Leistungs- und Kapazitätsanforderungen ändern. Durch Übernehmen dieser zeitaufwendigen und arbeitsintensiven Aufgaben gibt Ihnen Amazon Redshift Spielraum, sich auf Ihre Daten und Ihr Geschäft zu konzentrieren.

Amazon Redshift bietet mehrere Funktionen zum Steigern der Zuverlässigkeit Ihres Data Warehouse-Clusters. Alle auf einen Knoten in Ihrem Cluster geschriebenen Daten werden auf andere Knoten im Cluster repliziert und alle Daten werden fortlaufend in Amazon S3 gesichert. Amazon Redshift überwacht ständig den Status des Clusters, führt automatisch eine erneute Replikation der Daten von ausgefallenen Laufwerken durch und ersetzt bei Bedarf Knoten.

Die Amazon Redshift-Funktion für automatische Snapshots erstellt fortlaufend Backups neuer Daten im Cluster auf Amazon S3. Snapshots werden fortlaufend, inkrementell und automatisch erstellt. In Amazon Redshift werden Ihre Snapshots für einen von Ihnen festgelegten Zeitraum (1-35 Tage) gespeichert. Sie können jederzeit eigene Snapshots erstellen, wobei alle vorhandenen System-Snapshots genutzt werden. Die Snapshots werden solange gespeichert, bis Sie sie explizit löschen. Redshift kann zum Zweck der Notfallwiederherstellung Ihre Snapshots auch asynchron in S3 in einer anderen Region replizieren. Wenn Sie einen Cluster löschen, werden die System-Snapshots entfernt, aber die Benutzer-Snapshots stehen weiterhin zur Verfügung, solange sie nicht explizit gelöscht werden.

Sie können jeden System- oder Benutzer-Snapshot verwenden, um Ihren Cluster über die AWS Management Console oder die Amazon Redshift-APIs wiederherzustellen. Ihr Cluster ist wieder verfügbar, sobald die System-Metadaten wiederhergestellt wurden, und Sie können mit dem Ausführen von Abfragen beginnen, während das Spooling der Benutzerdaten im Hintergrund erfolgt.

Mit nur ein paar Parametereinstellungen können Sie Amazon Redshift für die Verwendung von SSL zum Absichern der Daten während der Übertragung und der hardwarebeschleunigten AES-256-Verschlüsselung zum Absichern gespeicherter Daten konfigurieren. Wenn Sie die Verschlüsselung für Daten bei der Speicherung aktivieren, werden alle auf einen Datenträger geschriebenen sowie sämtliche Backups verschlüsselt. Amazon Redshift übernimmt standardmäßig die Schlüsselverwaltung, aber Sie können Ihre Schlüssel auch mit eigenen Hardware-Sicherheitsmodulen (HSMs), AWS CloudHSM oder AWS Key Management Service verwalten.

In Amazon Redshift können Sie Firewall-Regeln konfigurieren, um den Netzwerkzugriff auf Ihren Data Warehouse-Cluster zu kontrollieren. Sie können Amazon Redshift auch in Amazon Virtual Private Cloud (Amazon VPC) ausführen, um Ihren Data Warehouse-Cluster in Ihrem eigenen virtuellen Netzwerk zu isolieren und die Verbindung zur vorhandenen IP-Infrastruktur über dem Branchenstandard entsprechende verschlüsselte IPsec-VPNs herzustellen.

Amazon Redshift ist mit AWS CloudTrail integriert, um sämtliche Aufrufe von Redshift-APIs überwachen zu können. Amazon Redshift protokolliert außerdem alle SQL-Vorgänge, so z. B. Verbindungsversuche, Abfragen und Änderungen an Ihrer Datenbank. Sie können auf diese Protokolle über SQL-Abfragen von Systemtabellen zugreifen oder sie an einen sicheren Speicherort in Amazon S3 herunterladen. Amazon Redshift erfüllt die Vorgaben von SOC1, SOC2, SOC3 und PCI DSS Level 1. Weitere Informationen erhalten Sie unter AWS-Cloud – Compliance.

Amazon Redshift ist eine SQL Data Warehouse-Lösung und verwendet dem Branchenstandard entsprechende ODBC- und JDBC-Verbindungen. Sie können von der Registerkarte "Connect Client" unserer Konsole unsere benutzerdefinierten JDBC- und ODBC-Treiber herunterladen. Viele bekannte Softwareanbieter haben ihre Angebote für Amazon Redshift zertifiziert, um Ihnen zu ermöglichen, vertraute Tools weiterzuverwenden. Weitere Informationen finden Sie auf der Seite zu den Amazon Redshift-Partnern.

Amazon Redshift ist mit anderen AWS-Services integriert und bietet eingebaute Befehle, um Daten aus Amazon S3, Amazon DynamoDB oder von Ihren EC2- und lokalen Servern über SSH parallel auf jeden Knoten zu laden. AWS Data Pipeline, Amazon Kinesis und AWS Lambda sind beide als Datenziel mit Amazon Redshift integriert. Sie können Streaming-Daten auch mit Amazon Kinesis Firehose in Amazon Redshift laden.