Amazon Redshift

Amazon Redshift обеспечивает высокую производительность при работе с отчетами с помощью колоночной технологии хранилища для повышения эффективности ввода-вывода и распараллеливания запросов на нескольких узлах. В Amazon Redshift предусмотрена возможность установки собственных драйверов JDBC и ODBC, которые можно загрузить с вкладки «Connect Client» Консоли, что позволяет использовать различные известные клиенты SQL. Также можно использовать стандартные драйверы PostgreSQL JDBC и ODBC. Скорость загрузки данных масштабируется линейно с помощью размера кластера, интеграции с Amazon S3, Amazon DynamoDB, Amazon Elastic MapReduce, Amazon Kinesis или любым хостом с поддержкой SSH.

Архитектура Amazon Redshift позволяет автоматизировать основную часть стандартных административных задач по подготовке, настройке и мониторингу облачного хранилища данных. Резервное копирование в Amazon S3 выполняется непрерывно, поэтапно и автоматически. Восстановление происходит быстро. Вы можете отправить запрос за считаные минуты, а в это время ваши данные вносятся в буфер в фоновом режиме. Для активации аварийного восстановления в разных регионах требуется всего несколько щелчков.

Система безопасности встроена. Вы можете шифровать данные в местах хранения и транзитные данные с помощью шифрования AES-256 с аппаратным ускорением и сертификата SSL, изолировать кластеры, используя Amazon VPC, и даже управлять ключами с помощью службы AWS Key Management Service (KMS) и аппаратных модулей безопасности (HSM). Все вызовы API, попытки подключения, запросы и изменения кластера вносятся в журнал, и их можно проверить. Проверить вызовы API Redshift можно с помощью AWS CloudTrail.

В Amazon Redshift используется множество инноваций для достижения максимально высокой производительности при обработке запросов в наборах данных, размер которых составляет от сотен ГБ до петабайта и больше. В данном сервисе реализовано колоночное хранилище, сжатие данных и карты зоны для сокращения количества вводов-выводов, требуемых для выполнения запросов. Сервис Amazon Redshift основан на массово-параллельной архитектуре хранилища данных (MPP), распараллеливая и распределяя операции SQL для максимального использования всех доступных ресурсов. Базовое оборудование предназначено для высокопроизводительной обработки данных с помощью локально подключенного хранилища для максимизации мощности между ЦП и дисками, а также сотовой сетью 10GigE для максимизации мощности между узлами.

Если меняются требования к производительности или ресурсам, задать новое количество или типы узлов в облачном хранилище данных можно несколькими щелчками в Консоли управления AWS или простым API-вызовом. Узлы Dense Storage (DS) позволяют создать очень крупные хранилища данных с помощью жестких дисков (HDD) – и все это по крайне низкой цене. С помощью узлов Dense Compute (DC) можно создать хранилища данных с очень высокой производительностью, в которых используются ЦП, большие объемы ОЗУ и твердотельные накопители (SSD). Amazon Redshift позволяет начать с одного узла DC1.Large на 160 ГБ и масштабировать до петабайта или больше сжатых данных пользователя с помощью узлов DS2.8XLarge на 16 ТБ. При изменении размера сервис Amazon Redshift переводит имеющийся у вас кластер в режим только для чтения, готовит новый кластер выбранного размера, а затем параллельно копирует данные со старого кластера в новый. Во время подготовки нового кластера вы по-прежнему можете отправлять запросы на старый. Как только ваши данные будут скопированы в новый кластер, служба Amazon Redshift будет автоматически перенаправлять запросы на новый кластер и удалит старый.

Вы оплачиваете только используемые ресурсы. Вы можете выбрать цены по требованию без авансовых платежей или долгосрочных обязательств либо получить существенно сниженные тарифы благодаря ценам на зарезервированные инстансы. Цены по требованию начинаются всего с 0,25 USD в час за узел DC1.Large на 160 ГБ или 0,85 USD в час за узел DS2.XLarge на 2 ТБ. С помощью зарезервированных инстансов с частичной предоплатой вы можете снизить фактическую цену до 0,10 USD за узел DC1.Large (5500 USD за ТБ в год) или 0,228 USD в час за узел DS2.XLarge (999 USD за ТБ в год). Более подробные сведения см. на странице цен на Amazon Redshift.

С помощью нескольких щелчков в консоли управления AWS или простого вызова API можно создать кластер, указав его размер, тип базового узла и профиль системы безопасности. Служба Amazon Redshift подготовит ваши узлы, настроит связь между ними и обеспечит безопасность кластера. Ваше хранилище данных должно заработать за считаные минуты.

Служба Amazon Redshift выполняет всю работу, требуемую для управления, мониторинга и масштабирования хранилища данных – от мониторинга состояния кластера и резервного копирования до применения корректирующих вставок и обновлений. Вы без труда можете менять размер кластера в зависимости от необходимых ресурсов и производительности. Выполняя все эти длительные, трудоемкие задачи, служба Amazon Redshift обеспечивает вам свободу, позволяя сфокусироваться на данных и бизнесе.

В службе Amazon Redshift предусмотрено несколько возможностей, которые повышают надежность кластера хранилища данных. Все данные, записанные на узел в кластере, автоматически копируются на другие узлы в кластере, и для всех данных непрерывно создаются резервные копии, передаваемые в Amazon S3. Служба Amazon Redshift непрерывно контролирует состояние кластера и автоматически копирует данные с неисправных дисков и по мере необходимости заменяет узлы.

Функция автоматического создания снимков состояния в Amazon Redshift непрерывно создает резервные копии новых данных в кластере и передает их в Amazon S3. Снимки состояния создаются непрерывно, поэтапно и автоматически. Сервис Amazon Redshift сохраняет снимки состояния в течение периода, определенного пользователем, продолжительность которого может быть от одного до 35 дней. Вы можете сделать собственные снимки состояния в любое время, максимально используя все имеющиеся снимки состояния системы. Они будут храниться до того времени, пока вы их не удалите. Сервис Redshift может также асинхронно копировать ваши снимки состояния в S3 в другую область для аварийного восстановления. После удаления кластера ваши снимки состояния системы также удаляются, но снимки состояния пользователя остаются доступными до того времени, пока вы их не удалите.

Чтобы восстановить кластер с помощью консоли управления AWS или API сервиса Amazon Redshift, вы можете использовать любые снимки состояния системы или пользователя. Ваш кластер станет доступным, как только будут восстановлены метаданные системы. Вы сможете начать отправку запросов, при этом данные пользователя будут вноситься в буфер в фоновом режиме.

С помощью всего нескольких параметров вы можете настроить сервис Amazon Redshift на использование сертификата SSL с целью обеспечения безопасности транзитных данных и шифрования AES-256 с аппаратным ускорением для данных в местах хранения. Если активировать шифрование данных в местах хранения, все данные, записанные на диск, а также их резервные копии будут зашифрованы. По умолчанию сервис Amazon Redshift осуществляет управление ключами, но вы можете выбрать вариант управления ключами с помощью собственных аппаратных модулей безопасности (HSM), AWS CloudHSM или сервиса управления ключами AWS.

Сервис Amazon Redshift позволяет настроить правила брандмауэра для управления сетевым доступом к вашему кластеру хранилища данных. Вы можете запустить Amazon Redshift внутри облачного сервиса Amazon Virtual Private Cloud (VPC), чтобы изолировать кластер хранилища данных в своей виртуальной сети и подключить его к имеющейся ИТ-инфраструктуре с помощью зашифрованной сети IPsec VPN отраслевого стандарта.

Amazon Redshift интегрируется с AWS CloudTrail, чтобы обеспечить возможность аудита всех вызовов API Redshift. Сервис Amazon Redshift также вносит в журнал все операции SQL, включая попытки подключения, запросы и изменения вашей базы данных. Доступ к этим журналам можно получить с помощью запросов SQL в системные таблицы. Вы также можете загрузить их в надежное расположение в Amazon S3. Amazon Redshift соответствует требованиям SOC1, SOC2, SOC3 и PCI DSS уровня 1. Для получения дополнительных сведений посетите страницу Соответствие облака AWS нормативным требованиям.

Amazon Redshift – это решение хранилища данных SQL, в котором используются подключения ODBC и JDBC отраслевого стандарта. Загрузить настраиваемые драйверы JDBC и ODBC можно с вкладки «Connect Client» Консоли. Многие популярные поставщики программного обеспечения сертифицировали сервис Amazon Redshift для использования со своими сервисами, чтобы вы могли продолжать пользоваться привычными инструметами. Подробнее см. на странице партнеров Amazon Redshift.

Сервис Amazon Redshift интегрирован с другими сервисами AWS и имеет встроенные команды для параллельной загрузки данных на каждый узел Amazon S3, Amazon DynamoDB или EC2 и локальные серверы, на которых используется SSH. AWS Data Pipeline, Amazon Kinesis и AWS Lambda интегрированы с сервисом Amazon Redshift в качестве целевого места размещения данных. Вы также можете загрузить в сервис Amazon Redshift потоковые данные с помощью Amazon Kinesis Firehose.