Ученые, разработчики и многие другие технологи, представляющие различные отрасли, по достоинству оценили возможности Amazon Web Services для анализа больших данных и преимущества этого сервиса в решении задач, связанных с растущими объемами, разнообразием и скоростью обработки цифровой информации. Комплексная линейка облачных вычислительных сервисов Amazon Web Services содержит все необходимое для работы с большими данными, сокращения расходов, масштабирования и быстрого развития.
Ознакомьтесь с решениями AWS для больших данных, применимых на протяжении всего их жизненного цикла.
Сбор > Потоковая передача > Хранение > СУРБД | Хранилище данных | NoSQL > Анализ > Архив
Ускорить работу с большими данными в облаке стало проще, чем когда-либо. Ознакомьтесь с разделом «Начало работы», учебными материалами и ресурсами, чтобы получить рекомендации, которые помогут вам начать свой первый проект.
В этом коротком видеоролике показано, как можно достичь лучшего понимания бизнес-процессов с помощью Amazon Web Services и технологии работы с большими данными. Вы узнаете, как можно использовать наиболее известные вам технологии работы с большими данными, включая Pig, Hive, Spark, Hadoop и т. д., чтобы закончить свои проекты, работающие с большими данными, как можно скорее.
Загрузить новое техническое описание «Варианты анализа больших данных в сервисе AWS»
В этом новом техническом описании представлен обзор различных вариантов использования больших данных, доступных в облаке AWS для архитекторов, специалистов по обработке данных и разработчиков. Для каждого из вариантов анализа больших данных в данном техническом описании приводится следующее: варианты оптимального использования, производительность, надежность и доступность, модель затрат, масштабируемость, эластичность, интерфейсы и антипаттерны. Данное техническое описание содержит два сценария использования вариантов анализа данных и предлагает дополнительные ресурсы для начала работы с функционалом анализа больших данных в сервисе AWS.
Блог AWS Big Data Blog предназначен для архитекторов, специалистов по обработке данных и разработчиков решений и позволяет узнать наиболее эффективные методики работы с большими данными, определить управляемые сервисы AWS по извлечению данных, наиболее подходящие к конкретному примеру использования, и получить необходимое базовое или углубленное представление о работе сервисов AWS для анализа больших данных. Цель блога – создать портал для всех пользователей, желающих узнать новые способы сбора, хранения, обработки, анализа и визуализации данных при любом масштабе. Читатели смогут найти небольшие справочные материалы с образцами кода, примеры использования, демонстрирующие уникальные преимущества анализа больших данных в AWS, анонсы новых функций, а также демонстрационные и справочные материалы от партнеров и клиентов с советами и наилучшими методиками использования сервисов AWS для анализа больших данных.
Сегодня все генерируют данные – от клиентов в социальных сетях до инстансов, в которых работают ваши веб-приложения. AWS легко распределяет сервисы хранения, расчетов и баз данных, необходимые для преобразования этих данных в информацию для вашего бизнеса. AWS также предлагает сервисы передачи данных, которые позволяют быстро совершать обмен большими данными с облаком, например AWS Direct Connect и Import/Export. Кроме того, весь входящий трафик в AWS не тарифицируется.
RDS доступен для MySQL, PostgreSQL, Oracle и SQL Server.
Amazon Kinesis – это управляемый сервис для обработки потоковой передачи больших данных в режиме реального времени. Amazon Kinesis поддерживает пропускную способность данных от нескольких мегабайт до гигабайт в секунду и может беспроблемно масштабироваться для обработки потоков от сотен и тысяч различных источников. Так как этот сервис обеспечивает высокий уровень доступности и надежности на экономически выгодных условиях, вы сможете сосредоточиться на интерпретации данных, что позволит вам принимать более продуманные решения быстрее и с меньшими затратами.
Сервис Amazon Simple Storage Service (S3) идеально подходит для надежного хранения различных типов больших данных: фармацевтических данных для анализа, финансовых данных для расчетов и формирования ценовой политики, а также мультимедийных файлов, например фотографий и видеороликов. Благодаря надежности в 99,999999999% сервис Amazon S3 не имеет уязвимых мест и пригоден для использования в качестве основного хранилища объектов больших данных.
Сервис Amazon Elastic Block Store (EBS) предлагает жесткие диски в качестве постоянного хранилища для виртуальных машин. Тома Amazon EBS предлагают единообразную производительность с низкими задержками, столь необходимую для работы с большими данными, например с реляционными базами данных или базами данных NoSQL, корпоративными приложениями и высокопроизводительными распределенными сетевыми файловыми системами.
Хранилища данных NoSQL получают значительное преимущество от скорости работы твердотельных накопителей (SSD). Сервис Amazon DynamoDB использует их по умолчанию, но если вы используете альтернативные варианты из AWS Marketplace, такие как Cassandra или MongoDB, вы можете ускорить доступ к приложениям за счет вместительных твердотельных накопителей, доступных по запросу и предлагающих класс инстансов для интенсивных операций ввода-вывода.
Если вам нужна база данных NoSQL, но при этом вы не хотите увеличивать рабочую нагрузку, воспользуйтесь сервисом Amazon DynamoDB. Это быстродействующий, полностью управляемый сервис баз данных NoSQL, обеспечивающий удобное и недорогое хранение и загрузку любого количества данных при любой нагрузке.
Благодаря гарантированной пропускной способности и задержке до 9 миллисекунд, сервис Amazon DynamoDB отлично подходит для игр, рекламных технологий, мобильных приложений и многих других вариантов использования больших данных.
Подробнее о сервисе Amazon RDS
Инновации, связанные с большими данными, распространяются не только на NoSQL. Они в большей степени связаны с доставкой необходимых технологий обработки данных, соответствующих потребностям вашего бизнеса. Реляционные базы данных обеспечивают высокую, предсказуемую и стабильную производительность; кроме того, они оптимизированы для транзакционных нагрузок, например для систем учета реализации или финансовой истории. Реляционные базы данных дополняют функционал баз данных NoSQL в рамках многих комплексных архитектур больших данных.
Сервис Amazon RDS позволяет легко настраивать, эксплуатировать и масштабировать реляционные базы данных в облаке. Этот сервис предоставляет малозатратные и масштабируемые ресурсы и одновременно контролирует выполнение трудоемких задач администрирования баз данных. Благодаря этому вы можете сосредоточиться на своих приложениях и ведении бизнеса.
Сервис Amazon Redshift предлагает высокопроизводительное, полностью управляемое хранилище данных объемом до нескольких петабайт стоимостью менее 1000 USD за терабайт в год. Сервис Amazon Redshift обеспечивает высокую производительность запросов и операций ввода-вывода для массивов данных практически любого размера за счет использования колоночной технологии хранения данных, а также распараллеливания и распределения запросов по нескольким узлам. Всего за несколько минут вы можете легко создать полностью управляемое хранилище данных с автоматизированным резервным копированием и встроенным шифрованием. Легко встраивается в существующие инструменты бизнес-аналитики.
Amazon Elastic MapReduce (EMR) предоставляет мощную инфраструктуру Apache Hadoop на базе Amazon EC2 в виде простого в использовании управляемого сервиса. Благодаря Amazon EMR вы сможете сосредоточиться на запросах map/reduce и воспользоваться широкими преимуществами семейства инструментов Hadoop, выполняя развертывание высокомасштабируемой и безопасной инфраструктурной платформы. Легко выполняйте задачи по анализу больших данных в облаке; передайте управление кластерами Hadoop сервису Amazon EMR.
Насколько быстро бы развивался ваш проект, будь у вас еще 1000 виртуальных машин? А если бы их было еще 10 000? Amazon Spot Market, встроенный в сервис Amazon Elastic MapReduce, позволит вам назначить собственную цену за вычислительные ресурсы, необходимые для выполнения анализа с помощью облачных вычислений. Это значит, что вы сможете выбрать нужное вам сочетание стоимости и производительности, что позволит ускорить процесс анализа, когда это необходимо, или значительно снизить затраты.
Сервис Amazon Glacier позволяет перенести административную нагрузку, связанную с управлением и масштабированием архивного хранилища, на AWS и помогает значительно упростить процесс хранения данных в течение нескольких лет или десятилетий. Amazon Glacier – это чрезвычайно экономичное хранилище для «холодных» данных, стоимость использования которого составляет всего 0,01 USD в месяц за 1 ГБ. Авансовые платежи не требуются, все операционные ресурсы включены в стоимость использования хранилища.
