AWS - EMR Enum
Last updated
Last updated
Learn & practice AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Learn & practice GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
Служба Elastic MapReduce (EMR) від AWS, починаючи з версії 4.8.0, представила функцію конфігурації безпеки, яка покращує захист даних, дозволяючи користувачам вказувати налаштування шифрування для даних в спокої та в русі в рамках кластерів EMR, які є масштабованими групами EC2-екземплярів, призначеними для обробки великих даних, таких як Apache Hadoop і Spark.
Ключові характеристики включають:
За замовчуванням шифрування кластера: За замовчуванням дані в спокої в кластері не шифруються. Однак увімкнення шифрування надає доступ до кількох функцій:
Уніфіковане налаштування ключів Linux: Шифрує обсяги EBS кластера. Користувачі можуть вибрати AWS Key Management Service (KMS) або постачальника ключів на замовлення.
Шифрування HDFS з відкритим кодом: Пропонує два варіанти шифрування для Hadoop:
Захищений Hadoop RPC (віддалений виклик процедур), налаштований на конфіденційність, використовуючи Simple Authentication Security Layer.
Шифрування передачі блоків HDFS, налаштоване на true, використовує алгоритм AES-256.
Шифрування в русі: Сфокусовано на захисті даних під час передачі. Варіанти включають:
Шифрування з відкритим кодом Transport Layer Security (TLS): Шифрування може бути увімкнене шляхом вибору постачальника сертифікатів:
PEM: Вимагає ручного створення та упаковки сертифікатів PEM у zip-файл, на який посилаються з S3-бакета.
Користувацький: Включає додавання користувацького класу Java як постачальника сертифікатів, який постачає артефакти шифрування.
Після інтеграції постачальника сертифікатів TLS у конфігурацію безпеки можуть бути активовані наступні специфічні для застосування функції шифрування, які варіюються в залежності від версії EMR:
Hadoop:
Може зменшити зашифрований shuffle, використовуючи TLS.
Захищений Hadoop RPC з Simple Authentication Security Layer та HDFS Block Transfer з AES-256 активуються з шифруванням в спокої.
Presto (версія EMR 5.6.0+):
Внутрішня комунікація між вузлами Presto захищена за допомогою SSL і TLS.
Tez Shuffle Handler:
Використовує TLS для шифрування.
Spark:
Використовує TLS для протоколу Akka.
Використовує Simple Authentication Security Layer і 3DES для служби передачі блоків.
Зовнішня служба shuffle захищена за допомогою Simple Authentication Security Layer.
Ці функції колективно покращують безпеку кластерів EMR, особливо щодо захисту даних під час зберігання та передачі.
Вивчайте та практикуйте AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Вивчайте та практикуйте GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
