Last updated
Learn & practice AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Learn & practice GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
Служба Elastic MapReduce (EMR) від AWS, починаючи з версії 4.8.0, представила функцію конфігурації безпеки, яка покращує захист даних, дозволяючи користувачам вказувати налаштування шифрування для даних в спокої та в русі в межах кластерів EMR, які є масштабованими групами EC2-екземплярів, призначеними для обробки великих даних, таких як Apache Hadoop і Spark.
Ключові характеристики включають:
За замовчуванням шифрування кластеру: За замовчуванням дані в спокої в кластері не шифруються. Однак увімкнення шифрування надає доступ до кількох функцій:
Уніфіковане налаштування ключів Linux: Шифрує обсяги EBS кластеру. Користувачі можуть вибрати AWS Key Management Service (KMS) або постачальника ключів на замовлення.
Шифрування HDFS з відкритим кодом: Пропонує два варіанти шифрування для Hadoop:
Захищений Hadoop RPC (віддалений виклик процедур), налаштований на конфіденційність, використовуючи Simple Authentication Security Layer.
Шифрування передачі блоків HDFS, налаштоване на true, використовує алгоритм AES-256.
Шифрування в русі: Сфокусовано на захисті даних під час передачі. Варіанти включають:
Шифрування з відкритим кодом Transport Layer Security (TLS): Шифрування може бути увімкнене шляхом вибору постачальника сертифікатів:
PEM: Вимагає ручного створення та упаковки сертифікатів PEM у zip-файл, на який посилаються з S3-бакету.
Користувацький: Включає додавання користувацького класу Java як постачальника сертифікатів, який постачає артефакти шифрування.
Після інтеграції постачальника сертифікатів TLS у конфігурацію безпеки можуть бути активовані наступні специфічні для застосування функції шифрування, які варіюються в залежності від версії EMR:
Hadoop:
Може зменшити зашифрований shuffle, використовуючи TLS.
Захищений Hadoop RPC з Simple Authentication Security Layer та HDFS Block Transfer з AES-256 активуються з шифруванням в спокої.
Presto (версія EMR 5.6.0+):
Внутрішня комунікація між вузлами Presto захищена за допомогою SSL та TLS.
Tez Shuffle Handler:
Використовує TLS для шифрування.
Spark:
Використовує TLS для протоколу Akka.
Використовує Simple Authentication Security Layer та 3DES для служби передачі блоків.
Зовнішня служба shuffle захищена за допомогою Simple Authentication Security Layer.
Ці функції колективно покращують безпеку кластерів EMR, особливо щодо захисту даних під час зберігання та передачі.
Вивчайте та практикуйте AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Вивчайте та практикуйте GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
