Last updated
Learn & practice AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Learn & practice GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
Usługa Elastic MapReduce (EMR) AWS, począwszy od wersji 4.8.0, wprowadziła funkcję konfiguracji zabezpieczeń, która zwiększa ochronę danych, umożliwiając użytkownikom określenie ustawień szyfrowania dla danych w spoczynku i w tranzycie w klastrach EMR, które są skalowalnymi grupami instancji EC2 zaprojektowanymi do przetwarzania dużych zbiorów danych, takich jak Apache Hadoop i Spark.
Kluczowe cechy obejmują:
Domyślne szyfrowanie klastra: Domyślnie dane w spoczynku w klastrze nie są szyfrowane. Jednak włączenie szyfrowania zapewnia dostęp do kilku funkcji:
Zunifikowane ustawienie klucza Linux: Szyfruje wolumeny EBS klastra. Użytkownicy mogą wybrać AWS Key Management Service (KMS) lub niestandardowego dostawcę kluczy.
Szyfrowanie HDFS open-source: Oferuje dwie opcje szyfrowania dla Hadoop:
Bezpieczne wywołanie procedury zdalnej Hadoop (RPC), ustawione na prywatność, wykorzystujące warstwę zabezpieczeń prostego uwierzytelniania.
Szyfrowanie transferu bloków HDFS, ustawione na true, wykorzystuje algorytm AES-256.
Szyfrowanie w tranzycie: Skupia się na zabezpieczeniu danych podczas transferu. Opcje obejmują:
Open Source Transport Layer Security (TLS): Szyfrowanie można włączyć, wybierając dostawcę certyfikatów:
PEM: Wymaga ręcznego utworzenia i spakowania certyfikatów PEM w plik zip, odwołując się do niego z wiadra S3.
Niestandardowy: Polega na dodaniu niestandardowej klasy Java jako dostawcy certyfikatów, która dostarcza artefakty szyfrowania.
Po zintegrowaniu dostawcy certyfikatów TLS w konfiguracji zabezpieczeń można aktywować następujące funkcje szyfrowania specyficzne dla aplikacji, różniące się w zależności od wersji EMR:
Hadoop:
Może zmniejszyć szyfrowany shuffle przy użyciu TLS.
Bezpieczne wywołanie procedury zdalnej Hadoop z warstwą zabezpieczeń prostego uwierzytelniania i transfer bloków HDFS z AES-256 są aktywowane przy szyfrowaniu w spoczynku.
Presto (wersja EMR 5.6.0+):
Wewnętrzna komunikacja między węzłami Presto jest zabezpieczona przy użyciu SSL i TLS.
Tez Shuffle Handler:
Wykorzystuje TLS do szyfrowania.
Spark:
Wykorzystuje TLS dla protokołu Akka.
Używa warstwy zabezpieczeń prostego uwierzytelniania i 3DES dla usługi transferu bloków.
Zewnętrzna usługa shuffle jest zabezpieczona przy użyciu warstwy zabezpieczeń prostego uwierzytelniania.
Te funkcje wspólnie zwiększają bezpieczeństwo klastrów EMR, szczególnie w zakresie ochrony danych podczas przechowywania i przesyłania.
Ucz się i ćwicz Hacking AWS:HackTricks Training AWS Red Team Expert (ARTE) Ucz się i ćwicz Hacking GCP: HackTricks Training GCP Red Team Expert (GRTE)
