AWS - EMR Enum
Last updated
Last updated
Learn & practice AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Learn & practice GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
AWS-ova Elastic MapReduce (EMR) usluga, počevši od verzije 4.8.0, uvela je konfiguraciju bezbednosti koja poboljšava zaštitu podataka omogućavajući korisnicima da odrede podešavanja enkripcije za podatke u mirovanju i u prenosu unutar EMR klastera, koji su skalabilne grupe EC2 instanci dizajnirane za obradu velikih podataka kao što su Apache Hadoop i Spark.
Ključne karakteristike uključuju:
Podrazumevana enkripcija klastera: Po defaultu, podaci u mirovanju unutar klastera nisu enkriptovani. Međutim, omogućavanje enkripcije pruža pristup nekoliko funkcija:
Linux Unified Key Setup: Enkriptuje EBS klaster volumene. Korisnici mogu izabrati AWS Key Management Service (KMS) ili prilagođenog provajdera ključeva.
Open-Source HDFS Enkripcija: Nudi dve opcije enkripcije za Hadoop:
Siguran Hadoop RPC (Remote Procedure Call), postavljen na privatnost, koristeći Simple Authentication Security Layer.
HDFS Block transfer enkripcija, postavljena na true, koristi AES-256 algoritam.
Enkripcija u prenosu: Fokusira se na zaštitu podataka tokom prenosa. Opcije uključuju:
Open Source Transport Layer Security (TLS): Enkripcija se može omogućiti izborom provajdera sertifikata:
PEM: Zahteva ručno kreiranje i pakovanje PEM sertifikata u zip datoteku, koja se poziva iz S3 kante.
Prilagođeno: Uključuje dodavanje prilagođene Java klase kao provajdera sertifikata koji obezbeđuje enkripcijske artefakte.
Kada se provajder TLS sertifikata integriše u konfiguraciju bezbednosti, sledeće funkcije enkripcije specifične za aplikaciju mogu se aktivirati, u zavisnosti od verzije EMR:
Hadoop:
Može smanjiti enkriptovani shuffle koristeći TLS.
Siguran Hadoop RPC sa Simple Authentication Security Layer i HDFS Block Transfer sa AES-256 su aktivirani sa enkripcijom u mirovanju.
Presto (EMR verzija 5.6.0+):
Interna komunikacija između Presto čvorova je zaštićena koristeći SSL i TLS.
Tez Shuffle Handler:
Koristi TLS za enkripciju.
Spark:
Koristi TLS za Akka protokol.
Koristi Simple Authentication Security Layer i 3DES za Block Transfer Service.
Spoljašnja shuffle usluga je zaštićena sa Simple Authentication Security Layer.
Ove funkcije zajedno poboljšavaju bezbednosni položaj EMR klastera, posebno u vezi sa zaštitom podataka tokom faza skladištenja i prenosa.
Učite i vežbajte AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Učite i vežbajte GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
