Last updated
学习与实践 AWS 黑客技术：HackTricks 培训 AWS 红队专家 (ARTE) 学习与实践 GCP 黑客技术：HackTricks 培训 GCP 红队专家 (GRTE)
AWS 的弹性 MapReduce (EMR) 服务，从版本 4.8.0 开始，引入了 安全配置 功能，通过允许用户为 EMR 集群中的静态和传输数据指定加密设置，从而增强数据保护。EMR 集群是设计用于处理大数据框架（如 Apache Hadoop 和 Spark）的可扩展 EC2 实例组。
主要特点包括：
集群加密默认值：默认情况下，集群中的静态数据未加密。然而，启用加密可以访问多个功能：
Linux 统一密钥设置：加密 EBS 集群卷。用户可以选择 AWS 密钥管理服务 (KMS) 或自定义密钥提供者。
开源 HDFS 加密：为 Hadoop 提供两种加密选项：
安全 Hadoop RPC（远程过程调用），设置为隐私，利用简单身份验证安全层。
HDFS 块传输加密，设置为 true，使用 AES-256 算法。
传输中的加密：专注于保护传输中的数据。选项包括：
开源传输层安全 (TLS)：通过选择证书提供者启用加密：
PEM：需要手动创建并将 PEM 证书打包到 zip 文件中，从 S3 存储桶引用。
自定义：涉及添加自定义 Java 类作为证书提供者，提供加密工件。
一旦将 TLS 证书提供者集成到安全配置中，可以激活以下特定于应用程序的加密功能，具体取决于 EMR 版本：
Hadoop：
可能使用 TLS 减少加密的 shuffle。
使用简单身份验证安全层的安全 Hadoop RPC 和使用 AES-256 的 HDFS 块传输在静态加密时激活。
Presto（EMR 版本 5.6.0+）：
Presto 节点之间的内部通信使用 SSL 和 TLS 进行安全保护。
Tez Shuffle Handler：
使用 TLS 进行加密。
Spark：
使用 TLS 进行 Akka 协议。
使用简单身份验证安全层和 3DES 进行块传输服务。
外部 shuffle 服务使用简单身份验证安全层进行保护。
这些功能共同增强了 EMR 集群的安全态势，特别是在存储和传输阶段的数据保护方面。
学习和实践 AWS 黑客技术：HackTricks 培训 AWS 红队专家 (ARTE) 学习和实践 GCP 黑客技术：HackTricks 培训 GCP 红队专家 (GRTE)
