AWS - EMR Enum

支持 HackTricks

EMR

AWS 的弹性 MapReduce (EMR) 服务,从版本 4.8.0 开始,引入了 安全配置 功能,通过允许用户为 EMR 集群中的静态和传输数据指定加密设置,从而增强数据保护。EMR 集群是可扩展的 EC2 实例组,旨在处理大数据框架,如 Apache Hadoop 和 Spark。

主要特点包括:

  • 集群加密默认值:默认情况下,集群内的静态数据未加密。然而,启用加密可访问多个功能:

  • Linux 统一密钥设置:加密 EBS 集群卷。用户可以选择 AWS 密钥管理服务 (KMS) 或自定义密钥提供者。

  • 开源 HDFS 加密:为 Hadoop 提供两种加密选项:

  • 安全 Hadoop RPC(远程过程调用),设置为隐私,利用简单身份验证安全层。

  • HDFS 块传输加密,设置为 true,使用 AES-256 算法。

  • 传输中的加密:专注于在传输过程中保护数据。选项包括:

  • 开源传输层安全 (TLS):通过选择证书提供者启用加密:

  • PEM:需要手动创建并将 PEM 证书打包到 zip 文件中,从 S3 存储桶引用。

  • 自定义:涉及添加自定义 Java 类作为证书提供者,提供加密工件。

一旦将 TLS 证书提供者集成到安全配置中,可以激活以下特定于应用程序的加密功能,具体取决于 EMR 版本:

  • Hadoop

  • 可能通过 TLS 减少加密的 shuffle。

  • 使用简单身份验证安全层的安全 Hadoop RPC 和使用 AES-256 的 HDFS 块传输在静态加密时激活。

  • Presto(EMR 版本 5.6.0+):

  • Presto 节点之间的内部通信使用 SSL 和 TLS 进行安全保护。

  • Tez Shuffle Handler

  • 使用 TLS 进行加密。

  • Spark

  • 使用 TLS 进行 Akka 协议。

  • 使用简单身份验证安全层和 3DES 进行块传输服务。

  • 外部 shuffle 服务使用简单身份验证安全层进行保护。

这些功能共同增强了 EMR 集群的安全态势,特别是在存储和传输阶段的数据保护方面。

Enumeration

aws emr list-clusters
aws emr describe-cluster --cluster-id <id>
aws emr list-instances --cluster-id <id>
aws emr list-instance-fleets --cluster-id <id>
aws emr list-steps --cluster-id <id>
aws emr list-notebook-executions
aws emr list-security-configurations
aws emr list-studios #Get studio URLs

提权

参考

支持 HackTricks

Last updated