Last updated
Learn & practice AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Learn & practice GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
O serviço Elastic MapReduce (EMR) da AWS, a partir da versão 4.8.0, introduziu um recurso de configuração de segurança que melhora a proteção de dados ao permitir que os usuários especifiquem configurações de criptografia para dados em repouso e em trânsito dentro dos clusters EMR, que são grupos escaláveis de instâncias EC2 projetadas para processar estruturas de big data como Apache Hadoop e Spark.
As principais características incluem:
Criptografia de Cluster Padrão: Por padrão, os dados em repouso dentro de um cluster não são criptografados. No entanto, habilitar a criptografia fornece acesso a vários recursos:
Configuração Unificada de Chaves Linux: Criptografa volumes de cluster EBS. Os usuários podem optar pelo AWS Key Management Service (KMS) ou um provedor de chave personalizado.
Criptografia HDFS de Código Aberto: Oferece duas opções de criptografia para Hadoop:
Secure Hadoop RPC (Remote Procedure Call), configurado para privacidade, aproveitando a Camada de Segurança de Autenticação Simples.
A criptografia de transferência de bloco HDFS, configurada como verdadeira, utiliza o algoritmo AES-256.
Criptografia em Trânsito: Foca em proteger dados durante a transferência. As opções incluem:
Criptografia de Camada de Transporte de Código Aberto (TLS): A criptografia pode ser habilitada escolhendo um provedor de certificado:
PEM: Requer a criação manual e a compactação de certificados PEM em um arquivo zip, referenciado a partir de um bucket S3.
Personalizado: Envolve adicionar uma classe Java personalizada como um provedor de certificado que fornece artefatos de criptografia.
Uma vez que um provedor de certificado TLS é integrado à configuração de segurança, os seguintes recursos de criptografia específicos da aplicação podem ser ativados, variando com base na versão do EMR:
Hadoop:
Pode reduzir o embaralhamento criptografado usando TLS.
Secure Hadoop RPC com Camada de Segurança de Autenticação Simples e Transferência de Bloco HDFS com AES-256 são ativados com criptografia em repouso.
Presto (versão EMR 5.6.0+):
A comunicação interna entre os nós Presto é protegida usando SSL e TLS.
Tez Shuffle Handler:
Utiliza TLS para criptografia.
Spark:
Emprega TLS para o protocolo Akka.
Usa Camada de Segurança de Autenticação Simples e 3DES para o Serviço de Transferência de Bloco.
O serviço de embaralhamento externo é protegido com a Camada de Segurança de Autenticação Simples.
Esses recursos, coletivamente, melhoram a postura de segurança dos clusters EMR, especialmente em relação à proteção de dados durante as fases de armazenamento e transmissão.
Aprenda e pratique Hacking AWS:HackTricks Training AWS Red Team Expert (ARTE) Aprenda e pratique Hacking GCP: HackTricks Training GCP Red Team Expert (GRTE)
