AWS - EMR Enum
EMR
AWS의 Elastic MapReduce (EMR) 서비스는 4.8.0 버전부터 보안 구성 기능을 도입하여 사용자가 EMR 클러스터 내에서 데이터가 저장 및 전송 중일 때 암호화 설정을 지정할 수 있도록 하여 데이터 보호를 강화합니다. EMR 클러스터는 Apache Hadoop 및 Spark와 같은 빅 데이터 프레임워크를 처리하도록 설계된 EC2 인스턴스의 확장 가능한 그룹입니다.
주요 특징은 다음과 같습니다:
클러스터 암호화 기본값: 기본적으로 클러스터 내의 데이터는 암호화되지 않습니다. 그러나 암호화를 활성화하면 여러 기능에 접근할 수 있습니다:
Linux 통합 키 설정: EBS 클러스터 볼륨을 암호화합니다. 사용자는 AWS 키 관리 서비스(KMS) 또는 사용자 지정 키 제공자를 선택할 수 있습니다.
오픈 소스 HDFS 암호화: Hadoop에 대한 두 가지 암호화 옵션을 제공합니다:
보안 Hadoop RPC(원격 프로시저 호출), 개인 정보 보호로 설정되며, 간단한 인증 보안 계층을 활용합니다.
HDFS 블록 전송 암호화, true로 설정되어 AES-256 알고리즘을 사용합니다.
전송 중 암호화: 전송 중 데이터 보안에 중점을 둡니다. 옵션은 다음과 같습니다:
오픈 소스 전송 계층 보안(TLS): 인증서 제공자를 선택하여 암호화를 활성화할 수 있습니다:
PEM: PEM 인증서를 수동으로 생성하고 zip 파일로 묶어 S3 버킷에서 참조해야 합니다.
사용자 지정: 암호화 아티팩트를 제공하는 인증서 제공자로 사용자 지정 Java 클래스를 추가하는 것을 포함합니다.
TLS 인증서 제공자가 보안 구성에 통합되면 EMR 버전에 따라 다음 애플리케이션별 암호화 기능을 활성화할 수 있습니다:
Hadoop:
TLS를 사용하여 암호화된 셔플을 줄일 수 있습니다.
간단한 인증 보안 계층과 AES-256을 사용하는 HDFS 블록 전송이 활성화됩니다.
Presto (EMR 버전 5.6.0 이상):
Presto 노드 간의 내부 통신이 SSL 및 TLS를 사용하여 보호됩니다.
Tez 셔플 핸들러:
암호화를 위해 TLS를 사용합니다.
Spark:
Akka 프로토콜에 TLS를 사용합니다.
블록 전송 서비스에 간단한 인증 보안 계층과 3DES를 사용합니다.
외부 셔플 서비스는 간단한 인증 보안 계층으로 보호됩니다.
이러한 기능은 EMR 클러스터의 보안 태세를 집합적으로 강화하여 저장 및 전송 단계에서 데이터 보호와 관련하여 특히 중요합니다.
Enumeration
권한 상승
참고자료
Last updated
