Last updated
Learn & practice AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE) Learn & practice GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE)
L'autore originale di questa pagina è Jorge (leggi il suo post originale qui)
Consente di eseguire container in un motore di container.
La pianificazione consente missioni efficienti per i container.
Mantiene i container attivi.
Consente comunicazioni tra container.
Consente tecniche di distribuzione.
Gestisce volumi di informazioni.
Nodo: sistema operativo con pod o pods.
Pod: involucro attorno a un container o più container. Un pod dovrebbe contenere solo un'applicazione (quindi di solito, un pod esegue solo 1 container). Il pod è il modo in cui Kubernetes astrae la tecnologia dei container in esecuzione.
Servizio: Ogni pod ha 1 indirizzo IP interno dall'intervallo interno del nodo. Tuttavia, può essere anche esposto tramite un servizio. Il servizio ha anche un indirizzo IP e il suo obiettivo è mantenere la comunicazione tra i pod, quindi se uno muore il nuovo sostituto (con un IP interno diverso) sarà accessibile esposto nel stesso IP del servizio. Può essere configurato come interno o esterno. Il servizio agisce anche come un bilanciatore di carico quando 2 pod sono connessi allo stesso servizio.
Quando un servizio è creato puoi trovare gli endpoint di ciascun servizio eseguendo kubectl get endpoints
Kubelet: agente principale del nodo. Il componente che stabilisce la comunicazione tra il nodo e kubectl, e può eseguire solo pod (attraverso l'API server). Il kubelet non gestisce i container che non sono stati creati da Kubernetes.
Kube-proxy: è il servizio responsabile delle comunicazioni (servizi) tra l'apiserver e il nodo. La base è un IPtables per i nodi. Gli utenti più esperti potrebbero installare altri kube-proxy di altri fornitori.
Container Sidecar: I container sidecar sono i container che dovrebbero essere eseguiti insieme al container principale nel pod. Questo modello sidecar estende e migliora la funzionalità dei container attuali senza modificarli. Oggi sappiamo che utilizziamo la tecnologia dei container per avvolgere tutte le dipendenze affinché l'applicazione possa essere eseguita ovunque. Un container fa solo una cosa e la fa molto bene.
Processo Master:
Api Server: È il modo in cui gli utenti e i pod comunicano con il processo master. Solo le richieste autenticate dovrebbero essere consentite.
Scheduler: La pianificazione si riferisce a garantire che i Pod siano abbinati ai Nod per consentire al Kubelet di eseguirli. Ha abbastanza intelligenza per decidere quale nodo ha più risorse disponibili e assegnare il nuovo pod ad esso. Nota che lo scheduler non avvia nuovi pod, comunica solo con il processo Kubelet in esecuzione all'interno del nodo, che lancerà il nuovo pod.
Kube Controller manager: Controlla le risorse come i replica set o le distribuzioni per verificare se, ad esempio, il numero corretto di pod o nodi è in esecuzione. In caso di mancanza di un pod, comunicherà con lo scheduler per avviarne uno nuovo. Controlla la replicazione, i token e i servizi di account per l'API.
etcd: Archiviazione dati, persistente, coerente e distribuita. È il database di Kubernetes e l'archiviazione chiave-valore in cui mantiene lo stato completo dei cluster (ogni modifica è registrata qui). Componenti come lo Scheduler o il Controller manager dipendono da questi dati per sapere quali modifiche sono avvenute (risorse disponibili dei nodi, numero di pod in esecuzione...)
Cloud controller manager: È il controller specifico per i controlli di flusso e le applicazioni, ad es.: se hai cluster in AWS o OpenStack.
Nota che poiché potrebbero esserci diversi nodi (che eseguono diversi pod), potrebbero esserci anche diversi processi master i cui accessi all'Api server sono bilanciati e il loro etcd sincronizzato.
Volumi:
Quando un pod crea dati che non dovrebbero andare persi quando il pod scompare, dovrebbero essere memorizzati in un volume fisico. Kubernetes consente di allegare un volume a un pod per persistere i dati. Il volume può essere nella macchina locale o in un archiviazione remota. Se stai eseguendo pod in nodi fisici diversi, dovresti utilizzare un'archiviazione remota in modo che tutti i pod possano accedervi.
Altre configurazioni:
ConfigMap: Puoi configurare URL per accedere ai servizi. Il pod otterrà dati da qui per sapere come comunicare con il resto dei servizi (pod). Nota che questo non è il posto consigliato per salvare le credenziali!
Secret: Questo è il posto per memorizzare dati segreti come password, chiavi API... codificati in B64. Il pod sarà in grado di accedere a questi dati per utilizzare le credenziali richieste.
Deployments: Qui vengono indicati i componenti da eseguire tramite Kubernetes. Un utente di solito non lavora direttamente con i pod, i pod sono astratti in ReplicaSets (numero di pod identici replicati), che vengono eseguiti tramite distribuzioni. Nota che le distribuzioni sono per applicazioni stateless. La configurazione minima per una distribuzione è il nome e l'immagine da eseguire.
StatefulSet: Questo componente è specificamente destinato ad applicazioni come database che necessitano di accedere alla stessa archiviazione.
Ingress: Questa è la configurazione utilizzata per esporre l'applicazione pubblicamente con un URL. Nota che questo può essere fatto anche utilizzando servizi esterni, ma questo è il modo corretto per esporre l'applicazione.
Se implementi un Ingress dovrai creare Ingress Controllers. L'Ingress Controller è un pod che sarà l'endpoint che riceverà le richieste e le controllerà e le bilancerà ai servizi. L'Ingress Controller invierà la richiesta in base alle regole di ingress configurate. Nota che le regole di ingress possono puntare a percorsi diversi o persino a sottodomini diversi per diversi servizi Kubernetes interni.
Una migliore pratica di sicurezza sarebbe utilizzare un bilanciatore di carico cloud o un server proxy come punto di ingresso per non avere alcuna parte del cluster Kubernetes esposta.
Quando viene ricevuta una richiesta che non corrisponde a nessuna regola di ingress, l'Ingress Controller la dirigerà al "Default backend". Puoi describe l'Ingress Controller per ottenere l'indirizzo di questo parametro.
minikube addons enable ingress
CA è la radice fidata per tutti i certificati all'interno del cluster.
Consente ai componenti di convalidarsi a vicenda.
Tutti i certificati del cluster sono firmati dalla CA.
ETCd ha il proprio certificato.
tipi:
certificato apiserver.
certificato kubelet.
certificato scheduler.
Minikube può essere utilizzato per eseguire alcuni test rapidi su Kubernetes senza dover distribuire un intero ambiente Kubernetes. Eseguirà i processi master e nodo su una macchina. Minikube utilizzerà VirtualBox per eseguire il nodo. Vedi qui come installarlo.
Kubectl è lo strumento da riga di comando per i cluster kubernetes. Comunica con il server Api del processo master per eseguire azioni in kubernetes o per richiedere dati.
Il dashboard ti consente di vedere più facilmente cosa sta eseguendo minikube, puoi trovare l'URL per accedervi in:
Ogni file di configurazione ha 3 parti: metadata, specification (cosa deve essere lanciato), status (stato desiderato). All'interno della specifica del file di configurazione del deployment puoi trovare il template definito con una nuova struttura di configurazione che definisce l'immagine da eseguire:
Esempio di Deployment + Service dichiarati nello stesso file di configurazione (da qui)
Poiché un servizio è solitamente correlato a un deployment, è possibile dichiarare entrambi nello stesso file di configurazione (il servizio dichiarato in questa configurazione è accessibile solo internamente):
Esempio di configurazione del servizio esterno
Questo servizio sarà accessibile esternamente (controlla gli attributi nodePort e type: LoadBlancer):
Questo è utile per i test, ma per la produzione dovresti avere solo servizi interni e un Ingress per esporre l'applicazione.
Esempio di file di configurazione Ingress
Questo esporrà l'applicazione in http://dashboard.com.
Esempio di file di configurazione dei segreti
Nota come le password siano codificate in B64 (che non è sicuro!)
Esempio di ConfigMap
Una ConfigMap è la configurazione che viene fornita ai pod affinché sappiano come localizzare e accedere ad altri servizi. In questo caso, ogni pod saprà che il nome mongodb-service è l'indirizzo di un pod con cui possono comunicare (questo pod eseguirà un mongodb):
Poi, all'interno di una deployment config, questo indirizzo può essere specificato nel seguente modo affinché venga caricato all'interno dell'env del pod:
Esempio di configurazione del volume
Puoi trovare diversi esempi di file di configurazione dello storage in formato yaml su https://gitlab.com/nanuchi/youtube-tutorial-series/-/tree/master/kubernetes-volumes. Nota che i volumi non sono all'interno dei namespace
Kubernetes supporta più cluster virtuali supportati dallo stesso cluster fisico. Questi cluster virtuali sono chiamati namespace. Sono destinati all'uso in ambienti con molti utenti distribuiti su più team o progetti. Per cluster con pochi o decine di utenti, non dovresti aver bisogno di creare o pensare ai namespace. Dovresti iniziare a utilizzare i namespace per avere un migliore controllo e organizzazione di ciascuna parte dell'applicazione distribuita in kubernetes.
I namespace forniscono un ambito per i nomi. I nomi delle risorse devono essere unici all'interno di un namespace, ma non tra i namespace. I namespace non possono essere annidati l'uno dentro l'altro e ogni risorsa Kubernetes può essere in un solo namespace.
Ci sono 4 namespace per impostazione predefinita se stai usando minikube:
kube-system: Non è destinato all'uso degli utenti e non dovresti toccarlo. È per i processi master e kubectl.
kube-public: Dati accessibili pubblicamente. Contiene un configmap che contiene informazioni sul cluster.
kube-node-lease: Determina la disponibilità di un nodo.
default: Lo spazio dei nomi che l'utente utilizzerà per creare risorse.
Nota che la maggior parte delle risorse Kubernetes (ad es. pod, servizi, controller di replica e altre) si trovano in alcuni namespace. Tuttavia, altre risorse come le risorse di namespace e le risorse a basso livello, come i nodi e i persistenVolumes, non si trovano in un namespace. Per vedere quali risorse Kubernetes sono e non sono in un namespace:
Puoi salvare il namespace per tutti i successivi comandi kubectl in quel contesto.
Helm è il gestore di pacchetti per Kubernetes. Consente di impacchettare file YAML e distribuirli in repository pubblici e privati. Questi pacchetti sono chiamati Helm Charts.
Helm è anche un motore di template che consente di generare file di configurazione con variabili:
Un Secret è un oggetto che contiene dati sensibili come una password, un token o una chiave. Tali informazioni potrebbero altrimenti essere inserite in una specifica di Pod o in un'immagine. Gli utenti possono creare Secrets e il sistema crea anche Secrets. Il nome di un oggetto Secret deve essere un valido nome di sottodominio DNS. Leggi qui la documentazione ufficiale.
I Secrets possono essere cose come:
API, chiavi SSH.
Token OAuth.
Credenziali, password (testo normale o b64 + crittografia).
Informazioni o commenti.
Codice di connessione al database, stringhe… .
Ci sono diversi tipi di segreti in Kubernetes
| Tipo incorporato | Utilizzo |
|---|---|
Opaque | dati arbitrari definiti dall'utente (Predefinito) |
kubernetes.io/service-account-token | token dell'account di servizio |
kubernetes.io/dockercfg | file ~/.dockercfg serializzato |
kubernetes.io/dockerconfigjson | file ~/.docker/config.json serializzato |
kubernetes.io/basic-auth | credenziali per l'autenticazione di base |
kubernetes.io/ssh-auth | credenziali per l'autenticazione SSH |
kubernetes.io/tls | dati per un client o server TLS |
bootstrap.kubernetes.io/token | dati del token di avvio |
Il tipo Opaque è quello predefinito, la tipica coppia chiave-valore definita dagli utenti.
Come funzionano i segreti:
Il seguente file di configurazione definisce un secret chiamato mysecret con 2 coppie chiave-valore username: YWRtaW4= e password: MWYyZDFlMmU2N2Rm. Definisce anche un pod chiamato secretpod che avrà il username e la password definiti in mysecret esposti nelle variabili di ambiente SECRET_USERNAME __ e __ SECRET_PASSWOR. Monta anche il segreto username all'interno di mysecret nel percorso /etc/foo/my-group/my-username con permessi 0640.
etcd è un archivio key-value consistente e altamente disponibile utilizzato come archivio di supporto per tutti i dati del cluster in Kubernetes. Accediamo ai segreti memorizzati in etcd:
Vedrai i certificati, le chiavi e gli URL che si trovano nel FS. Una volta ottenuti, sarai in grado di connetterti a etcd.
Una volta stabilita la comunicazione, sarai in grado di ottenere i segreti:
Aggiungere la crittografia all'ETCD
Per impostazione predefinita, tutti i segreti sono memorizzati in testo semplice all'interno di etcd a meno che non si applichi uno strato di crittografia. Il seguente esempio si basa su https://kubernetes.io/docs/tasks/administer-cluster/encrypt-data/
Dopo di che, è necessario impostare il flag --encryption-provider-config sul kube-apiserver per puntare alla posizione del file di configurazione creato. Puoi modificare /etc/kubernetes/manifest/kube-apiserver.yaml e aggiungere le seguenti righe:
Scorri verso il basso in volumeMounts:
Scorri verso il basso in volumeMounts fino a hostPath:
Verifica che i dati siano crittografati
I dati sono crittografati quando scritti in etcd. Dopo aver riavviato il tuo kube-apiserver, qualsiasi segreto creato o aggiornato di recente dovrebbe essere crittografato quando memorizzato. Per controllare, puoi utilizzare il programma da riga di comando etcdctl per recuperare il contenuto del tuo segreto.
Crea un nuovo segreto chiamato secret1 nel namespace default:
Utilizzando la riga di comando etcdctl, leggi quel segreto da etcd:
ETCDCTL_API=3 etcdctl get /registry/secrets/default/secret1 [...] | hexdump -C
dove [...] deve essere gli argomenti aggiuntivi per connettersi al server etcd. 3. Verifica che il segreto memorizzato sia preceduto da k8s:enc:aescbc:v1:, il che indica che il provider aescbc ha crittografato i dati risultanti. 4. Verifica che il segreto venga decrittografato correttamente quando recuperato tramite l'API:
dovrebbe corrispondere a mykey: bXlkYXRh, mydata è codificato, controlla decodifica di un segreto per decodificare completamente il segreto.
Poiché i segreti sono crittografati in scrittura, eseguire un aggiornamento su un segreto crittograferà quel contenuto:
Suggerimenti finali:
Cerca di non tenere segreti nel FS, ottienili da altri luoghi.
Controlla https://www.vaultproject.io/ per aggiungere più protezione ai tuoi segreti.
Impara e pratica il hacking AWS:HackTricks Training AWS Red Team Expert (ARTE) Impara e pratica il hacking GCP: HackTricks Training GCP Red Team Expert (GRTE)
