Google Cloud Composer는 Apache Airflow를 기반으로 한 완전 관리형 워크플로우 오케스트레이션 서비스입니다. 이를 통해 클라우드와 온프레미스 데이터 센터에 걸쳐 파이프라인을 작성, 예약 및 모니터링할 수 있습니다. GCP Composer를 사용하면 다른 Google Cloud 서비스와 워크플로우를 쉽게 통합하여 효율적인 데이터 통합 및 분석 작업을 촉진할 수 있습니다. 이 서비스는 클라우드 기반 데이터 워크플로우 관리의 복잡성을 단순화하도록 설계되어 대규모 데이터 처리 작업을 처리하는 데이터 엔지니어와 개발자에게 유용한 도구입니다.
Enumeration
# Get envs infogcloudcomposerenvironmentslist--locations<loc>gcloudcomposerenvironmentsdescribe--location<loc><environment># Get list of dagsgcloudcomposerenvironmentsstoragedagslist--environment<environment>--location<loc># Download dags codemkdir/tmp/dagsgcloudcomposerenvironmentsstoragedagsexport--environment<environment>--location<loc>--destination/tmp/dags# List Data from composergcloudcomposerenvironmentsstoragedatalist--environment<environment>--location<loc># Download datamkdir/tmp/datagcloudcomposerenvironmentsstoragedataexport--environment<environment>--location<loc>--destination/tmp/data# List Plugins from composergcloudcomposerenvironmentsstoragepluginslist--environment<environment>--location<loc># Download pluginsmkdir/tmp/pluginsgcloud composer environments storage data export --environment <environment> --location <loc> --destination /tmp/plugins
