Google Cloud Composer は、Apache Airflow 上に構築された完全管理型の ワークフローオーケストレーションサービス です。クラウドやオンプレミスのデータセンターにまたがるパイプラインを作成、スケジュール、および監視することができます。GCP Composer を使用すると、他の Google Cloud サービスとワークフローを簡単に統合でき、効率的なデータ統合および分析タスクを実現します。このサービスは、クラウドベースのデータワークフローの管理の複雑さを簡素化するように設計されており、大規模なデータ処理タスクを扱うデータエンジニアや開発者にとって貴重なツールです。
列挙
# Get envs infogcloudcomposerenvironmentslist--locations<loc>gcloudcomposerenvironmentsdescribe--location<loc><environment># Get list of dagsgcloudcomposerenvironmentsstoragedagslist--environment<environment>--location<loc># Download dags codemkdir/tmp/dagsgcloudcomposerenvironmentsstoragedagsexport--environment<environment>--location<loc>--destination/tmp/dags# List Data from composergcloudcomposerenvironmentsstoragedatalist--environment<environment>--location<loc># Download datamkdir/tmp/datagcloudcomposerenvironmentsstoragedataexport--environment<environment>--location<loc>--destination/tmp/data# List Plugins from composergcloudcomposerenvironmentsstoragepluginslist--environment<environment>--location<loc># Download pluginsmkdir/tmp/pluginsgcloud composer environments storage data export --environment <environment> --location <loc> --destination /tmp/plugins