Vue d'ensemble

Apache Airflow 2.7, publie le 13 octobre 2023, introduit les taches de setup et teardown pour gerer le cycle de vie des ressources dans les DAG.

Fonctionnalites principales

Les taches setup et teardown garantissent l'allocation et la liberation des ressources, meme en cas d'echec des taches intermediaires.

python 
from airflow.decorators import dag, task, setup, teardown
from datetime import datetime

@dag(schedule=None, start_date=datetime(2023, 1, 1))
def my_dag():
    @setup
    @task
    def create_cluster():
        return 'cluster-id'

    @teardown
    @task
    def delete_cluster(cluster_id):
        pass

    @task
    def process(cluster_id):
        pass

    cid = create_cluster()
    process(cid) >> delete_cluster(cid)

Sources