Vue d'ensemble

Airflow 2.5, publié le 8 avril 2023, améliore le système de datasets pour l'orchestration basée sur les données.

Fonctionnalités principales

Datasets améliorés

Les datasets permettent de déclencher des DAGs automatiquement lorsque des données en amont sont mises à jour, créant des dépendances data-driven entre les pipelines.

python 
from airflow.datasets import Dataset
from airflow.decorators import dag, task
from datetime import datetime

donnees = Dataset('s3://bucket/donnees.parquet')

@dag(schedule=[donnees], start_date=datetime(2023, 1, 1))
def pipeline_analyse():
    @task(outlets=[donnees])
    def charger():
        return 'données chargées'

    charger()

pipeline_analyse()

Améliorations de l'interface

L'interface web d'Airflow bénéficie d'une vue en grille améliorée et d'un meilleur affichage des dépendances entre datasets.

python 
from airflow.decorators import dag, task
from datetime import datetime, timedelta

@dag(
    schedule=timedelta(hours=1),
    start_date=datetime(2023, 1, 1),
    catchup=False,
)
def etl_horaire():
    @task
    def extraire():
        return {'lignes': 1000}

    @task
    def transformer(donnees):
        return {'lignes': donnees['lignes'], 'traitees': True}

    transformer(extraire())

etl_horaire()

Sources