Vue d'ensemble

Airflow 2.9, publie le 9 avril 2024, introduit l'ordonnancement multi-assets pour les pipelines de donnees.

Fonctionnalites principales

Ordonnancement multi-assets

Les DAGs peuvent desormais etre declenches par plusieurs datasets, permettant des pipelines reactifs bases sur les donnees.

python 
from airflow.datasets import Dataset
from airflow.decorators import dag, task
from datetime import datetime

sales = Dataset('s3://bucket/sales')
inventory = Dataset('s3://bucket/inventory')

@dag(schedule=[sales, inventory],
     start_date=datetime(2024, 1, 1))
def report_pipeline():
    @task
    def build_report():
        print('Both datasets updated')

    build_report()

report_pipeline()

Sources