Vue d'ensemble

Airflow 2.6, publié le 11 juillet 2023, introduit le support du stockage objet et améliore le système de datasets.

Fonctionnalités principales

Stockage objet

Airflow 2.6 intègre nativement le support du stockage objet (S3, GCS, Azure Blob) via une API unifiée ObjectStoragePath.

python 
from airflow.io.path import ObjectStoragePath
from airflow.decorators import dag, task
from datetime import datetime

@dag(start_date=datetime(2023, 1, 1), schedule=None)
def pipeline_stockage():
    @task
    def lire_fichier():
        chemin = ObjectStoragePath('s3://bucket/data.csv')
        contenu = chemin.read_text()
        return len(contenu.splitlines())

    lire_fichier()

pipeline_stockage()

Datasets améliorés

Le système de datasets bénéficie de conditions de déclenchement plus fines et d'une meilleure traçabilité des mises à jour.

python 
from airflow.datasets import Dataset
from airflow.decorators import dag, task
from datetime import datetime

source = Dataset('s3://bucket/source.parquet')
cible = Dataset('s3://bucket/resultat.parquet')

@dag(schedule=[source], start_date=datetime(2023, 1, 1))
def transformation():
    @task(outlets=[cible])
    def transformer():
        return 'données transformées'

    transformer()

transformation()

Sources