Vue d'ensemble

Dask 2023.1, publié le 15 janvier 2023, introduit un optimiseur de requêtes pour les DataFrames qui améliore significativement les performances.

Fonctionnalités principales

Optimiseur de requêtes DataFrame

Le nouvel optimiseur analyse le graphe de calcul des DataFrames et élimine les opérations redondantes, fusionne les étapes compatibles et réordonne les filtres pour minimiser les données traitées.

python 
import dask.dataframe as dd

# Lecture paresseuse d'un gros fichier CSV
ddf = dd.read_csv('ventes_*.csv')

# L'optimiseur fusionne les opérations
resultat = (
    ddf[ddf['montant'] > 100]
    .groupby('categorie')['montant']
    .sum()
    .compute()
)
print(resultat)

Améliorations du planificateur

Le planificateur distribué bénéficie d'une meilleure gestion de la mémoire et d'un équilibrage de charge plus intelligent entre les workers.

python 
from dask.distributed import Client

# Connexion au cluster Dask
client = Client('scheduler:8786')
print(client.dashboard_link)

# Le planificateur distribue intelligemment
# les tâches en fonction de la mémoire disponible
import dask.array as da
x = da.random.random((10000, 10000), chunks=(1000, 1000))
resultat = x.mean().compute()
print(f'Moyenne : {resultat:.4f}')

Sources