Vue d'ensemble
Dask 2024.1, publie le 15 janvier 2024, fait de Dask Expressions le backend par defaut, ameliorant les performances des DataFrames.
Fonctionnalites principales
Dask Expressions par defaut
Le moteur d'expressions optimise les requetes DataFrame avant execution, reduisant la memoire et le temps de calcul.
python
import dask.dataframe as dd
# Dask Expr optimise automatiquement
df = dd.read_parquet('data/*.parquet')
result = df[df['col'] > 0].groupby('cat').mean()
# Le plan est optimise avant execution
print(result.explain()) # affiche le plan
print(result.compute())API de requete amelioree
La methode .query() beneficie de l'optimisation automatique et les projections de colonnes sont propagees au niveau lecture.
python
import dask.dataframe as dd
df = dd.read_parquet('ventes/*.parquet')
# Projection et filtrage optimises
result = (
df[['produit', 'montant']]
.query('montant > 100')
.groupby('produit')
.sum()
)
print(result.compute())