Vue d'ensemble

PyArrow 20.0, publie le 27 avril 2025, resout 259 problemes et ameliore les performances de lecture Parquet.

Fonctionnalites principales

Lecture Parquet amelioree

Le moteur de lecture Parquet est optimise avec un meilleur decodage parallele et une gestion memoire amelioree pour les fichiers volumineux.

python 
import pyarrow.parquet as pq

# Lecture optimisee de fichiers Parquet
table = pq.read_table(
    'data.parquet',
    columns=['id', 'value'],
    use_threads=True,
)
print(f'Lignes : {table.num_rows}')

Fonctions de calcul etendues

Le module pyarrow.compute s'enrichit de nouvelles fonctions de transformation et d'agregation sur les tableaux Arrow.

python 
import pyarrow as pa
import pyarrow.compute as pc

arr = pa.array([3, 1, 4, 1, 5, 9])
sorted_arr = pc.sort_indices(arr)
print(pc.take(arr, sorted_arr))  # [1, 1, 3, 4, 5, 9]
print(f'Moyenne : {pc.mean(arr).as_py():.2f}')

Sources