Vue d'ensemble

PyArrow 6.0, publie le 27 octobre 2021, ajoute le support du standard Substrait et de nouveaux types de donnees pour l'interoperabilite.

Fonctionnalites principales

Support Substrait

Substrait est un standard ouvert pour decrire des plans de requetes de maniere portable entre moteurs de calcul. PyArrow 6.0 commence a supporter la serialisation et l'execution de plans Substrait.

python 
import pyarrow as pa
import pyarrow.compute as pc

# Utilisation des fonctions de calcul Arrow
table = pa.table({
    'nom': ['Alice', 'Bob', 'Charlie'],
    'score': [85, 92, 78],
})

# Filtrage et projection (base de Substrait)
masque = pc.greater(table['score'], 80)
resultat = table.filter(masque)
print(resultat.to_pandas())

Nouveaux types de donnees

PyArrow 6.0 ajoute les types month_day_nano pour les intervalles et ameliore le support des types decimaux et temporels.

python 
import pyarrow as pa

# Nouveau type month_day_nano_interval
interval_type = pa.month_day_nano_interval()
print(f'Type : {interval_type}')

# Types decimaux ameliores
prix = pa.array(['19.99', '42.50', '7.25']).cast(pa.decimal128(10, 2))
print(prix)

# Types temporels
timestamps = pa.array([1635340800, 1635427200], type=pa.timestamp('s'))
print(timestamps)

Sources