Vue d'ensemble

Metaflow 2.9, publié le 15 mars 2023, introduit le système de Cards pour la visualisation et le monitoring des pipelines de données.

Fonctionnalités principales

Système de Cards

Les Cards sont des rapports visuels générés automatiquement pour chaque étape d'un flow Metaflow, facilitant le suivi et le débogage des pipelines.

python 
from metaflow import FlowSpec, step, card

class MonFlow(FlowSpec):
    @card
    @step
    def start(self):
        self.resultats = [1, 2, 3, 4, 5]
        self.next(self.traiter)

    @card
    @step
    def traiter(self):
        self.total = sum(self.resultats)
        self.next(self.end)

    @step
    def end(self):
        print(f'Total : {self.total}')

Monitoring intégré

Le monitoring intégré permet de suivre l'exécution des flows en temps réel, avec des métriques de performance et des alertes configurables.

python 
from metaflow import FlowSpec, step, retry

class FlowRobuste(FlowSpec):
    @retry(times=3)
    @step
    def start(self):
        import time
        self.debut = time.time()
        self.next(self.end)

    @step
    def end(self):
        import time
        duree = time.time() - self.debut
        print(f'Durée : {duree:.1f}s')

Sources