L'architecture modulaire
Transformers 5.0 restructure les fichiers de modélisation en modules standardisés. Chaque modèle est défini par des composants réutilisables (couche d'attention, MLP, normalisation) plutôt que par un fichier monolithique. Cela facilite la création de nouveaux modèles et la maintenance.
Structurer un modèle
Les composants sont définis dans des fichiers séparés et assemblés via un fichier de configuration. Pour étendre un modèle existant, il suffit de surcharger le composant concerné sans toucher au reste.
python
from transformers import AutoModel, AutoConfig
# Charger un modèle modulaire
config = AutoConfig.from_pretrained('meta-llama/Llama-3-8B')
print(config.model_type) # 'llama'
# La structure interne est désormais :
# modeling_llama/
# attention.py -> LlamaAttention
# mlp.py -> LlamaMLP
# layer.py -> LlamaDecoderLayer
# model.py -> LlamaModel
# Étendre un modèle : surcharger un composant
model = AutoModel.from_pretrained('meta-llama/Llama-3-8B')
print(f'Couches : {len(model.layers)}')