Vue d'ensemble
Transformers 4.46, publié le 15 novembre 2024, introduit l'architecture modulaire (modular transformers) pour faciliter la composition de modèles.
Fonctionnalités principales
Modular transformers
L'approche modulaire permet de composer des modèles à partir de blocs réutilisables, simplifiant la création d'architectures personnalisées.
python
from transformers import AutoModel, AutoTokenizer
# Chargement modulaire
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
model = AutoModel.from_pretrained('bert-base-uncased')
inputs = tokenizer('Transformers modulaires', return_tensors='pt')
outputs = model(**inputs)
print(f'Hidden states : {outputs.last_hidden_state.shape}')