Vue d'ensemble

Transformers 4.30 de Hugging Face, publié le 20 mai 2023, intègre PEFT pour le fine-tuning efficace et améliore le support des grands modèles de langage.

Fonctionnalités principales

Intégration PEFT

L'intégration de PEFT (Parameter-Efficient Fine-Tuning) permet de fine-tuner des modèles massifs avec LoRA, réduisant drastiquement la mémoire nécessaire.

python 
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model

model = AutoModelForCausalLM.from_pretrained('gpt2')
tokenizer = AutoTokenizer.from_pretrained('gpt2')

# Configuration LoRA pour fine-tuning efficace
lora_config = LoraConfig(
    r=8, lora_alpha=32,
    target_modules=['c_attn'],
    lora_dropout=0.1,
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 0.1% of total

Support LLM amélioré

Le support des grands modèles de langage (LLM) est amélioré avec le chargement en 4-bit/8-bit, la génération avec KV-cache et les pipelines de conversation.

python 
from transformers import pipeline

# Pipeline de génération de texte
generateur = pipeline(
    'text-generation',
    model='gpt2',
    max_new_tokens=50,
)

resultat = generateur('Python est un langage')
print(resultat[0]['generated_text'])

Sources