Vue d'ensemble
Hugging Face Transformers 4.36, publie le 15 decembre 2023, ajoute le support de Mixtral et optimise le KV-cache pour l'inference.
Fonctionnalites principales
Mixtral (Mixture of Experts) est supporte nativement. Le KV-cache ameliore les performances d'inference pour la generation de texte.
python
from transformers import pipeline
gen = pipeline('text-generation', model='gpt2')
result = gen('Python is', max_new_tokens=20)
print(result[0]['generated_text'])