Vue d'ensemble

Transformers 4.40, publie le 10 mai 2024, ajoute le support de Phi-3, le petit modele de langage de Microsoft.

Fonctionnalites principales

Support Phi-3

Phi-3 est integre nativement, permettant l'inference et le fine-tuning d'un modele compact et performant.

python 
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    'microsoft/Phi-3-mini-4k-instruct',
    device_map='auto',
    torch_dtype='auto',
)
tokenizer = AutoTokenizer.from_pretrained(
    'microsoft/Phi-3-mini-4k-instruct'
)

inputs = tokenizer('Explain Python in one sentence.',
                   return_tensors='pt')
outputs = model.generate(**inputs, max_new_tokens=100)

Sources