Vue d'ensemble

Hugging Face Transformers 4.15, publie le 15 novembre 2021, ajoute le support des modeles BigScience et FLAN pour la recherche en NLP a grande echelle.

Fonctionnalites principales

Support BigScience

Le projet BigScience est integre avec des outils pour entrainer et deployer des modeles de langue massifs dans un cadre collaboratif et ouvert.

python 
from transformers import AutoTokenizer, AutoModelForCausalLM

# Chargement d'un modele de generation de texte
tokenizer = AutoTokenizer.from_pretrained('gpt2')
model = AutoModelForCausalLM.from_pretrained('gpt2')

# Generation de texte
inputs = tokenizer('Python est un langage', return_tensors='pt')
outputs = model.generate(
    **inputs,
    max_new_tokens=20,
    do_sample=True,
    temperature=0.7,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Support FLAN

Les modeles FLAN (Fine-tuned Language Net) sont supportes, offrant des modeles pre-entraines sur des instructions pour de meilleures performances en zero-shot.

python 
from transformers import pipeline

# Pipeline de classification zero-shot
classifieur = pipeline(
    'zero-shot-classification',
    model='facebook/bart-large-mnli',
)

resultat = classifieur(
    'Python 3.10 introduit le pattern matching structurel.',
    candidate_labels=['technologie', 'sport', 'cuisine'],
)
print(f'Label : {resultat["labels"][0]}')
print(f'Score : {resultat["scores"][0]:.3f}')

Sources