Este modelo foi publicado no HF papers em 2022-10-20 e contribuído para o Hugging Face Transformers em 2023-06-20.

FLAN-T5

Visão geral

O FLAN-T5 foi lançado no artigo Scaling Instruction-Finetuned Language Models - trata-se de uma versão aprimorada do T5 que foi finetunada em uma mistura de tarefas.

É possível usar diretamente os pesos do FLAN-T5 sem fazer o ajuste fino do modelo:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']

O FLAN-T5 inclui as mesmas melhorias da versão 1.1 do T5 (veja aqui para os detalhes completos das melhorias do modelo).

A Google lançou as seguintes variantes:

• google/flan-t5-small

• google/flan-t5-base

• google/flan-t5-large

• google/flan-t5-xl

• google/flan-t5-xxl.

Os checkpoints originais podem ser encontrados aqui.

Consulte a página de documentação do T5 para obter todas as referências de API, exemplos de código e notebooks. Para mais detalhes sobre o treinamento e a avaliação do FLAN-T5, consulte o cartão do modelo.