Bu model 2020-02-12 tarihinde HF papers'ta yayımlanmış ve 2023-06-20 tarihinde Hugging Face Transformers'a katkıda bulunmuştur.

T5v1.1

Genel Bakış

T5v1.1, Colin Raffel ve diğerleri tarafından google-research/text-to-text-transfer-transformer deposunda yayınlanmıştır. Bu model, orijinal T5 modelinin geliştirilmiş bir sürümüdür. Bu model patrickvonplaten tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

T5v1.1 ağırlıkları, aşağıdaki gibi doğrudan bir T5 modeline yerleştirilebilir:

from transformers import T5ForConditionalGeneration


model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")

T5 Version 1.1, orijinal T5 modeline kıyasla aşağıdaki iyileştirmeleri içerir:

• Gizli ileri beslemeli katmanda ReLU yerine GEGLU aktivasyonu kullanılır. Bkz. bu makale.

• Dropout, ön eğitim sırasında kapatılmıştı (kalite kazanımı). Dropout, ince ayar sırasında yeniden etkinleştirilmelidir.

• Sadece C4 üzerinde, aşağı akış görevleri karıştırılmadan ön eğitildi.

• Gömme ve sınıflandırıcı katmanı arasında parametre paylaşımı yoktur.

• “xl” ve “xxl”, “3B” ve “11B” yerine geçer. Model şekilleri biraz farklıdır - daha büyük d_model ve daha küçük num_heads ile d_ff.

Not: T5 Version 1.1, denetimli eğitim hariç tutularak yalnızca C4 üzerinde ön eğitilmiştir. Bu nedenle, orijinal T5 modelinin aksine, bu modelin bir son görevde kullanılabilmesi için önce ince ayar (fine-tune) yapılması gerekir. t5v1.1 denetimsiz olarak ön eğitildiğinden, tek görevli ince ayar sırasında bir görev öneki (task prefix) kullanmanın gerçek bir avantajı yoktur. Çoklu görevli ince ayar yapıyorsanız, bir önek kullanmalısınız.

Google aşağıdaki varyantları yayınladı:

• google/t5-v1_1-small

• google/t5-v1_1-base

• google/t5-v1_1-large

• google/t5-v1_1-xl

• google/t5-v1_1-xxl.

Tüm API referansları, ipuçları, kod örnekleri ve defterler için T5’in dokümantasyon sayfasına bakın.