Transformers documentation

Prompt engineering

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Prompt engineering

Prompt engineering atau prompting menggunakan bahasa alami untuk meningkatkan kinerja large language model (LLM) dalam berbagai tugas. Sebuah prompt dapat mengarahkan model untuk menghasilkan output yang diinginkan. Dalam banyak kasus, Anda bahkan tidak memerlukan model yang telah fine-tuned untuk suatu tugas. Anda hanya membutuhkan prompt yang baik.

Cobalah memberi instruksi (prompt) kepada LLM untuk mengklasifikasikan beberapa teks. Saat Anda membuat prompt, penting untuk memberikan instruksi yang sangat spesifik mengenai tugas dan bagaimana hasil yang diharapkan.

from transformers import pipeline
import torch

pipeline = pipeline(task="text-generation", model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Classify the text into neutral, negative or positive.
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
"""

outputs = pipeline(prompt, max_new_tokens=10)
for output in outputs:
    print(f"Result: {output['generated_text']}")
Result: Classify the text into neutral, negative or positive. 
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
Positive

Tantangan terletak pada perancangan prompt yang menghasilkan hasil yang Anda harapkan, karena bahasa sangat bernuansa dan ekspresif.

Panduan ini membahas praktik terbaik, teknik, dan contoh dalam prompt engineering untuk menyelesaikan tugas bahasa dan penalaran.

Praktik terbaik

  1. Cobalah memilih model terbaru untuk performa terbaik. Perlu diingat bahwa LLM dapat hadir dalam dua varian, base dan instruction-tuned (atau chat).

    Model dasar sangat unggul dalam melengkapi teks berdasarkan prompt awal, tetapi kurang baik dalam mengikuti instruksi. Model yang telah di-tune instruksi adalah versi khusus dari model dasar yang dilatih pada data instruksional atau percakapan. Hal ini menjadikan model yang telah di-tune instruksi lebih cocok untuk prompting.

    LLM modern umumnya merupakan model decoder-only, tetapi ada beberapa LLM encoder-decoder seperti Flan-T5 atau BART yang dapat digunakan untuk prompting. Muat model-model ini secara langsung dengan kelas AutoModelForSeq2SeqLM (bukan dengan menggunakan Pipeline) dan hasilkan output dari model itu sendiri.

  2. Mulai dengan prompt yang singkat dan sederhana, lalu lakukan iterasi untuk mendapatkan hasil yang lebih baik.

  3. Letakkan instruksi di bagian awal atau akhir prompt. Untuk prompt yang lebih panjang, model mungkin menerapkan optimasi untuk mencegah perhatian (attention) berskala secara kuadratik, yang memberikan penekanan lebih besar pada bagian awal dan akhir prompt.

  4. Pisahkan instruksi dari teks yang menjadi perhatian secara jelas.

  5. Jelaskan secara spesifik dan deskriptif mengenai tugas serta output yang diinginkan, termasuk misalnya format, panjang, gaya, dan bahasanya. Hindari deskripsi dan instruksi yang ambigu.

  6. Instruksi sebaiknya berfokus pada “apa yang harus dilakukan” daripada “apa yang tidak boleh dilakukan”.

  7. Pandu model untuk menghasilkan output yang benar dengan menulis kata pertama atau bahkan kalimat pertama.

  8. Coba teknik lain seperti few-shot dan chain-of-thought untuk meningkatkan hasil.

  9. Uji prompt Anda dengan berbagai model untuk menilai ketahanannya.

  10. Versikan dan lacak kinerja prompt Anda.

Teknik

Membuat prompt yang baik saja, yang juga dikenal sebagai zero-shot prompting, mungkin tidak cukup untuk mendapatkan hasil yang Anda inginkan. Anda mungkin perlu mencoba beberapa teknik prompting untuk mendapatkan kinerja terbaik.

Bagian ini membahas beberapa teknik prompting.

Prompting few-shot

Few-shot prompting meningkatkan akurasi dan kinerja dengan menyertakan contoh spesifik tentang apa yang harus dihasilkan model berdasarkan input. Contoh eksplisit tersebut memberikan pemahaman yang lebih baik bagi model mengenai tugas dan format output yang Anda inginkan. Cobalah bereksperimen dengan jumlah contoh yang berbeda (2, 4, 8, dll.) untuk melihat pengaruhnya terhadap kinerja. Contoh di bawah ini memberikan model 1 contoh (1-shot) dari format output (tanggal dalam format MM/DD/YYYY) yang harus dikembalikan.

from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Text: The first human went into space and orbited the Earth on April 12, 1961.
Date: 04/12/1961
Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
Date:"""

outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)
for output in outputs:
    print(f"Result: {output['generated_text']}")
# Result: Text: The first human went into space and orbited the Earth on April 12, 1961.
# Date: 04/12/1961
# Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
# Date: 09/28/1960

Kekurangan dari few-shot prompting adalah Anda perlu membuat prompt yang lebih panjang, yang meningkatkan komputasi dan latensi. Ada juga batasan pada panjang prompt. Terakhir, model dapat mempelajari pola yang tidak diinginkan dari contoh Anda, dan mungkin tidak bekerja dengan baik pada tugas penalaran yang kompleks.

Untuk meningkatkan few-shot prompting pada LLM instruction-tuned modern, gunakan chat template spesifik dari model tersebut. Model-model ini dilatih pada dataset percakapan berbasis giliran antara “user” dan “assistant”. Menstrukturkan prompt Anda agar selaras dengan hal ini dapat meningkatkan performa.

Strukturkan prompt Anda sebagai percakapan berbasis giliran dan gunakan metode apply_chat_template untuk melakukan tokenisasi serta formatnya.

from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "user", "content": "Text: The first human went into space and orbited the Earth on April 12, 1961."},
    {"role": "assistant", "content": "Date: 04/12/1961"},
    {"role": "user", "content": "Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon."}
]

prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)

for output in outputs:
    print(f"Result: {output['generated_text']}")

Sementara pendekatan few-shot prompting dasar menyematkan contoh di dalam satu string teks, format chat template menawarkan manfaat berikut.

  • Model tersebut mungkin memiliki pemahaman yang lebih baik karena dapat mengenali pola serta peran yang diharapkan dari masukan pengguna dan keluaran asisten dengan lebih baik.
  • Model mungkin akan menghasilkan format output yang diinginkan secara lebih konsisten karena strukturnya menyerupai inputnya selama pelatihan.

Selalu konsultasikan dokumentasi model instruction-tuned tertentu untuk mempelajari lebih lanjut tentang format chat template mereka, sehingga Anda dapat menyusun prompt few-shot Anda secara sesuai.

Chain-of-thought

Chain-of-thought (CoT) efektif dalam menghasilkan output yang lebih koheren dan beralasan dengan baik, dengan menyediakan serangkaian prompt yang membantu model “berpikir” lebih mendalam tentang suatu topik.

Contoh di bawah ini memberikan beberapa prompt kepada model untuk mengerjakan langkah-langkah penalaran perantara.

from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?"""

outputs = pipeline(prompt, max_new_tokens=20, do_sample=True, top_k=10)
for output in outputs:
    print(f"Result: {output['generated_text']}")
Result: Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?
Answer: 6

Seperti few-shot prompting, kekurangan dari CoT adalah diperlukan lebih banyak upaya untuk merancang serangkaian prompt yang membantu model melakukan penalaran melalui tugas yang kompleks, serta panjang prompt meningkatkan latensi.

Fine-tuning

Meskipun prompting merupakan cara yang ampuh untuk bekerja dengan LLM, ada beberapa skenario di mana model yang telah di-fine-tune, atau bahkan proses fine-tuning model itu sendiri, memberikan hasil yang lebih baik.

Berikut adalah beberapa contoh skenario di mana model yang telah di-*fine-tune* menjadi pilihan yang tepat.

  • Domain Anda sangat berbeda dari data yang digunakan untuk pra-pelatihan LLM, dan prompting yang ekstensif tidak menghasilkan hasil yang Anda inginkan.
  • Model Anda harus berfungsi dengan baik dalam bahasa berkebijakan rendah.
  • Model Anda perlu dilatih pada data sensitif yang memiliki persyaratan regulasi ketat.
  • Anda menggunakan model kecil karena keterbatasan biaya, privasi, infrastruktur, atau faktor lainnya.

Dalam semua skenario ini, pastikan Anda memiliki dataset spesifik domain yang cukup besar untuk melatih model Anda, memiliki waktu dan sumber daya yang memadai, serta biaya fine-tuning sepadan. Jika tidak, Anda mungkin lebih baik mencoba mengoptimalkan prompt Anda.

Contoh

Contoh di bawah ini menunjukkan cara memberikan prompt kepada LLM untuk berbagai tugas.

pengenalan entitas bernama
terjemahan
ringkasan
pertanyaan dan jawaban
from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Return a list of named entities in the text.
Text: The company was founded in 2016 by French entrepreneurs Clément Delangue, Julien Chaumond, and Thomas Wolf in New York City, originally as a company that developed a chatbot app targeted at teenagers.
Named entities:
"""

outputs = pipeline(prompt, max_new_tokens=50, return_full_text=False)
for output in outputs:
    print(f"Result: {output['generated_text']}")
Result:  [Clément Delangue, Julien Chaumond, Thomas Wolf, company, New York City, chatbot app, teenagers]
Update on GitHub