Transformers documentation
Prompt engineering
Prompt engineering
Prompt engineering atau prompting menggunakan bahasa alami untuk meningkatkan kinerja large language model (LLM) dalam berbagai tugas. Sebuah prompt dapat mengarahkan model untuk menghasilkan output yang diinginkan. Dalam banyak kasus, Anda bahkan tidak memerlukan model yang telah fine-tuned untuk suatu tugas. Anda hanya membutuhkan prompt yang baik.
Cobalah memberi instruksi (prompt) kepada LLM untuk mengklasifikasikan beberapa teks. Saat Anda membuat prompt, penting untuk memberikan instruksi yang sangat spesifik mengenai tugas dan bagaimana hasil yang diharapkan.
from transformers import pipeline
import torch
pipeline = pipeline(task="text-generation", model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Classify the text into neutral, negative or positive.
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
"""
outputs = pipeline(prompt, max_new_tokens=10)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: Classify the text into neutral, negative or positive.
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
PositiveTantangan terletak pada perancangan prompt yang menghasilkan hasil yang Anda harapkan, karena bahasa sangat bernuansa dan ekspresif.
Panduan ini membahas praktik terbaik, teknik, dan contoh dalam prompt engineering untuk menyelesaikan tugas bahasa dan penalaran.
Praktik terbaik
Cobalah memilih model terbaru untuk performa terbaik. Perlu diingat bahwa LLM dapat hadir dalam dua varian, base dan instruction-tuned (atau chat).
Model dasar sangat unggul dalam melengkapi teks berdasarkan prompt awal, tetapi kurang baik dalam mengikuti instruksi. Model yang telah di-tune instruksi adalah versi khusus dari model dasar yang dilatih pada data instruksional atau percakapan. Hal ini menjadikan model yang telah di-tune instruksi lebih cocok untuk prompting.
LLM modern umumnya merupakan model decoder-only, tetapi ada beberapa LLM encoder-decoder seperti Flan-T5 atau BART yang dapat digunakan untuk prompting. Muat model-model ini secara langsung dengan kelas AutoModelForSeq2SeqLM (bukan dengan menggunakan Pipeline) dan hasilkan output dari model itu sendiri.
Mulai dengan prompt yang singkat dan sederhana, lalu lakukan iterasi untuk mendapatkan hasil yang lebih baik.
Letakkan instruksi di bagian awal atau akhir prompt. Untuk prompt yang lebih panjang, model mungkin menerapkan optimasi untuk mencegah perhatian (attention) berskala secara kuadratik, yang memberikan penekanan lebih besar pada bagian awal dan akhir prompt.
Pisahkan instruksi dari teks yang menjadi perhatian secara jelas.
Jelaskan secara spesifik dan deskriptif mengenai tugas serta output yang diinginkan, termasuk misalnya format, panjang, gaya, dan bahasanya. Hindari deskripsi dan instruksi yang ambigu.
Instruksi sebaiknya berfokus pada “apa yang harus dilakukan” daripada “apa yang tidak boleh dilakukan”.
Pandu model untuk menghasilkan output yang benar dengan menulis kata pertama atau bahkan kalimat pertama.
Coba teknik lain seperti few-shot dan chain-of-thought untuk meningkatkan hasil.
Uji prompt Anda dengan berbagai model untuk menilai ketahanannya.
Versikan dan lacak kinerja prompt Anda.
Teknik
Membuat prompt yang baik saja, yang juga dikenal sebagai zero-shot prompting, mungkin tidak cukup untuk mendapatkan hasil yang Anda inginkan. Anda mungkin perlu mencoba beberapa teknik prompting untuk mendapatkan kinerja terbaik.
Bagian ini membahas beberapa teknik prompting.
Prompting few-shot
Few-shot prompting meningkatkan akurasi dan kinerja dengan menyertakan contoh spesifik tentang apa yang harus dihasilkan model berdasarkan input. Contoh eksplisit tersebut memberikan pemahaman yang lebih baik bagi model mengenai tugas dan format output yang Anda inginkan. Cobalah bereksperimen dengan jumlah contoh yang berbeda (2, 4, 8, dll.) untuk melihat pengaruhnya terhadap kinerja. Contoh di bawah ini memberikan model 1 contoh (1-shot) dari format output (tanggal dalam format MM/DD/YYYY) yang harus dikembalikan.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Text: The first human went into space and orbited the Earth on April 12, 1961.
Date: 04/12/1961
Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
Date:"""
outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)
for output in outputs:
print(f"Result: {output['generated_text']}")
# Result: Text: The first human went into space and orbited the Earth on April 12, 1961.
# Date: 04/12/1961
# Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
# Date: 09/28/1960Kekurangan dari few-shot prompting adalah Anda perlu membuat prompt yang lebih panjang, yang meningkatkan komputasi dan latensi. Ada juga batasan pada panjang prompt. Terakhir, model dapat mempelajari pola yang tidak diinginkan dari contoh Anda, dan mungkin tidak bekerja dengan baik pada tugas penalaran yang kompleks.
Untuk meningkatkan few-shot prompting pada LLM instruction-tuned modern, gunakan chat template spesifik dari model tersebut. Model-model ini dilatih pada dataset percakapan berbasis giliran antara “user” dan “assistant”. Menstrukturkan prompt Anda agar selaras dengan hal ini dapat meningkatkan performa.
Strukturkan prompt Anda sebagai percakapan berbasis giliran dan gunakan metode apply_chat_template untuk melakukan tokenisasi serta formatnya.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
messages = [
{"role": "user", "content": "Text: The first human went into space and orbited the Earth on April 12, 1961."},
{"role": "assistant", "content": "Date: 04/12/1961"},
{"role": "user", "content": "Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon."}
]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)
for output in outputs:
print(f"Result: {output['generated_text']}")Sementara pendekatan few-shot prompting dasar menyematkan contoh di dalam satu string teks, format chat template menawarkan manfaat berikut.
- Model tersebut mungkin memiliki pemahaman yang lebih baik karena dapat mengenali pola serta peran yang diharapkan dari masukan pengguna dan keluaran asisten dengan lebih baik.
- Model mungkin akan menghasilkan format output yang diinginkan secara lebih konsisten karena strukturnya menyerupai inputnya selama pelatihan.
Selalu konsultasikan dokumentasi model instruction-tuned tertentu untuk mempelajari lebih lanjut tentang format chat template mereka, sehingga Anda dapat menyusun prompt few-shot Anda secara sesuai.
Chain-of-thought
Chain-of-thought (CoT) efektif dalam menghasilkan output yang lebih koheren dan beralasan dengan baik, dengan menyediakan serangkaian prompt yang membantu model “berpikir” lebih mendalam tentang suatu topik.
Contoh di bawah ini memberikan beberapa prompt kepada model untuk mengerjakan langkah-langkah penalaran perantara.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?"""
outputs = pipeline(prompt, max_new_tokens=20, do_sample=True, top_k=10)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?
Answer: 6Seperti few-shot prompting, kekurangan dari CoT adalah diperlukan lebih banyak upaya untuk merancang serangkaian prompt yang membantu model melakukan penalaran melalui tugas yang kompleks, serta panjang prompt meningkatkan latensi.
Fine-tuning
Meskipun prompting merupakan cara yang ampuh untuk bekerja dengan LLM, ada beberapa skenario di mana model yang telah di-fine-tune, atau bahkan proses fine-tuning model itu sendiri, memberikan hasil yang lebih baik.
Berikut adalah beberapa contoh skenario di mana model yang telah di-*fine-tune* menjadi pilihan yang tepat.
- Domain Anda sangat berbeda dari data yang digunakan untuk pra-pelatihan LLM, dan prompting yang ekstensif tidak menghasilkan hasil yang Anda inginkan.
- Model Anda harus berfungsi dengan baik dalam bahasa berkebijakan rendah.
- Model Anda perlu dilatih pada data sensitif yang memiliki persyaratan regulasi ketat.
- Anda menggunakan model kecil karena keterbatasan biaya, privasi, infrastruktur, atau faktor lainnya.
Dalam semua skenario ini, pastikan Anda memiliki dataset spesifik domain yang cukup besar untuk melatih model Anda, memiliki waktu dan sumber daya yang memadai, serta biaya fine-tuning sepadan. Jika tidak, Anda mungkin lebih baik mencoba mengoptimalkan prompt Anda.
Contoh
Contoh di bawah ini menunjukkan cara memberikan prompt kepada LLM untuk berbagai tugas.
from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Return a list of named entities in the text.
Text: The company was founded in 2016 by French entrepreneurs Clément Delangue, Julien Chaumond, and Thomas Wolf in New York City, originally as a company that developed a chatbot app targeted at teenagers.
Named entities:
"""
outputs = pipeline(prompt, max_new_tokens=50, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: [Clément Delangue, Julien Chaumond, Thomas Wolf, company, New York City, chatbot app, teenagers]from transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Translate the English text to French.
Text: Sometimes, I've believed as many as six impossible things before breakfast.
Translation:
"""
outputs = pipeline(prompt, max_new_tokens=20, do_sample=True, top_k=10, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: À l'occasion, j'ai croyu plus de six choses impossiblesfrom transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Permaculture is a design process mimicking the diversity, functionality and resilience of natural ecosystems. The principles and practices are drawn from traditional ecological knowledge of indigenous cultures combined with modern scientific understanding and technological innovations. Permaculture design provides a framework helping individuals and communities develop innovative, creative and effective strategies for meeting basic needs while preparing for and mitigating the projected impacts of climate change.
Write a summary of the above text.
Summary:
"""
outputs = pipeline(prompt, max_new_tokens=30, do_sample=True, top_k=10, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: Permaculture is the design process that involves mimicking natural ecosystems to provide sustainable solutions to basic needs. It is a holistic approach that combfrom transformers import pipeline
import torch
pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Answer the question using the context below.
Context: Gazpacho is a cold soup and drink made of raw, blended vegetables. Most gazpacho includes stale bread, tomato, cucumbers, onion, bell peppers, garlic, olive oil, wine vinegar, water, and salt. Northern recipes often include cumin and/or pimentón (smoked sweet paprika). Traditionally, gazpacho was made by pounding the vegetables in a mortar with a pestle; this more laborious method is still sometimes used as it helps keep the gazpacho cool and avoids the foam and silky consistency of smoothie versions made in blenders or food processors.
Question: What modern tool is used to make gazpacho?
Answer:
"""
outputs = pipeline(prompt, max_new_tokens=10, do_sample=True, top_k=10, return_full_text=False)
for output in outputs:
print(f"Result: {output['generated_text']}")
Result: A blender or food processor is the modern tool