# SGLang

[SGLang](https://docs.sglang.ai) adalah mesin inferensi berlatensi rendah dan throughput tinggi untuk model bahasa besar (LLM). Ia juga mencakup bahasa frontend untuk membangun alur kerja agen.

Setel `model_impl="transformers"` untuk memuat backend pemodelan Transformers.

```py
import sglang as sgl

llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])
```

Lewatkan `--model-impl transformers` ke perintah `sglang.launch_server` untuk penyajian online.

```bash
python3 -m sglang.launch_server \
  --model-path meta-llama/Llama-3.2-1B-Instruct \
  --model-impl transformers \
  --host 0.0.0.0 \
  --port 30000
```

## Integrasi Transformers

Menetapkan `model_impl="transformers"` memberi tahu SGLang untuk melewati pencocokan model natifnya dan menggunakan model Transformers secara langsung.

1. [PreTrainedConfig.from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig.from_pretrained) memuat `config.json` model dari Hub atau cache Hugging Face Anda.
2. [AutoModel.from_config()](/docs/transformers/v5.23.0/id/model_doc/auto#transformers.AutoModel.from_config) menyelesaikan kelas model berdasarkan config.
3. Saat proses pemuatan, `_attn_implementation` diatur ke `"sglang"`. Hal ini mengarahkan panggilan attention melalui kernel RadixAttention dari SGLang.
4. Kelas linear paralel SGLang menggantikan lapisan linear untuk mendukung paralelisme tensor.
5. Fungsi [load_weights](https://github.com/sgl-project/sglang/blob/main/python/sglang/srt/models/transformers.py#L277) mengisi model dengan bobot dari file safetensors.

Model ini memperoleh manfaat dari semua optimasi SGLang sambil menggunakan struktur model Transformers.

> [!WARNING]
> Model yang kompatibel memerlukan `_supports_attention_backend=True` agar SGLang dapat mengontrol eksekusi perhatian. Lihat panduan [Membangun backend model yang kompatibel untuk inferensi](./transformers_as_backend#model-implementation) untuk detailnya.

## Sumber daya

- [Dokumentasi SGLang](https://docs.sglang.ai/supported_models/transformers_fallback.html) memiliki lebih banyak contoh penggunaan dan tips untuk menggunakan Transformers sebagai backend.
- Artikel blog [Integrasi backend Transformers di SGLang](https://huggingface.co/blog/transformers-backend-sglang) menjelaskan apa yang diaktifkan oleh integrasi ini.

