# xLSTM

## نظرة عامة

قُدِّم نموذج xLSTM في [xLSTM: Extended Long Short-Term Memory](https://huggingface.co/papers/2405.04517) من قِبل Maximilian Beck* وKorbinian Pöppel* وMarkus Spanring وAndreas Auer وOleksandra Prudnikova وMichael Kopp وGünter Klambauer وJohannes Brandstetter وSepp Hochreiter. يُحدِّث xLSTM بنية LSTM الأصلية لتنافس نماذج Transformer من خلال إدخال البوابات الأسية، وتوسيع الذاكرة المصفوفية، والتدريب والاستيعاب القابلين للتوازي.

تم تدريب متغير [نموذج 7B](https://huggingface.co/NX-AI/xLSTM-7b) بواسطة فريق xLSTM: ماكسيميليان بيك، وكوربينيان بوبل، وفيليب ليب، وريتشارد كورل، وباتريك بليس، وسيباستيان بويك، وسيب هوشرايتير، في NXAI.

المستخلص من الورقة البحثية هو كالتالي:

*في التسعينيات، تم تقديم دوّار الخطأ الثابت والبوابات كأفكار مركزية في ذاكرة المدى الطويل القصير (LSTM). ومنذ ذلك الحين، صمدت نماذج LSTM أمام اختبار الزمن وساهمت في العديد من قصص النجاح في التعلم العميق، إذ شكّلت على وجه الخصوص أول نماذج اللغة الكبيرة (LLMs). ومع ذلك، أدّى ظهور تقنية Transformer التي تعتمد في جوهرها على الانتباه الذاتي القابل للتوازي إلى فجر حقبة جديدة، متفوقةً على نماذج LSTM عند توسيع نطاقها. نطرح الآن سؤالاً بسيطاً: إلى أي مدى يمكننا الوصول في نمذجة اللغة عند توسيع نطاق نماذج LSTM إلى مليارات المعاملات، مع الاستفادة من أحدث التقنيات من نماذج LLM الحديثة، ولكن مع التخفيف من القيود المعروفة لنماذج LSTM؟ أولاً، نعرّف البوابات الأسية مع تقنيات تطبيع واستقرار مناسبة. ثانياً، نعدّل بنية الذاكرة في LSTM، فنحصل على: (i) sLSTM بذاكرة قياسية وتحديث قياسي وخلط ذاكرة جديد، (ii) mLSTM القابل للتوازي بالكامل بذاكرة مصفوفية وقاعدة تحديث تباين. يؤدي دمج هذه الامتدادات لـ LSTM في هياكل كتل متبقية إلى كتل xLSTM التي تُرصّ بعد ذلك بشكل متبقٍ في هياكل xLSTM. تعزّز البوابات الأسية وبنى الذاكرة المعدّلة قدرات xLSTM لتؤدّي أداءً مواتياً عند مقارنتها بأحدث نماذج Transformer ونماذج فضاء الحالة، من حيث الأداء والتوسّع.*

تمت مساهمة هذا النموذج من قبل [NX-AI](https://huggingface.co/NX-AI). يمكن العثور على الكود الأصلي [هنا](https://github.com/NX-AI/xlstm).

## ملاحظات

- استخدم التعبئة اليسرى (left padding) للتوليد المجمّع. راجع [جانب التعبئة](../llm_tutorial#padding-side).

## xLSTMConfig[[transformers.xLSTMConfig]]

#### transformers.xLSTMConfig[[transformers.xLSTMConfig]]

```python
transformers.xLSTMConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 50304, hidden_size: int = 4096, embedding_dim: int | None = None, num_hidden_layers: int = 32, num_blocks: int | None = None, num_heads: int = 8, use_bias: bool = False, norm_reduction_force_float32: bool = True, tie_word_embeddings: bool = False, add_out_norm: bool = True, norm_eps: float = 1e-06, qk_dim_factor: float = 0.5, v_dim_factor: float = 1.0, chunkwise_kernel: typing.Literal['chunkwise--native_autograd', 'parallel--native_autograd'] = 'chunkwise--native_autograd', sequence_kernel: typing.Literal['native_sequence__native'] = 'native_sequence__native', step_kernel: typing.Literal['native'] = 'native', mode: typing.Literal['train', 'train_with_padding', 'inference'] = 'inference', chunk_size: int = 64, return_last_states: bool = True, autocast_kernel_dtype: typing.Literal['float32', 'bfloat16', 'float16'] = 'bfloat16', eps: float = 1e-06, inference_state_dtype: typing.Literal['float32', 'bfloat16', 'float16'] = 'float32', ffn_proj_factor: float = 2.667, ffn_round_up_to_multiple_of: int = 64, gate_soft_cap: float = 15.0, output_logit_soft_cap: float = 30.0, weight_mode: typing.Literal['single', 'fused'] = 'single', use_cache: bool = True, pad_token_id: int | None = 1, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 2, max_inference_chunksize: int = 16384)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlstm/configuration_xlstm.py#L58)

**المعاملات:**

vocab_size (`int`، *اختياري*، القيمة الافتراضية `50304`) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`.

hidden_size (`int`، *اختياري*، القيمة الافتراضية `4096`) : بُعد التمثيلات المخفية.

embedding_dim (`int`، *اختياري*) : أبعاد التضمينات والحالات المخفية.

num_hidden_layers (`int`، *اختياري*، القيمة الافتراضية `32`) : عدد الطبقات المخفية في مُفكِّك Transformer.

num_blocks (`int`، اختياري، *اختياري*، القيمة الافتراضية 32) : عدد كتل نموذج xLSTM، استخدم num_hidden_layers إذا كانت القيمة None.

num_heads (`int`، اختياري، *اختياري*، القيمة الافتراضية 8) : عدد الرؤوس لطبقة/خلية xLSTM.

use_bias (`bool`، اختياري، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام الانحيازات في نموذج xLSTM.

norm_reduction_force_float32 (`bool`، اختياري، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب إجبار عملية اختزال المعيار من نوع float32 على أن تُنفَّذ بدقة fp32.

tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج.

add_out_norm (`bool`، اختياري، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب إضافة تطبيع للإخراج بعد الكتل وقبل LMHead.

norm_eps (`float`, *اختياري*, الافتراضي هو `1e-06`) : قيمة إيبسلون المستخدمة في طبقات تطبيع الطبقة.

qk_dim_factor (`float`، اختياري، *اختياري*، القيمة الافتراضية 0.5) : معامل المقياس لبُعد الاستعلام والمفتاح.

v_dim_factor (`float`، اختياري، *اختياري*، القيمة الافتراضية 1.0) : معامل المقياس لبُعد القيمة.

chunkwise_kernel (`ChunkwiseKernelType`، اختياري، *اختياري*، القيمة الافتراضية `"chunkwise--native_autograd"`) : نوع النواة (Kernel) لوضع المعالجة المقسّمة (chunkwise).

sequence_kernel (`SequenceKernelType`، اختياري، *اختياري*، القيمة الافتراضية `"native_sequence__native"`) : نوع النواة (Kernel) لوضع معالجة التسلسل.

step_kernel (`StepKernelType`، اختياري، *اختياري*، القيمة الافتراضية `"native"`) : نوع النواة (Kernel) لوضع معالجة الخطوات.

mode (`BackendModeType`، اختياري، *اختياري*، القيمة الافتراضية `"inference"`) : وضع التشغيل (يُطلب وضع الاستدلال للتوليد).

chunk_size (`int`، اختياري، *اختياري*، القيمة الافتراضية 64) : حجم المقطع الداخلي.

return_last_states (`bool`، اختياري، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب إرجاع الحالات / ذاكرة التخزين المؤقت الأخيرة داخلياً. يجب أن تكون القيمة True للولادة.

autocast_kernel_dtype (`DtypeType`، اختياري، *اختياري*، القيمة الافتراضية `"bfloat16"`) : نوع البيانات (dtype) للنواة (Kernel) الخاصة بالحالات.

eps (`float`, *اختياري*, الافتراضي هو `1e-06`) : قيمة إيبسلون المستخدمة في طبقات تطبيع الطبقة.

inference_state_dtype (`DtypeType`، اختياري، *اختياري*، القيمة الافتراضية `"float32"`) : نوع البيانات (dtype) للنواة (Kernel) للحالات أثناء الاستدلال.

ffn_proj_factor (`float`، اختياري، *اختياري*، القيمة الافتراضية 2.667) : معامل حجم شبكة التغذية العكسية البوابة (gated Feed Forward network) الخاصة بالتحويل بعد الرفع (post-up projection).

ffn_round_up_to_multiple_of (`int`، اختياري، *اختياري*، القيمة الافتراضية 64) : عامل حجم القيمة المستديرة للشبكة الأمامية البوابة (gated Feed Forward network) بعد الإسقاط.

gate_soft_cap (`float`، اختياري، *اختياري*، القيمة الافتراضية 15.0) : معامل تحجيم الحد الأقصى الناعم للبوابة.

output_logit_soft_cap (`float`، اختياري، *اختياري*، القيمة الافتراضية 30.0) : معامل تحجيم الحد الأقصى الناعم لقيم logit في المخرجات.

weight_mode (`Literal`، *اختياري*، القيمة الافتراضية `"single"`) : ما إذا كانت الطبقات الخطية المتوازية مفصولة أو مدمجة (single).

use_cache (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان `config.is_decoder=True` أو عندما يكون النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط.

pad_token_id (`int`، *اختياري*، القيمة الافتراضية `1`) : معرّف الرمز المستخدم للتعبئة في المفردات.

bos_token_id (`int`، *اختياري*، القيمة الافتراضية `0`) : معرّف الرمز المستخدم لبدء البث في المفردات.

eos_token_id (`Union[int, list[int]]`، *اختياري*، القيمة الافتراضية `2`) : معرّف الرمز المستخدم لنهاية البث في المفردات.

max_inference_chunksize (`int`، اختياري، *اختياري*، القيمة الافتراضية 16384) : تحديد حجم المقطع للاستدلال لتوفير الذاكرة.

هذه فئة الإعدادات المخزنة لإعدادات نموذج xLSTMModel. تُستخدم لاستحداث نموذج Xlstm وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ [NX-AI/xLSTM-7b](https://huggingface.co/NX-AI/xLSTM-7b)

ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات.

مثال:

```python
>>> from transformers import xLSTMConfig, xLSTMModel

>>> # Initializing a xLSTM configuration
>>> configuration = xLSTMConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = xLSTMModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## xLSTMModel[[transformers.xLSTMModel]]

#### transformers.xLSTMModel[[transformers.xLSTMModel]]

```python
transformers.xLSTMModel(config: xLSTMConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlstm/modeling_xlstm.py#L1394)

**المعاملات:**

config ([xLSTMConfig](/docs/transformers/v5.23.0/ar/model_doc/xlstm#transformers.xLSTMConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Xlstm العاري الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.xLSTMModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.LongTensor] = None, cache_params: transformers.models.xlstm.modeling_xlstm.xLSTMCache | None = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlstm/modeling_xlstm.py#L1411)

**المعاملات:**

input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

inputs_embeds (`torch.LongTensor` بشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. وهذا مفيد إذا أردت مزيداً من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها بدلاً من مصفوفة البحث المضمّنة الداخلية للنموذج.

cache_params (`xLSTMCache`، *اختياري*) : كائن xLSTMCache الذي يحمل حالات RNN.

use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`).

**يعيد:** `xLSTMOutput` أو `tuple(torch.Tensor)`

`xLSTMOutput` أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([xLSTMConfig](/docs/transformers/v5.23.0/ar/model_doc/xlstm#transformers.xLSTMConfig)) والمدخلات.

تُعيد طريقة [xLSTMModel](/docs/transformers/v5.23.0/ar/model_doc/xlstm#transformers.xLSTMModel) الأمامية تعريف الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **last_hidden_state** (`torch.Tensor` بأبعاد `(batch_size, sequence_length, hidden_size)`، *اختياري*) -- تسلسل من الحالات المخفية عند مخرجات الطبقة الأخيرة من النموذج.
- **cache_params** (`~models.xlstm.modeling_xlstm.xLSTMCache`، *اختياري*) -- حالة النموذج عند آخر خطوة زمنية. يمكن استخدامه في طريقة الأمامية مع `input_ids` التالية لتجنب تقديم `input_ids` القديمة.
- **hidden_states** (`tuple[torch.Tensor]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة (Tuple) من `torch.Tensor` (واحدة لكل من مخرجات الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لكل من مخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.

## xLSTMLMHeadModel[[transformers.xLSTMForCausalLM]]

#### transformers.xLSTMForCausalLM[[transformers.xLSTMForCausalLM]]

```python
transformers.xLSTMForCausalLM(config: xLSTMConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlstm/modeling_xlstm.py#L1517)

**المعاملات:**

config ([xLSTMConfig](/docs/transformers/v5.23.0/ar/model_doc/xlstm#transformers.xLSTMConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Xlstm لنمذجة اللغة السببية.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.xLSTMForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, cache_params: transformers.models.xlstm.modeling_xlstm.xLSTMCache | None = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlstm/modeling_xlstm.py#L1537)

**المعاملات:**

input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

cache_params (`xLSTMCache`، *اختياري*) : كائن xLSTMCache الذي يحمل حالات RNN.

labels (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : تسميات لحساب خسارة نمذجة اللغة السببية. يجب أن تكون الفهارس ضمن `[-100, 0, ..., config.vocab_size]` (انظر `input_ids` docstring). يتم تجاهل الرموز ذات الفهارس المضبوطة على `-100` (قناعها)، ولا تُحسب الخسارة إلا للرموز التي تسمياتها ضمن `[0, ..., config.vocab_size]`.  تُزاح التسميات **داخليًا** بحيث تُستخدم `labels[..., 1:]` للتنبؤ بـ `logits[..., :-1, :]`. مرر تسميات غير مزاحة تطابق `input_ids` (أي `labels = input_ids`). لا **تقم** بإزاحة التسميات بنفسك قبل تمريرها.  إذا كانت التسميات مزاحة بالفعل (على سبيل المثال مع توازي التسلسل)، فمررها كحجة الكلمة المفتاحية `shift_labels` وستُستخدم كما هي. لا يزال يجب تمرير `labels` حتى تُحسب الخسارة.

use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`).

**يعيد:** `xLSTMCausalLMOutput` أو `tuple(torch.Tensor)`

`xLSTMCausalLMOutput` أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([xLSTMConfig](/docs/transformers/v5.23.0/ar/model_doc/xlstm#transformers.xLSTMConfig)) والمدخلات.

تتجاوز طريقة [xLSTMForCausalLM](/docs/transformers/v5.23.0/ar/model_doc/xlstm#transformers.xLSTMForCausalLM) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة نمذجة اللغة (لتوقع الرمز التالي).
- **logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.vocab_size)`) -- درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax).
- **cache_params** (`xLSTMCache`، *اختياري*، يحمل حالات RNN) -- حالة النموذج عند آخر خطوة زمنية. يمكن استخدامه في طريقة الأمامية مع `input_ids` التالية لتجنب تقديم `input_ids` القديمة.
- **hidden_states** (`tuple[torch.Tensor]`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة (Tuple) من `torch.Tensor` (واحدة لكل من مخرجات الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لكل من مخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.

مثال:

```python
```

