# JEV

> [!WARNING]
> Модели принятия решений, конвейер `decision` и `DecisionConfig` являются экспериментальными: их API может измениться в любой момент без этапа устаревания.

JEV — это головной модуль принятия решений, который оценивает одно-токенные метки с помощью линейного слоя на последнем токене промпта, с мягким ограничением, аналогичным логитам языковой модели. Он был предложен в [JEV](https://huggingface.co/autotrust/JEV-9B) и также используется в [GEV](https://huggingface.co/autotrust/GEV-26B-Decide).

[JevForDecision](/docs/transformers/v5.23.0/ru/model_doc/jev#transformers.JevForDecision) — это модель контрольной точки и её головная часть, подобно тому как `ForCausalLM` представляет собой модель и её `lm_head`. Она читает файлы, которые контрольная точка предоставляет вместе со своей головной частью, рядом с весами (`readout.safetensors` и `decision_config.json` для моделей принятия решений vLLM, `head.safetensors` и `judge_config.json` для JEV).

```python
from transformers import pipeline

decide = pipeline("decision", model="autotrust/GEV-26B-Decide")
decide(
    {
        "state": "I was charged twice for my order and want a refund.",
        "questions": {"refund": {"type": "noul", "instructions": "Is a refund requested?"}},
    }
)
```

См. [конвейер принятия решений](../main_classes/pipelines#transformers.DecisionPipeline) для графических ресурсов.

Без pipeline модели принятия решений используются так же, как `generate`: конфигурация решений с помощью chat template формирует промпт для каждого вопроса (или один для всех), `decide` оценивает варианты ответов для каждого вопроса, а `Question.answer` превращает оценки в ответы:

> [!IMPORTANT]
> `from_pretrained` не загружает LoRA из чекпоинтов, где он хранится в подпапке (`decision_config.adapter`, например, `adapter/` для JEV). Пайплайн загружает его за вас; без пайплайнa вызовите `load_adapter` самостоятельно, как показано ниже, иначе модель будет отвечать с базовыми весами.

```python
import torch
from transformers import AutoTokenizer, JevForDecision

repo = "autotrust/JEV-9B"
model = JevForDecision.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
tokenizer, config = AutoTokenizer.from_pretrained(repo), model.decision_config  # read from the checkpoint's files
if config.adapter:  # JEV keeps its LoRA in a subfolder: `from_pretrained` doesn't load it, the pipeline does
    model.load_adapter(repo, adapter_kwargs={"subfolder": config.adapter})

request = {
    "state": "I was charged twice for my order and I want my money back today.",
    "questions": {
        "refund": {"type": "noul", "instructions": "Does the customer ask for a refund?"},
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today", "Now"]},
    },
}
answers = {}
for inputs, questions in config.prepare_inputs(request, tokenizer):
    scores = model.decide(**inputs, decision_questions=questions)
    answers |= {q.name: q.answer(s.softmax(-1).tolist()) for q, s in zip(questions, scores)}
```

Та же самая головная часть считывает 255 кодов ответа моделей [pplx-decider](https://huggingface.co/perplexity-ai/pplx-decider-v1.1-27b) и [d3](https://huggingface.co/vllm-sr/d3), чей базовый блок Qwen3.5 обращается ко всему промпту (`is_causal=False` в `text_config` их `JevForDecision`). Их головная часть (`readout.safetensors`) и настройки (`decision_config.json`) читаются как есть, рядом с их весами:

```python
pipeline("decision", model="vllm-sr/d3")(request)  # or perplexity-ai/pplx-decider-v1.1-27b
```

## JevConfig[[transformers.JevConfig]]

#### transformers.JevConfig[[transformers.JevConfig]]

```python
transformers.JevConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 4096, num_verbalizers: int = 24, offsets: dict[str, int] | None = None, softcap: float | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, initializer_range: float = 0.02)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/jev/configuration_jev.py#L101)

**Параметры:**

hidden_size (`int`, *optional*, по умолчанию `4096`) : Размерность скрытых представлений.

num_verbalizers (`int`, *optional*, по умолчанию 24) : Количество одно-токенных меток, оцениваемых головой, для всех типов вопросов.

offsets (`dict[str, int]`, *необязательный*, по умолчанию `{"noul" : 0, "score": 2, "choice": 8}`): строка первой метки для каждого типа вопроса: варианты ответа вопроса оцениваются по строкам начиная с `offsets[question.type]`, в порядке следования.

softcap (`float`, *optional*) : Мягкое ограничение для оценок, `softcap * tanh(scores / softcap)`, аналогично логитам головы языковой модели.

text_config (`dict` или `PreTrainedConfig`, *необязательный*) : Конфигурация модели, которую читает head, `config.json` из её репозитория.

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

Это класс конфигурации для хранения настроек модели JevModel. Он используется для создания модели Jev в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [autotrust/JEV-9B](https://huggingface.co/autotrust/JEV-9B)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Пример:
```python
>>> from transformers import JevConfig, JevForDecision

>>> model = JevForDecision(JevConfig(hidden_size=4096))
```

#### decision_config[[transformers.JevConfig.decision_config]]

```python
decision_config(head_configs: dict, text_config: dict)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/jev/configuration_jev.py#L134)

Конфигурация решения контрольной точки, которая содержит голову JEV рядом с весами, из её файлов конфигурации.

## JevForDecision[[transformers.JevForDecision]]

#### transformers.JevForDecision[[transformers.JevForDecision]]

```python
transformers.JevForDecision(config: JevConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/jev/modeling_jev.py#L38)

**Параметры:**

config ([JevConfig](/docs/transformers/v5.23.0/ru/model_doc/jev#transformers.JevConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

JEV (autotrust/JEV-9B): модель из её репозитория и head для принятия решений, линейные оценки одно-токеновых меток на токене перед `<|mark|>` каждого вопроса, с мягким ограничением, как у logits в head языковой модели.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.JevForDecision.forward]]

```python
forward(input_ids: LongTensor, marks: LongTensor, num_options: LongTensor, question_type_ids: LongTensor, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/jev/modeling_jev.py#L45)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

marks (`torch.LongTensor` формы `(num_marks,)`) : Позиции, записанные `<|mark|>` шаблона решения: количество токенов промпта до каждого из них.

num_options (`torch.LongTensor` формы `(num_questions,)`) : Количество вариантов ответа для каждого вопроса в промпте.

question_type_ids (`torch.LongTensor` формы `(num_questions,)`) : Тип каждого вопроса в промпте, представленный его индексом в `Question.questions_types`.

**Возвращаемое значение:**

`torch.Tensor`

Метод [JevForDecision](/docs/transformers/v5.23.0/ru/model_doc/jev#transformers.JevForDecision) forward переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

