Hugging Face's logo

Transformers documentation

LayoutXLM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

该模型于 2021-04-18 在 HF papers 上发布，并于 2021-11-03 贡献至 Hugging Face Transformers。

LayoutXLM

概述

LayoutXLM 由 Yiheng Xu、Tengchao Lv、Lei Cui、Guoxin Wang、Yijuan Lu、Dinei Florencio、Cha Zhang 和 Furu Wei 在 LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding 中提出。它是 LayoutLMv2 模型 的多语言扩展版本，在 53 种语言上进行训练。

该论文的摘要如下：

近期，结合文本、版式和图像的多模态预训练在视觉丰富的文档理解任务上取得了 SOTA 性能，这展示了跨不同模态联合学习的巨大潜力。在本文中，我们提出了 LayoutXLM，一个用于多语言文档理解的多模态预训练模型，旨在消除视觉丰富文档理解中的语言障碍。为了准确评估 LayoutXLM，我们还引入了一个名为 XFUN 的多语言表单理解基准数据集，该数据集包含 7 种语言（中文、日文、西班牙语、法语、意大利语、德语、葡萄牙语）的表单理解样本，并且每种语言的关键值对均经过人工标注。实验结果表明，LayoutXLM 模型在 XFUN 数据集上显著优于现有的 SOTA 跨语言预训练模型。

该模型由 nielsr 贡献。原始代码可在此处找到。

使用技巧与示例

可以直接将 LayoutXLM 的权重加载到 LayoutLMv2 模型中，如下所示：

from transformers import LayoutLMv2Model


model = LayoutLMv2Model.from_pretrained("microsoft/layoutxlm-base", device_map="auto")

请注意，LayoutXLM 拥有自己的分词器，基于 LayoutXLMTokenizer/LayoutXLMTokenizerFast。您可以按如下方式对其进行初始化：

from transformers import LayoutXLMTokenizer


tokenizer = LayoutXLMTokenizer.from_pretrained("microsoft/layoutxlm-base")

与 LayoutLMv2 类似，您可以使用 LayoutXLMProcessor（其内部依次应用 LayoutLMv2ImageProcessor 和 LayoutXLMTokenizer/LayoutXLMTokenizerFast）来为模型准备所有数据。

由于 LayoutXLM 的架构与 LayoutLMv2 相同，您可以参考 LayoutLMv2 的文档页面 获取所有技巧、代码示例和笔记本。

LayoutXLMConfig

class transformers.LayoutXLMConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 30522hidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.1attention_probs_dropout_prob: float | int = 0.1max_position_embeddings: int = 512type_vocab_size: int = 2initializer_range: float = 0.02layer_norm_eps: float = 1e-12pad_token_id: int | None = 0max_2d_position_embeddings: int = 1024max_rel_pos: int = 128rel_pos_bins: int = 32fast_qkv: bool = Truemax_rel_2d_pos: int = 256rel_2d_pos_bins: int = 64convert_sync_batchnorm: bool = Trueimage_feature_pool_shape: list[int] | tuple[int, ...] = (7, 7, 256)coordinate_size: int = 128shape_size: int = 128has_relative_attention_bias: bool = Truehas_spatial_attention_bias: bool = Truehas_visual_segment_embedding: bool = Falsedetectron2_config_args: dict | None = None )

参数

  • vocab_size (int，可选，默认为 30522) — 模型的词汇表大小。定义了 input_ids 可以表示的不同 token 数量。
  • hidden_size (int，可选，默认为 768) — 隐藏表示的维度。
  • num_hidden_layers (int, 可选, 默认为 12) — Transformer 解码器中的隐藏层数量。
  • num_attention_heads (int，可选，默认为 12) — Transformer 解码器中每个注意力层的注意力头数量。
  • intermediate_size (int，可选，默认为 3072) — MLP 表示的维度。
  • hidden_act (str，可选，默认为 gelu) — 解码器中的非线性激活函数（函数或字符串）。例如，"gelu"、 "relu"、"silu" 等。
  • hidden_dropout_prob (Union[float, int]，可选，默认为 0.1) — 嵌入层、编码器和池化层中所有全连接层的 dropout 概率。
  • attention_probs_dropout_prob (Union[float, int]，可选，默认为 0.1) — 注意力概率的 dropout 比率。
  • max_position_embeddings (int，可选，默认为 512) — 该模型可能使用的最大序列长度。
  • type_vocab_size (int，可选，默认为 2) — token_type_ids 的词汇表大小。
  • initializer_range (float，可选，默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • layer_norm_eps (float，可选，默认为 1e-12) — 层归一化层所使用的 epsilon 值。
  • pad_token_id (int, 可选，默认为 0) — 词表中用于填充的 token id。
  • max_2d_position_embeddings (int，可选，默认值为 1024) — 2D 位置嵌入可能使用的最大值。通常建议将其设置为一个较大的值以防万一（例如 1024）。
  • max_rel_pos (int，可选，默认为 128) — 自注意力机制中使用的最大相对位置数。
  • rel_pos_bins (int，可选，默认为 32) — 自注意力机制中使用的相对位置分箱数量。
  • fast_qkv（bool，可选，默认为 True）— 是否使用单个矩阵来自注意力层中的查询、键和值。
  • max_rel_2d_pos (int，可选，默认为 256) — 自注意力机制中相对 2D 位置的最大数量。
  • rel_2d_pos_bins (int，可选，默认为 64) — 自注意力机制中二维相对位置分箱的数量。
  • convert_sync_batchnorm (bool，可选，默认为 True) — 是否将批归一化层转换为同步批归一化层。
  • image_feature_pool_shape (list[int]，可选，默认为 [7, 7, 256]) — 平均池化后特征图的形状。
  • coordinate_size (int，可选，默认为 128) — 坐标嵌入的维度。
  • shape_size (int，可选，默认为 128) — 宽度和高度嵌入的维度。
  • has_relative_attention_bias (bool，可选，默认为 True) — 是否在自注意力机制中使用相对注意力偏置。
  • has_spatial_attention_bias (bool，可选，默认为 True) — 是否在自注意力机制中使用空间注意力偏置。
  • has_visual_segment_embedding (bool，可选，默认为 False) — 是否添加视觉分段嵌入。
  • detectron2_config_args (dict, 可选) — 包含 Detectron2 视觉骨干网络配置参数的字典。有关默认值的详细信息，请参阅此文件。

这是用于存储 LayoutxlmModel 配置的类。它根据指定的参数实例化 Layoutxlm 模型，并定义模型架构。使用默认值实例化配置将得到与 microsoft/layoutxlm-base 类似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PreTrainedConfig 的文档。

示例：

>>> from transformers import LayoutXLMConfig, LayoutXLMModel

>>> # Initializing a LayoutXLM microsoft/layoutxlm-base style configuration
>>> configuration = LayoutXLMConfig()

>>> # Initializing a model (with random weights) from the microsoft/layoutxlm-base style configuration
>>> model = LayoutXLMModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

LayoutXLMTokenizer

class transformers.LayoutXLMTokenizer

< >

( vocab: str | list | None = Nonebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'cls_token_box = [0, 0, 0, 0]sep_token_box = [1000, 1000, 1000, 1000]pad_token_box = [0, 0, 0, 0]pad_token_label = -100only_label_first_subword = Trueadd_prefix_space = True**kwargs )

参数

  • vocab (str、dict 或 list，可选) — 分词器的词表，可以是路径、字典或 (token, score) 元组列表。
  • bos_token (str, 可选, 默认为 "<s>") — 预训练期间使用的序列起始标记。也可用作序列分类标记。

    在构建序列时，如果使用了特殊标记，序列开头使用的并不是这个标记。实际使用的标记是 cls_token。

  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。在构建包含特殊标记的序列时，序列结束使用的并非此标记，而是 sep_token。

    在构建包含特殊标记的序列时，序列末尾使用的并不是这个标记。 实际使用的是 sep_token。

  • sep_token (str，可选，默认为 "</s>") — 分隔符 token，用于从多个序列构建序列时，例如用于序列分类的两个序列，或用于问答的文本和问题。它也用作使用特殊 token 构建的序列的最后一个 token。
  • cls_token (str，可选，默认为 "<s>") — 用于序列分类（对整个序列进行分类，而非逐 token 分类）的分类器 token。当使用特殊 token 构建序列时，它是序列的第一个 token。
  • unk_token (str，可选，默认为 "<unk>") — 未知标记。不在词汇表中的标记无法转换为 ID，因此会被设置为该标记。
  • pad_token (str，可选，默认为 "<pad>") — 用于填充的标记，例如在对长度不同的序列进行批处理时。
  • mask_token (str, 可选，默认为 "<mask>") — 用于掩码值的标记。这是在以掩码语言建模方式训练该模型时所使用的标记，也是模型将尝试预测的标记。
  • cls_token_box (list[int]，可选，默认为 [0, 0, 0, 0]) — 用于特殊 [CLS] token 的边界框。
  • sep_token_box (list[int]，可选，默认为 [1000, 1000, 1000, 1000]) — 用于特殊 [SEP] token 的边界框。
  • pad_token_box (list[int]，可选，默认为 [0, 0, 0, 0]) — 用于特殊 [PAD] token 的边界框。
  • pad_token_label (int，可选，默认值为 -100) — 用于填充 token 的标签。默认值为 -100，即 PyTorch 中 CrossEntropyLoss 的 ignore_index。
  • only_label_first_subword (bool，可选，默认为 True) — 如果提供了词标签，是否仅对第一个子词进行标注。
  • add_prefix_space (bool，可选，默认为 True) — 是否要在输入前添加一个初始空格。
  • additional_special_tokens (list[str]，可选，默认为 ["<s>NOTUSED", "</s>NOTUSED"]) — 分词器使用的额外特殊标记。

构建一个“快速”的 LayoutXLM 分词器（基于 HuggingFace 的 tokenizers 库）。改编自 RobertaTokenizer 和 XLNetTokenizer。基于 BPE。

该分词器继承自 TokenizersBackend，其中包含了大部分主要方法。用户应参考该父类以获取有关这些方法的更多信息。

__call__

< >

( text: str | list[str] | list[list[str]]text_pair: list[str] | list[list[str]] | None = Noneboxes: list[list[int]] | list[list[list[int]]] | None = Noneword_labels: list[int] | list[list[int]] | None = Noneadd_special_tokens: bool = Truepadding: bool | str | transformers.utils.generic.PaddingStrategy = Falsetruncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy | None = Nonemax_length: int | None = Nonestride: int = 0pad_to_multiple_of: int | None = Nonepadding_side: str | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonereturn_token_type_ids: bool | None = Nonereturn_attention_mask: bool | None = Nonereturn_overflowing_tokens: bool = Falsereturn_special_tokens_mask: bool = Falsereturn_offsets_mapping: bool = Falsereturn_length: bool = Falseverbose: bool = True**kwargs ) → BatchEncoding

参数

  • text (str, list[str], list[list[str]]) — 要编码的序列或序列批次。每个序列可以是字符串、字符串列表（单个示例的单词或一批示例的问题）或字符串列表的列表（单词批次）。
  • text_pair (list[str], list[list[str]]) — 要编码的序列或序列批次。每个序列应为字符串列表（预分词字符串）。
  • boxes (list[list[int]], list[list[list[int]]]) — 词级边界框。每个边界框应归一化到 0-1000 的尺度上。
  • word_labels (list[int], list[list[int]], 可选) — 词级别的整数标签（用于 FUNSD、CORD 等 token 分类任务）。
  • add_special_tokens (bool，可选，默认为 True) — 是否根据模型为序列编码特殊标记。
  • padding (bool, str 或 PaddingStrategy, 可选, 默认值为 False) — 启用并控制填充。接受以下值：
    • True 或 'longest'：填充至批次中最长的序列（如果仅提供单个序列，则不进行填充）。
    • 'max_length'：填充至由参数 max_length 指定的最大长度；若未提供该参数，则填充至模型可接受的最大输入长度。
    • False 或 'do_not_pad'（默认值）：不进行填充（即可以输出包含不同长度序列的批次）。
  • truncation (bool, str 或 TruncationStrategy, ，可选, ，默认为 False) — 启用并控制截断。接受以下值：
    • True 或 'longest_first'：截断至由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断至模型可接受的最大输入长度。这将逐个 token 进行截断，如果提供了一对序列（或一批序列对），则会从该对中最长的序列中移除一个 token。
    • 'only_first'：截断至由参数 max_length 指定的最大长度，或者在未提供该参数时，截断至模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），则仅截断其中的第一个序列。
    • 'only_second'：截断至由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断至模型可接受的最大输入长度。仅当提供了一对序列（或一批序列对）时，才会截断其中的第二个序列。
    • False 或 'do_not_truncate'（默认值）：不进行截断（即，可以输出序列长度大于模型最大可接受输入大小的批次）。
  • max_length (int, 可选) — 控制截断/填充参数之一所使用的最大长度。如果未设置或设置为 None，则当截断/填充参数需要最大长度时，将使用预定义的最大模型长度。如果模型没有特定的最大输入长度（如 XLNet），则禁用截断/填充到最大长度的功能。

    如果未设置或设置为 None，当截断/填充参数需要最大长度时，将使用预定义的最大模型长度。如果模型没有特定的最大输入长度（例如 XLNet），则禁用截断/填充至最大长度的功能。

  • stride (int，可选，默认为 0) — 如果与 max_length 一起设置为某个数值，则当 return_overflowing_tokens=True 时，返回的溢出 token 将包含截断序列末尾的若干 token，以在截断序列和溢出序列之间提供一定的重叠。此参数的值定义了重叠 token 的数量。
  • pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充为所提供值的倍数。这对于在计算能力 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
  • return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
    • 'pt'：返回 PyTorch torch.Tensor 对象。
    • 'np'：返回 Numpy np.ndarray 对象。
  • return_token_type_ids (bool, 可选) — 是否返回 token type ID。如果保持默认值，将根据特定分词器的默认设置返回 token type ID，该设置由 return_outputs 属性定义。

    什么是 token type ID？

  • return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保持默认值，将根据特定分词器的默认设置返回注意力掩码，该设置由 return_outputs 属性定义。

    什么是注意力掩码？

  • return_overflowing_tokens (bool，可选，默认为 False) — 是否返回溢出的 token 序列。如果提供了输入 id 的序列对（或序列对批次），且 truncation_strategy = longest_first 或 True，则会抛出错误，而不是返回溢出的 token。
  • return_special_tokens_mask (bool，可选，默认为 False) — 是否返回特殊 token 掩码信息。
  • return_offsets_mapping (bool, 可选, 默认为 False) — 是否返回 (char_start, char_end) 每个 token 的。

    此功能仅在继承自 PreTrainedTokenizerFast 的快速分词器上可用。如果使用 Python 分词器，此方法将抛出 NotImplementedError。

  • return_length (bool，可选，默认为 False) — 是否返回编码后输入的长度。
  • verbose (bool，可选，默认为 True) — 是否打印更多信息和警告。
  • **kwargs — 传递给 self.tokenize() 方法

返回值

BatchEncoding

一个包含以下字段的 BatchEncoding：

  • input_ids — 要输入模型的 token id 列表。

    什么是输入 ID？

  • bbox — 要输入模型的边界框列表。

  • token_type_ids — 要输入模型的 token 类型 ID 列表（当 return_token_type_ids=True 或 self.model_input_names 中包含 “token_type_ids” 时）。

    什么是 token type ID？

  • attention_mask — 索引列表，指定模型应关注哪些 token（当 return_attention_mask=True 或 “attention_mask” 位于 self.model_input_names 中时）。

    什么是注意力掩码？

  • labels — 要输入模型的标签列表。（当指定了 word_labels 时）。

  • overflowing_tokens — 溢出 token 序列的列表（当指定了 max_length 且 return_overflowing_tokens=True 时）。

  • num_truncated_tokens — 被截断的 token 数量（当指定了 max_length 且 return_overflowing_tokens=True 时）。

  • special_tokens_mask — 由 0 和 1 组成的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

  • length — 输入的长度（当 return_length=True 时）。

用于对一条或多条序列，或一对或多对序列进行分词并准备输入模型的主要方法，这些序列带有词级归一化边界框以及可选的标签。

build_inputs_with_special_tokens

< >

( token_ids_0: list[int]token_ids_1: list[int] | None = None ) → list[int]

参数

  • token_ids_0 (list[int]) — 将添加特殊标记的 ID 列表。
  • token_ids_1 (list[int], 可选) — 用于序列对的可选第二组 ID 列表。

返回值

list[int]

包含相应特殊标记的输入 ID列表。

通过拼接并添加特殊标记，从单个序列或序列对构建用于序列分类任务的模型输入。XLM-RoBERTa 序列的格式如下：

  • 单条序列：<s> X </s>
  • 序列对：<s> A </s></s> B </s>

get_special_tokens_mask

< >

( token_ids_0: list[int]token_ids_1: list[int] | None = Nonealready_has_special_tokens: bool = False ) → A list of integers in the range [0, 1]

参数

  • token_ids_0 — （可能已格式化的）序列的 ID 列表。
  • token_ids_1 — 当 already_has_special_tokens=True 时未使用。在这种情况下，该值必须为 None。
  • already_has_special_tokens — 序列是否已使用特殊标记进行格式化。

返回值

一个取值范围为 [0, 1] 的整数列表

1 表示特殊标记，0 表示序列标记。

从未添加特殊标记的标记列表中检索序列 ID。

对于快速分词器，数据整理器会传入 already_has_special_tokens=True 来调用此方法，以在已格式化的序列上构建掩码。在这种情况下，我们通过检查元素是否属于 all_special_ids 来计算掩码。

create_token_type_ids_from_sequences

< >

( token_ids_0: list[int]token_ids_1: list[int] | None = None ) → list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], 可选) — 用于序列对的可选第二组 ID 列表。

返回值

list[int]

零列表。

根据传入的两个序列创建掩码，用于序列对分类任务。XLM-RoBERTa 不使用 token type ids，因此返回一个全零列表。

save_vocabulary

< >

( save_directory: strfilename_prefix: str | None = None )

LayoutXLMProcessor

class transformers.LayoutXLMProcessor

< >

( image_processor = Nonetokenizer = None**kwargs )

参数

  • image_processor (LayoutLMv2ImageProcessor) — 图像处理器是必需的输入。
  • tokenizer (LayoutXLMTokenizer) — 分词器是必需的输入。

构建一个 LayoutXLMProcessor，它将图像处理器和分词器封装为单一处理器。

LayoutXLMProcessor 提供了 LayoutLMv2ImageProcessor 和 LayoutXLMTokenizer 的所有功能。有关更多信息，请参阅 ~LayoutLMv2ImageProcessor 和 ~LayoutXLMTokenizer。

__call__

< >

( imagestext: str | list[str] | list[list[str]] = Nonetext_pair: list[str] | list[list[str]] | None = Noneboxes: list[list[int]] | list[list[list[int]]] | None = Noneword_labels: list[int] | list[list[int]] | None = Noneadd_special_tokens: bool = Truepadding: bool | str | transformers.utils.generic.PaddingStrategy = Falsetruncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy = Nonemax_length: int | None = Nonestride: int = 0pad_to_multiple_of: int | None = Nonereturn_token_type_ids: bool | None = Nonereturn_attention_mask: bool | None = Nonereturn_overflowing_tokens: bool = Falsereturn_special_tokens_mask: bool = Falsereturn_offsets_mapping: bool = Falsereturn_length: bool = Falseverbose: bool = Truereturn_tensors: str | transformers.utils.generic.TensorType | None = None**kwargs ) → ~tokenization_utils_base.BatchEncoding

参数

  • images (`) -- Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set do_rescale=False`.
  • text (Union[str, list[str], list[list[str]]]，可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果传入预分词输入，请设置 is_split_into_words=True，以避免与批量输入产生歧义。
  • text_pair (str, list[str] or list[int], 可选) — 要编码的可选第二个序列。它可以是一个字符串、一个字符串列表（使用 tokenize 方法分词后的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法得到的分词字符串 ID）。
  • boxes (list[list[int]] or list[list[list[int]]], 可选) — 词级边界框。每个边界框应归一化到 0-1000 的尺度上。
  • word_labels (list[int] or list[list[int]]，可选) — 词级别的整数标签（用于 FUNSD、CORD 等 token 分类任务）。
  • add_special_tokens (bool，可选，默认为 True) — 在编码序列时是否添加特殊标记。此操作将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记会自动添加到输入 ID 中。如果您希望自动添加 bos 或 eos 标记，此功能非常有用。
  • padding (bool、str 或 PaddingStrategy, ，可选, ，默认为 False) — 启用并控制填充。接受以下值：
    • True 或 'longest'：填充至批次中最长的序列（如果仅提供单个序列，则不进行填充）。
    • 'max_length'：填充至由参数 max_length 指定的最大长度；若未提供该参数，则填充至模型可接受的最大输入长度。
    • False 或 'do_not_pad'（默认值）：不进行填充（即可以输出包含不同长度序列的批次）。
  • truncation (bool、str 或 TruncationStrategy, ，可选) — 启用并控制截断。接受以下值：
    • True 或 'longest_first'：截断至由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断至模型可接受的最大输入长度。这将逐个 token 进行截断，如果提供了一对序列（或一批序列对），则会从该对中最长的序列中移除一个 token。
    • 'only_first'：截断至由参数 max_length 指定的最大长度，或者在未提供该参数时，截断至模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），则仅截断其中的第一个序列。
    • 'only_second'：截断至由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断至模型可接受的最大输入长度。仅当提供了一对序列（或一批序列对）时，才会截断其中的第二个序列。
    • False 或 'do_not_truncate'（默认值）：不进行截断（即，可以输出序列长度大于模型最大可接受输入大小的批次）。
  • max_length (int, 可选) — 控制截断/填充参数之一所使用的最大长度。如果未设置或设置为 None，则当截断/填充参数需要最大长度时，将使用预定义的最大模型长度。如果模型没有特定的最大输入长度（如 XLNet），则禁用截断/填充到最大长度的功能。

    如果未设置或设置为 None，当截断/填充参数需要最大长度时，将使用预定义的最大模型长度。如果模型没有特定的最大输入长度（例如 XLNet），则禁用截断/填充至最大长度的功能。

  • stride (int，可选，默认为 0) — 如果与 max_length 一起设置为某个数值，则当 return_overflowing_tokens=True 时，返回的溢出 token 将包含截断序列末尾的某些 token，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠 token 的数量。
  • pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充为所提供值的倍数。需要启用 padding。 这对于在具有计算能力 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
  • return_token_type_ids (bool, 可选) — 是否返回 token type ID。如果保持默认值，将根据特定分词器的默认设置返回 token type ID，该设置由 return_outputs 属性定义。

    什么是 token type ID？

  • return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保持默认值，将根据特定分词器的默认设置返回注意力掩码，该设置由 return_outputs 属性定义。

    什么是注意力掩码？

  • return_overflowing_tokens (bool，可选，默认为 False) — 是否返回溢出的 token 序列。如果提供了输入 id 的序列对（或序列对批次），且 truncation_strategy = longest_first 或 True，则会抛出错误，而不是返回溢出的 token。
  • return_special_tokens_mask (bool，可选，默认为 False) — 是否返回特殊 token 掩码信息。
  • return_offsets_mapping (bool, 可选, 默认为 False) — 是否返回 (char_start, char_end) 每个 token 的。

    此功能仅在继承自 PreTrainedTokenizerFast 的快速分词器上可用。如果使用 Python 分词器，此方法将抛出 NotImplementedError。

  • return_length (bool，可选，默认为 False) — 是否返回编码后输入的长度。
  • verbose (bool，可选，默认为 True) — 是否打印更多信息和警告。
  • return_tensors (Union[str, ~utils.generic.TensorType], 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
    • 'pt'：返回 PyTorch torch.Tensor 对象。
    • 'np'：返回 NumPy np.ndarray 对象。

返回值

~tokenization_utils_base.BatchEncoding

  • data (dict，可选) — 由 __call__/encode_plus/batch_encode_plus 方法返回的列表/数组/张量字典 （‘input_ids’、‘attention_mask’ 等）。
  • encoding（tokenizers.Encoding 或 Sequence[tokenizers.Encoding]，可选）— 如果分词器是快速分词器，并且会输出诸如从词/字符空间到 token 空间的映射等附加信息，则 tokenizers.Encoding 实例或实例列表（用于批次）将保存这些信息。
  • tensor_type (Union[None, str, TensorType], 可选) — 您可以在此处指定 tensor_type，以便在初始化时将 PyTorch/Numpy 张量中的整数列表进行转换。
  • prepend_batch_axis (bool，可选，默认为 False) — 在转换为张量时是否添加批次维度（参见上文中的 tensor_type）。请注意，仅当参数 tensor_type 被设置时，该参数才会生效，否则无效。
  • n_sequences (int，可选) — 每个编码所表示的输入序列数量（None 表示未知，1 表示单个序列，2 表示一对序列）。
Update on GitHub

←LayoutLMV3 LFM2-VL→