# CPM

## 概要

CPMモデルは、Zhengyan Zhang、Xu Han、Hao Zhou、Pei Ke、Yuxian Gu、Deming Ye、Yujia Qin、Yusheng Su、Haozhe Ji、Jian Guan、Fanchao Qi、Xiaozhi Wang、Yanan Zheng、Guoyang Zeng、Huanqi Cao、Shengqi Chen、Daixuan Li、Zhenbo Sun、Zhiyuan Liu、Minlie Huang、Wentao Han、Jie Tang、Juanzi Li、Xiaoyan Zhu、Maosong Sun による [CPM: A Large-scale Generative Chinese Pre-trained Language Model](https://huggingface.co/papers/2012.00413) で提案されました。

論文の抄録は以下の通りです。

*事前学習済み言語モデル（PLM）は、さまざまな下流のNLPタスクにおいて有用であることが示されています。最近、1750億パラメータと570GBの学習データを持つGPT-3は、少ショット（ゼロショットを含む）学習の能力により大きな注目を集めました。しかし、GPT-3の学習コーパスは主に英語であり、パラメータが公開されていないため、GPT-3を中国語NLPタスクに適用することは依然として困難です。本技術レポートでは、大規模な中国語学習データを用いた生成事前学習により、中国語事前学習済み言語モデル（CPM）を公開します。我々の知る限り、26億パラメータと100GBの中国語学習データを持つCPMは、最大の中国語事前学習済み言語モデルであり、会話、エッセイ生成、穴埋め問題、言語理解などのいくつかの下流の中国語NLPタスクを促進できます。広範な実験により、CPMは少ショット（ゼロショットを含む）学習の設定において、多くのNLPタスクで優れた性能を達成することが示されました。*

このモデルは [canwenxu](https://huggingface.co/canwenxu) によって提供されました。元の実装は、こちらで確認できます: https://github.com/TsinghuaAI/CPM-Generate

CPMのアーキテクチャはGPT-2と同じですが、トークン化の方法が異なります。APIの参考情報については、[GPT-2のドキュメント](gpt2)を参照してください。

## CpmTokenizer[[transformers.CpmTokenizer]]

#### transformers.CpmTokenizer[[transformers.CpmTokenizer]]

```python
transformers.CpmTokenizer(vocab_file, do_lower_case = False, remove_space = True, keep_accents = False, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', sep_token = '<sep>', pad_token = '<pad>', cls_token = '<cls>', mask_token = '<mask>', additional_special_tokens = ['<eop>', '<eod>'], sp_model_kwargs: dict[str, typing.Any] | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm.py#L34)

Jieba-RSセグメンテーションツールを使用して、事前トークン化を実行します。CPMモデルで使用されます。

#### build_inputs_with_special_tokens[[transformers.CpmTokenizer.build_inputs_with_special_tokens]]

```python
build_inputs_with_special_tokens(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm.py#L230)

**パラメータ:**

token_ids_0 (`list[int]`) : 特殊トークンが追加されるIDのリスト。

token_ids_1 (`list[int]`, *任意*) : シーケンスペア用の任意の第2のIDリスト。

**戻り値:** `list[int]`

適切な特殊トークンを含む[入力 ID](../glossary#input-ids)のリスト。

シーケンス分類タスクにおいて、シーケンスまたはシーケンスのペアからモデルの入力を構築するために、特殊トークンを追加して連結します。XLNetのシーケンスは、次の形式を持ちます:

- 単一シーケンス: `X <sep> <cls>`
- シーケンスのペア: `A <sep> B <sep> <cls>`

#### convert_tokens_to_string[[transformers.CpmTokenizer.convert_tokens_to_string]]

```python
convert_tokens_to_string(tokens)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm.py#L225)

単一の文字列内のトークン（サブワードの文字列）のシーケンスを変換します。

#### シーケンスからトークンタイプIDを作成[[transformers.CpmTokenizer.create_token_type_ids_from_sequences]]

```python
create_token_type_ids_from_sequences(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm.py#L283)

**パラメータ:**

token_ids_0 (`list[int]`) : ID のリスト。

token_ids_1 (`list[int]`, *任意*) : シーケンスペア用の任意の第2のIDリスト。

**戻り値:** `list[int]`

指定されたシーケンスに基づいた[トークンタイプID](../glossary#token-type-ids)のリスト。

シーケンスペア分類タスクで使用するために、渡された2つのシーケンスからマスクを作成します。XLNet

sequence pair mask は以下の形式です:

```
0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |
```

`token_ids_1`が`None`の場合、このメソッドはマスクの最初の部分（0）のみを返します。

#### get_special_tokens_mask[[transformers.CpmTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm.py#L255)

**パラメータ:**

token_ids_0 (`list[int]`) : ID のリスト。

token_ids_1 (`list[int]`, *任意*) : シーケンスペア用の任意の第2のIDリスト。

already_has_special_tokens (`bool`、*任意*、デフォルトは`False`) : トークンリストが、モデル用の特殊トークンを含む形式で既に整形されているかどうかを示します。

**戻り値:** `list[int]`

範囲 [0, 1] の整数のリスト: 特殊トークンは 1、シーケンストークンは 0。

特殊トークンが追加されていないトークンリストからシーケンスIDを取得します。このメソッドは、トークナイザーの`prepare_for_model`メソッドを使用して特殊トークンを追加する際に呼び出されます。

## CpmTokenizerFast[[transformers.CpmTokenizerFast]]

#### transformers.CpmTokenizerFast[[transformers.CpmTokenizerFast]]

```python
transformers.CpmTokenizerFast(vocab_file = None, tokenizer_file = None, do_lower_case = False, remove_space = True, keep_accents = False, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', sep_token = '<sep>', pad_token = '<pad>', cls_token = '<cls>', mask_token = '<mask>', additional_special_tokens = ['<eop>', '<eod>'], **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm_fast.py#L28)

Jieba-RSセグメンテーションツールを使用して、事前トークン化を実行します。CPMモデルで使用されます。

#### build_inputs_with_special_tokens[[transformers.CpmTokenizerFast.build_inputs_with_special_tokens]]

```python
build_inputs_with_special_tokens(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm_fast.py#L145)

**パラメータ:**

token_ids_0 (`list[int]`) : 特殊トークンが追加されるIDのリスト。

token_ids_1 (`list[int]`, *任意*) : シーケンスペア用の任意の第2のIDリスト。

**戻り値:** `list[int]`

適切な特殊トークンを含む[入力 ID](../glossary#input-ids)のリスト。

シーケンス分類タスクにおいて、シーケンスまたはシーケンスのペアからモデルの入力を構築するために、特殊トークンを追加して連結します。XLNetのシーケンスは、次の形式を持ちます:

- 単一シーケンス: `X <sep> <cls>`
- シーケンスのペア: `A <sep> B <sep> <cls>`

#### シーケンスからトークンタイプIDを作成[[transformers.CpmTokenizerFast.create_token_type_ids_from_sequences]]

```python
create_token_type_ids_from_sequences(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/cpm/tokenization_cpm_fast.py#L170)

**パラメータ:**

token_ids_0 (`list[int]`) : ID のリスト。

token_ids_1 (`list[int]`, *任意*) : シーケンスペア用の任意の第2のIDリスト。

**戻り値:** `list[int]`

指定されたシーケンスに基づいた[トークンタイプID](../glossary#token-type-ids)のリスト。

シーケンスペア分類タスクで使用するために、渡された2つのシーケンスからマスクを作成します。XLNet

sequence pair mask は以下の形式です:

```
0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |
```

`token_ids_1`が`None`の場合、このメソッドはマスクの最初の部分（0）のみを返します。

