Hugging Face's logo

Transformers documentation

パイプライン用のユーティリティ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

パイプライン用のユーティリティ

このページでは、パイプライン用にライブラリが提供するすべてのユーティリティ関数を一覧で示しています。

これらの多くは、ライブラリ内のモデルのコードを研究する場合にのみ有用です。

引数の処理

class transformers.pipelines.ArgumentHandler

< >

( )

Pipelineごとの引数処理を行うためのベースインターフェースです。

class transformers.pipelines.ZeroShotClassificationArgumentHandler

< >

( )

テキスト分類のゼロショット処理において、各候補ラベルをNLIの前提/仮説ペアに変換することにより、引数を処理します。

データ形式

class transformers.PipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

パラメータ

  • output_path (str) — 出力データを保存する場所。
  • input_path (str) — 入力データを探す場所。
  • column (str) — 読み取る列。
  • overwrite (bool、省略可能、デフォルトは False) — output_path を上書きするかどうかを指定します。

読み取りと書き出しの両方でサポートされるすべてのパイプラインのデータ形式の基底クラスです。現在サポートされているデータ形式には、以下が含まれます。

  • JSON
  • CSV
  • stdin/stdout（パイプ）

PipelineDataFormat には、dataset_kwarg_1=dataset_column_1 形式でデータセットの列からパイプラインのキーワード引数へマッピングするなどの、複数カラムを扱うためのユーティリティも含まれています。

from_str

< >

( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat

パラメータ

  • format (str) — 希望するパイプラインの形式です。受け入れられる値は "json"、"csv"、または "pipe" です。
  • output_path (str, 任意) — 出力データを保存する場所。
  • input_path (str, 省略可) — 入力データを探す場所。
  • column (str, 省略可) — 読み取るカラム。
  • overwrite (bool、省略可能、デフォルトは False) — output_path を上書きするかどうかを指定します。

戻り値

PipelineDataFormat

適切なデータ形式。

format に応じて、PipelineDataFormat の適切なサブクラスのインスタンスを作成します。

save

< >

( data: dict | list[dict] )

パラメータ

  • data (dict または dict のリスト) — 保存するデータ。

現在のPipelineDataFormatの表現を持つ、提供されたデータオブジェクトを保存します。

save_binary

< >

( data: dict | list[dict] ) → str

パラメータ

  • data (dict または dict のリスト) — 保存するデータ。

戻り値

str

データが保存されたパス。

提供されたデータオブジェクトを、pickle形式のバイナリデータとしてディスクに保存します。

class transformers.CsvPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

パラメータ

  • output_path (str) — 出力データを保存する場所。
  • input_path (str) — 入力データを探す場所。
  • column (str) — 読み取る列。
  • overwrite (bool、省略可能、デフォルトは False) — output_path を上書きするかどうかを指定します。

CSVデータ形式を使用したパイプラインのサポート。

save

< >

( data: list[dict] )

パラメータ

  • data (list[dict]) — 保存するデータ。

現在のPipelineDataFormatの表現を持つ、提供されたデータオブジェクトを保存します。

class transformers.JsonPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

パラメータ

  • output_path (str) — 出力データを保存する場所。
  • input_path (str) — 入力データを探す場所。
  • column (str) — 読み取る列。
  • overwrite (bool、省略可能、デフォルトは False) — output_path を上書きするかどうかを指定します。

JSONファイル形式を使用したパイプラインのサポート。

save

< >

( data: dict )

パラメータ

  • data (dict) — 保存するデータ。

提供されたデータオブジェクトをjsonファイルに保存します。

class transformers.PipedPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

パラメータ

  • output_path (str) — 出力データを保存する場所。
  • input_path (str) — 入力データを探す場所。
  • column (str) — 読み取る列。
  • overwrite (bool、省略可能、デフォルトは False) — output_path を上書きするかどうかを指定します。

Python プロセスのパイプ入力からデータを読み取ります。複数カラムのデータの場合、カラムはで区切ってください。

カラムが指定されている場合、出力は{column_x: value_x}形式の辞書になります。

save

< >

( data: dict )

パラメータ

  • data (dict) — 保存するデータ。

データを出力します。

ユーティリティ

class transformers.pipelines.PipelineException

< >

( task: strmodel: strreason: str )

パラメータ

  • task (str) — パイプラインのタスク。
  • model (str) — パイプラインで使用されるモデル。
  • reason (str) — 表示するエラーメッセージ。

call を処理する際に、Pipeline によって発生します。

Update on GitHub

←モデルデバッグ用のユーティリティ トークナイザー用のユーティリティ→