Hugging Face's logo

Transformers documentation

LayoutXLM

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была опубликована в HF papers 18.04.2021 и добавлена в Hugging Face Transformers 03.11.2021.

LayoutXLM

Обзор

LayoutXLM был предложен в статье LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding авторами Yiheng Xu, Tengchao Lv, Lei Cui, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Furu Wei. Это многоязычное расширение модели LayoutLMv2, обученной на 53 языках.

Аннотация из статьи следующая:

Мультимодальная предварительная обучение с использованием текста, макета и изображений в последнее время достигла SOTA-показателей для задач понимания документов, насыщенных визуальной информацией, что демонстрирует большой потенциал совместного обучения в разных модальностях. В данной статье мы представляем LayoutXLM — мультимодальную предварительно обученную модель для многоязычного понимания документов, которая направлена на преодоление языковых барьеров в понимании документов, насыщенных визуальной информацией. Для точной оценки LayoutXLM мы также представляем многоязычный бенчмарк для понимания форм, названный XFUN, который включает образцы понимания форм на 7 языках (китайский, японский, испанский, французский, итальянский, немецкий, португальский), при этом пары «ключ-значение» для каждого языка размечены вручную. Результаты экспериментов показывают, что модель LayoutXLM значительно превосходит существующие SOTA-модели кросс-языковой предварительной обучения на наборе данных XFUN.

Эта модель была предоставлена пользователем nielsr. Исходный код можно найти здесь.

Советы по использованию и примеры

Можно напрямую подставить веса LayoutXLM в модель LayoutLMv2, как показано ниже:

from transformers import LayoutLMv2Model


model = LayoutLMv2Model.from_pretrained("microsoft/layoutxlm-base", device_map="auto")

Обратите внимание, что у LayoutXLM есть собственный токенизатор, основанный на LayoutXLMTokenizer/LayoutXLMTokenizerFast. Вы можете инициализировать его следующим образом:

from transformers import LayoutXLMTokenizer


tokenizer = LayoutXLMTokenizer.from_pretrained("microsoft/layoutxlm-base")

Аналогично LayoutLMv2, для подготовки всех данных для модели можно использовать LayoutXLMProcessor (внутри он последовательно применяет LayoutLMv2ImageProcessor и LayoutXLMTokenizer/LayoutXLMTokenizerFast).

Поскольку архитектура LayoutXLM эквивалентна архитектуре LayoutLMv2, все советы, примеры кода и ноутбуки можно найти на странице документации LayoutLMv2.

LayoutXLMConfig

класс transformers.LayoutXLMConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 30522hidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.1attention_probs_dropout_prob: float | int = 0.1max_position_embeddings: int = 512type_vocab_size: int = 2initializer_range: float = 0.02layer_norm_eps: float = 1e-12pad_token_id: int | None = 0max_2d_position_embeddings: int = 1024max_rel_pos: int = 128rel_pos_bins: int = 32fast_qkv: bool = Truemax_rel_2d_pos: int = 256rel_2d_pos_bins: int = 64convert_sync_batchnorm: bool = Trueimage_feature_pool_shape: list[int] | tuple[int, ...] = (7, 7, 256)coordinate_size: int = 128shape_size: int = 128has_relative_attention_bias: bool = Truehas_spatial_attention_bias: bool = Truehas_visual_segment_embedding: bool = Falsedetectron2_config_args: dict | None = None )

Параметры

  • vocab_size (int, необязательный, по умолчанию 30522) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
  • hidden_size (int, необязательный, по умолчанию 768) — Размерность скрытых представлений.
  • num_hidden_layers (int, необязательный, по умолчанию 12) — Количество скрытых слоев в декодере Transformer.
  • num_attention_heads (int, необязательный, по умолчанию 12) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • intermediate_size (int, необязательный, по умолчанию 3072) — Размерность представлений MLP.
  • hidden_act (str, необязательный, по умолчанию gelu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
  • hidden_dropout_prob (Union[float, int], необязательный, по умолчанию 0.1) — Вероятность dropout для всех полносвязных слоёв в блоках эмбеддингов, энкодера и пулера.
  • attention_probs_dropout_prob (Union[float, int], необязательный, по умолчанию 0.1) — Коэффициент dropout для вероятностей внимания.
  • max_position_embeddings (int, необязательный, по умолчанию 512) — Максимальная длина последовательности, с которой может использоваться эта модель.
  • type_vocab_size (int, необязательный, по умолчанию 2) — Размер словаря для token_type_ids.
  • initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
  • layer_norm_eps (float, необязательный, по умолчанию 1e-12) — Значение epsilon, используемое слоями нормализации.
  • pad_token_id (int, необязательный, по умолчанию 0) — Идентификатор токена, используемого для дополнения (padding) в словаре.
  • max_2d_position_embeddings (int, необязательный, по умолчанию 1024) — Максимальное значение, с которым может использоваться 2D-позиционное вложение. Обычно устанавливается достаточно большое значение на всякий случай (например, 1024).
  • max_rel_pos (int, необязательный, по умолчанию 128) — Максимальное количество относительных позиций, используемых в механизме само-внимания.
  • rel_pos_bins (int, необязательный, по умолчанию 32) — Количество относительных позиционных бинов, используемых в механизме само-внимания.
  • fast_qkv (bool, необязательный, по умолчанию True) — Использовать ли единую матрицу для запросов, ключей и значений в слоях само-внимания.
  • max_rel_2d_pos (int, необязательный, по умолчанию 256) — Максимальное количество относительных 2D-позиций в механизме само-внимания.
  • rel_2d_pos_bins (int, необязательный, по умолчанию 64) — Количество бинов относительных позиций 2D в механизме само-внимания.
  • convert_sync_batchnorm (bool, необязательный, по умолчанию True) — Указывает, следует ли преобразовывать слои batch normalization в слои synchronized batch normalization.
  • image_feature_pool_shape (list[int], необязательный, по умолчанию [7, 7, 256]) — Форма карты признаков после усредняющего пулинга.
  • coordinate_size (int, необязательный, по умолчанию 128) — Размерность координатных эмбеддингов.
  • shape_size (int, необязательный, по умолчанию 128) — Размерность эмбеддингов ширины и высоты.
  • has_relative_attention_bias (bool, необязательный, по умолчанию True) — Использовать ли относительное смещение внимания в механизме само-внимания.
  • has_spatial_attention_bias (bool, необязательный, по умолчанию True) — Использовать ли пространственное смещение внимания в механизме само-внимания.
  • has_visual_segment_embedding (bool, необязательный, по умолчанию False) — Указывает, следует ли добавлять визуальные сегментные эмбеддинги.
  • detectron2_config_args (dict, необязательный) — Словарь, содержащий аргументы конфигурации визуального бэкбона Detectron2. Подробности о значениях по умолчанию см. в этом файле.

Это класс конфигурации для хранения настроек модели LayoutxlmModel. Он используется для создания экземпляра модели Layoutxlm в соответствии с указанными аргументами, определяющими архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации microsoft/layoutxlm-base

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Пример:

>>> from transformers import LayoutXLMConfig, LayoutXLMModel

>>> # Initializing a LayoutXLM microsoft/layoutxlm-base style configuration
>>> configuration = LayoutXLMConfig()

>>> # Initializing a model (with random weights) from the microsoft/layoutxlm-base style configuration
>>> model = LayoutXLMModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

LayoutXLMTokenizer

класс transformers.LayoutXLMTokenizer

< >

( vocab: str | list | None = Nonebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'cls_token_box = [0, 0, 0, 0]sep_token_box = [1000, 1000, 1000, 1000]pad_token_box = [0, 0, 0, 0]pad_token_label = -100only_label_first_subword = Trueadd_prefix_space = True**kwargs )

Параметры

  • vocab (str, dict или list, необязательный) — Словарь токенизатора в виде пути, словаря или списка кортежей (token, score).
  • bos_token (str, необязательный, по умолчанию "<s>") — Токен начала последовательности, использовавшийся при предварительном обучении. Может использоваться в качестве токена классификатора последовательности. При построении последовательности с помощью специальных токенов этот токен не используется для обозначения начала последовательности. Вместо него используется cls_token.

    При построении последовательности с использованием специальных токенов этот токен не используется для начала последовательности. В качестве токена начала последовательности используется cls_token.

  • eos_token (str, необязательный, по умолчанию "</s>") — Токен конца последовательности. При построении последовательности с использованием специальных токенов этот токен не используется для обозначения конца последовательности. Вместо него используется sep_token.

    При построении последовательности с использованием специальных токенов для обозначения конца последовательности не используется этот токен. Используется токен sep_token.

  • sep_token (str, необязательный, по умолчанию "</s>") — Токен-разделитель, который используется при построении последовательности из нескольких последовательностей, например, двух последовательностей для классификации последовательностей или текста и вопроса для ответа на вопросы. Он также используется в качестве последнего токена в последовательности, построенной со специальными токенами.
  • cls_token (str, необязательный, по умолчанию "<s>") — Токен классификатора, используемый при классификации последовательности (классификация всей последовательности, а не посимвольная классификация). Это первый токен последовательности, если она построена со специальными токенами.
  • unk_token (str, необязательный, по умолчанию "<unk>") — Токен неизвестного слова. Токен, отсутствующий в словаре, не может быть преобразован в ID, поэтому вместо него используется этот токен.
  • pad_token (str, необязательный, по умолчанию "<pad>") — Токен, используемый для выравнивания, например, при пакетной обработке последовательностей разной длины.
  • mask_token (str, необязательный, по умолчанию "<mask>") — Токен, используемый для маскирования значений. Это тот токен, который применяется при обучении модели с использованием masked language modeling. Именно этот токен модель будет пытаться предсказать.
  • cls_token_box (list[int], необязательный, по умолчанию [0, 0, 0, 0]) — Ограничивающая рамка, используемая для специального токена [CLS].
  • sep_token_box (list[int], необязательный, по умолчанию [1000, 1000, 1000, 1000]) — Ограничивающая рамка, используемая для специального токена [SEP].
  • pad_token_box (list[int], необязательный, по умолчанию [0, 0, 0, 0]) — Ограничивающая рамка, используемая для специального токена [PAD].
  • pad_token_label (int, необязательный, по умолчанию -100) — Метка, используемая для токенов отступов. По умолчанию -100, что соответствует ignore_index в PyTorch CrossEntropyLoss.
  • only_label_first_subword (bool, необязательный, по умолчанию True) — Определяет, следует ли размечать только первый сабворд, если предоставлены метки слов.
  • add_prefix_space (bool, необязательный, по умолчанию True) — Добавлять ли начальный пробел к входным данным.
  • additional_special_tokens (list[str], необязательный, по умолчанию ["<s>NOTUSED", "</s>NOTUSED"]) — Дополнительные специальные токены, используемые токенизатором.

Создаёт «быстрый» токенизатор LayoutXLM (на базе библиотеки tokenizers от HuggingFace). Адаптирован из RobertaTokenizer и XLNetTokenizer. Основан на BPE.

Этот токенизатор наследуется от TokenizersBackend, который содержит большинство основных методов. За дополнительной информацией об этих методах следует обращаться к этому суперклассу.

__call__

< >

( text: str | list[str] | list[list[str]]text_pair: list[str] | list[list[str]] | None = Noneboxes: list[list[int]] | list[list[list[int]]] | None = Noneword_labels: list[int] | list[list[int]] | None = Noneadd_special_tokens: bool = Truepadding: bool | str | transformers.utils.generic.PaddingStrategy = Falsetruncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy | None = Nonemax_length: int | None = Nonestride: int = 0pad_to_multiple_of: int | None = Nonepadding_side: str | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonereturn_token_type_ids: bool | None = Nonereturn_attention_mask: bool | None = Nonereturn_overflowing_tokens: bool = Falsereturn_special_tokens_mask: bool = Falsereturn_offsets_mapping: bool = Falsereturn_length: bool = Falseverbose: bool = True**kwargs ) → BatchEncoding

Параметры

  • text (str, list[str], list[list[str]]) — Последовательность или батч последовательностей, подлежащих кодированию. Каждая последовательность может быть строкой, списком строк (слова одного примера или вопросы батча примеров) или списком списков строк (батч слов).
  • text_pair (list[str], list[list[str]]) — Последовательность или батч последовательностей для кодирования. Каждая последовательность должна быть списком строк (предварительно токенизированных строк).
  • boxes (list[list[int]], list[list[list[int]]]) — Ограничивающие рамки на уровне слов. Каждая рамка должна быть нормализована в диапазоне от 0 до 1000.
  • word_labels (list[int], list[list[int]], необязательный) — Целочисленные метки на уровне слов (для задач классификации токенов, таких как FUNSD, CORD).
  • add_special_tokens (bool, необязательный, по умолчанию True) — Указывает, следует ли кодировать последовательности с использованием специальных токенов, соответствующих их модели.
  • padding (bool, str или PaddingStrategy, необязательный, по умолчанию False) — Включает и управляет выравниванием. Принимает следующие значения:
    • True или 'longest': дополнить до самой длинной последовательности в батче (или не дополнять, если предоставлена только одна последовательность).
    • 'max_length': Дополнить до максимальной длины, указанной аргументом max_length, или до максимально допустимой длины входных данных для модели, если этот аргумент не указан.
    • False или 'do_not_pad' (по умолчанию): без дополнения нулями (т. е. может выводить батч с последовательностями разной длины).
  • truncation (bool, str или TruncationStrategy, необязательный, по умолчанию False) — Включает и управляет усечением. Принимает следующие значения:
    • True или 'longest_first': обрезка до максимальной длины, заданной аргументом max_length, или до максимально допустимой длины входа для модели, если этот аргумент не указан. Обрезка выполняется посимвольно: если предоставлена пара последовательностей (или батч пар), то токен удаляется из самой длинной последовательности в паре.
    • 'only_first': Обрезка до максимальной длины, указанной аргументом max_length, или до максимально допустимой длины входа для модели, если этот аргумент не задан. Если предоставлена пара последовательностей (или батч пар), будет обрезана только первая последовательность пары.
    • 'only_second': Обрезка до максимальной длины, указанной аргументом max_length, или до максимальной допустимой длины входа для модели, если этот аргумент не задан. Это приводит к обрезке только второй последовательности в паре, если предоставлена пара последовательностей (или батч пар).
    • False или 'do_not_truncate' (по умолчанию): без усечения (т.е. может выдать батч с длиной последовательности, превышающей максимальный допустимый размер входа модели).
  • max_length (int, необязательный) — Управляет максимальной длиной, используемой одним из параметров усечения/дополнения.

    Если параметр не задан или установлен в None, будет использована предопределённая максимальная длина модели, если одна из параметров усечения/дополнения требует указания максимальной длины. Если у модели нет конкретной максимальной длины входных данных (как у XLNet), усечение/дополнение до максимальной длины будет отключено.

  • stride (int, необязательный, по умолчанию 0) — Если задано число вместе с max_length, то переполненные токены, возвращаемые при return_overflowing_tokens=True, будут содержать некоторые токены из конца усечённой последовательности, чтобы обеспечить перекрытие между усечённой и переполненной последовательностями. Значение этого аргумента определяет количество перекрывающихся токенов.
  • pad_to_multiple_of (int, необязательный) — Если задано, последовательность будет дополнена до кратного указанного значения. Это особенно полезно для использования Tensor Cores на оборудовании NVIDIA с вычислительной способностью >= 7.5 (Volta).
  • return_tensors (str или TensorType, необязательный) — Если задано, возвращает тензоры вместо списка целых чисел Python. Допустимые значения:
    • 'pt': возвращает объекты torch.Tensor PyTorch.
    • 'np': возвращает объекты Numpy np.ndarray.
  • return_token_type_ids (bool, необязательный) — Возвращать ли идентификаторы типов токенов. Если значение не указано, идентификаторы типов токенов будут возвращены в соответствии со значением по умолчанию для конкретного токенизатора, заданным атрибутом return_outputs .

    Что такое идентификаторы типов токенов?

  • return_attention_mask (bool, необязательный) — Возвращать ли маску внимания. Если значение не указано, маска внимания будет возвращена в соответствии со значением по умолчанию для конкретного токенизатора, определяемым атрибутом return_outputs .

    Что такое маски внимания?

  • return_overflowing_tokens (bool, необязательный, по умолчанию False) — Возвращать ли последовательности токенов, выходящие за пределы длины. Если передается пара последовательностей входных идентификаторов (или батч пар) с truncation_strategy = longest_first или True, вместо возврата переполненных токенов будет выброшена ошибка.
  • return_special_tokens_mask (bool, необязательный, по умолчанию False) — Возвращать ли информацию о маске специальных токенов.
  • return_offsets_mapping (bool, необязательный, по умолчанию False) — Возвращать ли (char_start, char_end) для каждого токена.

    Это доступно только для быстрых токенизаторов, наследующих от PreTrainedTokenizerFast. Если используется токенизатор на Python, этот метод вызовет NotImplementedError.

  • return_length (bool, необязательный, по умолчанию False) — Возвращать ли длины закодированных входных данных.
  • verbose (bool, необязательный, по умолчанию True) — Выводить ли дополнительную информацию и предупреждения.
  • **kwargs — передаются в метод self.tokenize()

Возвращает

BatchEncoding

BatchEncoding со следующими полями:

  • input_ids — список идентификаторов токенов, которые передаются в модель.

    Что такое входные идентификаторы?

  • bbox — список ограничивающих прямоугольников, передаваемых в модель.

  • token_type_ids — список идентификаторов типов токенов, передаваемых в модель (если return_token_type_ids=True или если “token_type_ids” входит в self.model_input_names).

    Что такое идентификаторы типов токенов?

  • attention_mask — список индексов, указывающих, на какие токены модель должна обращать внимание (когда return_attention_mask=True или если “attention_mask” входит в self.model_input_names).

    Что такое маски внимания?

  • labels — список меток, которые передаются в модель (если задан word_labels).

  • overflowing_tokens — список переполненных последовательностей токенов (если указано max_length и return_overflowing_tokens=True).

  • num_truncated_tokens — количество отсечённых токенов (если указано max_length и return_overflowing_tokens=True).

  • special_tokens_mask — список нулей и единиц, где 1 указывает на добавленные специальные токены, а 0 — на обычные токены последовательности (когда add_special_tokens=True и return_special_tokens_mask=True).

  • length — длина входных данных (когда return_length=True).

Основной метод для токенизации и подготовки одной или нескольких последовательностей или одной или нескольких пар последовательностей с нормализованными ограничивающими рамками на уровне слов и необязательными метками для модели.

build_inputs_with_special_tokens

< >

( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]

Параметры

  • token_ids_0 (list[int]) — Список идентификаторов, к которым будут добавлены специальные токены.
  • token_ids_1 (list[int], необязательный) — Необязательный второй список идентификаторов для пар последовательностей.

Возвращает

list[int]

Список идентификаторов входных токенов с соответствующими специальными токенами.

Создайте входные данные модели из последовательности или пары последовательностей для задач классификации последовательностей, объединяя их и добавляя специальные токены. Последовательность XLM-RoBERTa имеет следующий формат:

  • одна последовательность: <s> X </s>
  • пара последовательностей: <s> A </s></s> B </s>

get_special_tokens_mask

< >

( token_ids_0: list[int]token_ids_1: list[int] | None = Nonealready_has_special_tokens: bool = False ) → A list of integers in the range [0, 1]

Параметры

  • token_ids_0 — список идентификаторов для (возможно, уже отформатированной) последовательности.
  • token_ids_1 — Не используется, если already_has_special_tokens=True. В этом случае должно быть None.
  • already_has_special_tokens — Указывает, содержит ли последовательность уже отформатированные специальные токены.

Возвращает

Список целых чисел в диапазоне [0, 1]

1 для специального токена, 0 для токена последовательности.

Получить идентификаторы последовательностей из списка токенов, в который не добавлены специальные токены.

Для быстрых токенизаторов коллабораторы данных вызывают этот метод с already_has_special_tokens=True, чтобы построить маску для уже отформатированной последовательности. В этом случае мы вычисляем маску, проверяя принадлежность элементов к all_special_ids.

create_token_type_ids_from_sequences

< >

( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]

Параметры

  • token_ids_0 (list[int]) — Список идентификаторов.
  • token_ids_1 (list[int], необязательный) — Необязательный второй список идентификаторов для пар последовательностей.

Возвращает

list[int]

Список нулей.

Создаёт маску на основе двух переданных последовательностей для использования в задаче классификации пар последовательностей. XLM-RoBERTa не использует идентификаторы типов токенов, поэтому возвращается список нулей.

save_vocabulary

< >

( save_directory: strfilename_prefix: str | None = None )

LayoutXLMProcessor

класс transformers.LayoutXLMProcessor

< >

( image_processor = Nonetokenizer = None**kwargs )

Параметры

  • image_processor (LayoutLMv2ImageProcessor) — Обработчик изображений является обязательным входным параметром.
  • tokenizer (LayoutXLMTokenizer) — Токенизатор является обязательным входным параметром.

Создаёт LayoutXLMProcessor, который объединяет процессор изображений и токенизатор в единый процессор.

LayoutXLMProcessor предоставляет все возможности LayoutLMv2ImageProcessor и LayoutXLMTokenizer. Подробнее см. в документации ~LayoutLMv2ImageProcessor и ~LayoutXLMTokenizer.

__call__

< >

( imagestext: str | list[str] | list[list[str]] = Nonetext_pair: list[str] | list[list[str]] | None = Noneboxes: list[list[int]] | list[list[list[int]]] | None = Noneword_labels: list[int] | list[list[int]] | None = Noneadd_special_tokens: bool = Truepadding: bool | str | transformers.utils.generic.PaddingStrategy = Falsetruncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy = Nonemax_length: int | None = Nonestride: int = 0pad_to_multiple_of: int | None = Nonereturn_token_type_ids: bool | None = Nonereturn_attention_mask: bool | None = Nonereturn_overflowing_tokens: bool = Falsereturn_special_tokens_mask: bool = Falsereturn_offsets_mapping: bool = Falsereturn_length: bool = Falseverbose: bool = Truereturn_tensors: str | transformers.utils.generic.TensorType | None = None**kwargs ) → ~tokenization_utils_base.BatchEncoding

Параметры

  • images (`) -- Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set do_rescale=False`.
  • text (Union[str, list[str], list[list[str]]], необязательный) — Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предварительно токенизированная строка). Если вы передаёте предварительно токенизированный вход, установите is_split_into_words=True, чтобы избежать неоднозначности с батчированными входами.
  • text_pair (str, list[str] or list[int], необязательный) — Необязательная вторая последовательность для кодирования. Может быть строкой, списком строк (токенизированная строка с использованием метода tokenize) или списком целых чисел (идентификаторы токенов строки, полученные с помощью метода convert_tokens_to_ids).
  • boxes (list[list[int]] or list[list[list[int]]], необязательный) — Ограничивающие рамки на уровне слов. Каждая рамка должна быть нормализована в диапазоне от 0 до 1000.
  • word_labels (list[int] or list[list[int]], необязательный) — Целочисленные метки на уровне слов (для задач классификации токенов, таких как FUNSD, CORD).
  • add_special_tokens (bool, необязательный, по умолчанию True) — Указывает, следует ли добавлять специальные токены при кодировании последовательностей. Для этого используется базовая функция PretrainedTokenizerBase.build_inputs_with_special_tokens, которая определяет, какие токены автоматически добавляются к входным идентификаторам. Это полезно, если вы хотите автоматически добавлять токены bos или eos.
  • padding (bool, str или PaddingStrategy, необязательный, по умолчанию False) — Включает и управляет выравниванием. Принимает следующие значения:
    • True или 'longest': дополнить до самой длинной последовательности в батче (или не дополнять, если предоставлена только одна последовательность).
    • 'max_length': Дополнить до максимальной длины, указанной аргументом max_length, или до максимально допустимой длины входных данных для модели, если этот аргумент не указан.
    • False или 'do_not_pad' (по умолчанию): без дополнения нулями (т. е. может выводить батч с последовательностями разной длины).
  • truncation (bool, str или TruncationStrategy, необязательно) — Включает и управляет усечением. Принимает следующие значения:
    • True или 'longest_first': обрезка до максимальной длины, заданной аргументом max_length, или до максимально допустимой длины входа для модели, если этот аргумент не указан. Обрезка выполняется посимвольно: если предоставлена пара последовательностей (или батч пар), то токен удаляется из самой длинной последовательности в паре.
    • 'only_first': Обрезка до максимальной длины, указанной аргументом max_length, или до максимально допустимой длины входа для модели, если этот аргумент не задан. Если предоставлена пара последовательностей (или батч пар), будет обрезана только первая последовательность пары.
    • 'only_second': Обрезка до максимальной длины, указанной аргументом max_length, или до максимальной допустимой длины входа для модели, если этот аргумент не задан. Это приводит к обрезке только второй последовательности в паре, если предоставлена пара последовательностей (или батч пар).
    • False или 'do_not_truncate' (по умолчанию): без усечения (т.е. может выдать батч с длиной последовательности, превышающей максимальный допустимый размер входа модели).
  • max_length (int, необязательный) — Управляет максимальной длиной, используемой одним из параметров усечения/дополнения.

    Если параметр не задан или установлен в None, будет использована предопределённая максимальная длина модели, если одна из параметров усечения/дополнения требует указания максимальной длины. Если у модели нет конкретной максимальной длины входных данных (как у XLNet), усечение/дополнение до максимальной длины будет отключено.

  • stride (int, необязательный, по умолчанию 0) — Если задано число вместе с max_length, то переполненные токены, возвращаемые при return_overflowing_tokens=True, будут содержать некоторые токены из конца усечённой последовательности, чтобы обеспечить перекрытие между усечённой и переполненной последовательностями. Значение этого аргумента определяет количество перекрывающихся токенов.
  • pad_to_multiple_of (int, необязательный) — Если задано, последовательность будет дополнена до кратного указанного значения. Требуется, чтобы padding был активирован. Это особенно полезно для использования Tensor Cores на аппаратных средствах NVIDIA с вычислительной способностью >= 7.5 (Volta).
  • return_token_type_ids (bool, необязательный) — Возвращать ли идентификаторы типов токенов. Если значение не указано, идентификаторы типов токенов будут возвращены в соответствии со значением по умолчанию для конкретного токенизатора, заданным атрибутом return_outputs .

    Что такое идентификаторы типов токенов?

  • return_attention_mask (bool, необязательный) — Возвращать ли маску внимания. Если значение не указано, маска внимания будет возвращена в соответствии со значением по умолчанию для конкретного токенизатора, определяемым атрибутом return_outputs .

    Что такое маски внимания?

  • return_overflowing_tokens (bool, необязательный, по умолчанию False) — Возвращать ли последовательности токенов, выходящие за пределы длины. Если передается пара последовательностей входных идентификаторов (или батч пар) с truncation_strategy = longest_first или True, вместо возврата переполненных токенов будет выброшена ошибка.
  • return_special_tokens_mask (bool, необязательный, по умолчанию False) — Возвращать ли информацию о маске специальных токенов.
  • return_offsets_mapping (bool, необязательный, по умолчанию False) — Возвращать ли (char_start, char_end) для каждого токена.

    Это доступно только для быстрых токенизаторов, наследующих от PreTrainedTokenizerFast. Если используется токенизатор на Python, этот метод вызовет NotImplementedError.

  • return_length (bool, необязательный, по умолчанию False) — Возвращать ли длины закодированных входных данных.
  • verbose (bool, необязательный, по умолчанию True) — Выводить ли дополнительную информацию и предупреждения.
  • return_tensors (Union[str, ~utils.generic.TensorType], необязательный) — Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:
    • 'pt': возвращает объекты torch.Tensor PyTorch.
    • 'np': возвращает объекты NumPy np.ndarray.

Возвращает

~tokenization_utils_base.BatchEncoding

  • data (dict, необязательный) — Словарь списков/массивов/тензоров, возвращаемый методами __call__/encode_plus/batch_encode_plus (‘input_ids’, ‘attention_mask’ и т. д.).
  • encoding (tokenizers.Encoding или Sequence[tokenizers.Encoding], необязательный) — если токенизатор является быстрым и выводит дополнительную информацию, например, отображение из пространства слов/символов в пространство токенов, то экземпляр tokenizers.Encoding или список экземпляров (для батчей) содержит эту информацию.
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.
  • prepend_batch_axis (bool, необязательный, по умолчанию False) — добавлять ли ось батча при преобразовании в тензоры (см. tensor_type выше). Обратите внимание, что этот параметр влияет на результат, если параметр tensor_type задан, в противном случае он не имеет значения.
  • n_sequences (int, необязательный) — количество входных последовательностей, представленных каждым кодированием (None — неизвестно, 1 — одна последовательность, 2 — пара последовательностей).
Update on GitHub

←LayoutLMV3 LFM2-VL→