Hugging Face's logo

Transformers documentation

MaskFormer

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была опубликована в HF papers 13.07.2021 и добавлена в Hugging Face Transformers 02.03.2022.

MaskFormer

Эта модель была представлена недавно, поэтому API не был протестирован в полной мере. В будущем могут потребоваться исправления некоторых ошибок или незначительных несовместимых изменений. Если вы обнаружите что-то странное, создайте Github Issue.

Обзор

The MaskFormer model was proposed in Per-Pixel Classification is Not All You Need for Semantic Segmentation by Bowen Cheng, Alexander G. Schwing, Alexander Kirillov. MaskFormer addresses semantic segmentation with a mask classification paradigm instead of performing classic pixel-level classification.

Аннотация из статьи следующая:

Современные подходы, как правило, формулируют семантическую сегментацию как задачу классификации для каждого пикселя, тогда как сегментация на уровне экземпляров решается с помощью альтернативной классификации масок. Ключевое наблюдение: классификация масок достаточно универсальна, чтобы решать задачи семантической и сегментации на уровне экземпляров единым образом, используя одну и ту же модель, функцию потерь и процедуру обучения. Опираясь на это наблюдение, мы предлагаем MaskFormer — простую модель классификации масок, которая предсказывает набор бинарных масок, каждая из которых связана с одним глобальным предсказанием класса. В целом, предложенный метод на основе классификации масок упрощает ландшафт эффективных подходов к задачам семантической и паноптической сегментации и демонстрирует отличные эмпирические результаты. В частности, мы наблюдаем, что MaskFormer превосходит базовые методы классификации для каждого пикселя, когда количество классов велико. Наш метод на основе классификации масок превосходит как текущие передовые модели семантической (55,6 mIoU на ADE20K), так и паноптической сегментации (52,7 PQ на COCO).

На рисунке ниже представлена архитектура MaskFormer. Источник — оригинальная статья.

Эта модель была предоставлена francesco. Исходный код можно найти здесь.

Советы по использованию

  • Трансформерный декодер MaskFormer идентичен декодеру DETR. Во время обучения авторы DETR обнаружили, что использование вспомогательных потерь в декодере помогает модели, в частности, выводить правильное количество объектов каждого класса. Если установить параметр use_auxiliary_loss в MaskFormerConfig в значение True, то после каждого слоя декодера добавляются предсказательные нейронные сети с прямой передачей и венгерские потери (при этом FFN разделяют параметры).
  • Если вы хотите обучать модель в распределённой среде на нескольких узлах, необходимо обновить функцию get_num_masks внутри класса MaskFormerLoss в файле modeling_maskformer.py. При обучении на нескольких узлах это значение должно быть установлено как среднее количество целевых масок по всем узлам, как показано в исходной реализации здесь.
  • Можно использовать MaskFormerImageProcessor для подготовки изображений для модели и необязательных целевых значений.
  • Чтобы получить итоговую сегментацию, в зависимости от задачи можно вызвать post_process_semantic_segmentation() или post_process_panoptic_segmentation(). Обе задачи можно решить с помощью вывода MaskFormerForInstanceSegmentation; паноптическая сегментация принимает необязательный аргумент label_ids_to_fuse для объединения инстансов целевого объекта/объектов (например, неба).

Ресурсы

Image Segmentation
  • Все ноутбуки, демонстрирующие выполнение инференса, а также дообучение на собственных данных с помощью MaskFormer, можно найти здесь.

Специфические для MaskFormer выходные данные

класс transformers.models.maskformer.modeling_maskformer.MaskFormerModelOutput

< >

( encoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonepixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonetransformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor] | None = Nonepixel_decoder_hidden_states: tuple[torch.Tensor] | None = Nonetransformer_decoder_hidden_states: tuple[torch.Tensor] | None = Nonehidden_states: tuple[torch.Tensor] | None = Noneattentions: tuple[torch.Tensor] | None = None )

Параметры

  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели-энкодера (backbone).
  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера (FPN).
  • transformer_decoder_last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели декодера трансформера.
  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-кодировщика на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
  • hidden_states tuple(torch.Tensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж torch.Tensor, содержащий encoder_hidden_states, pixel_decoder_hidden_states и decoder_hidden_states
  • hidden_states (tuple[torch.Tensor], необязательный, возвращается, если output_hidden_states=True передан или если config.output_hidden_states=True) — кортеж torch.Tensor (по одному для вывода слоя встраиваний, если модель имеет слой встраиваний, + по одному для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple[torch.Tensor], необязательный, возвращается, если output_attentions=True передан или если config.output_attentions=True) — Кортеж torch.Tensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Класс для результатов работы MaskFormerModel. Этот класс возвращает все необходимые скрытые состояния для вычисления логитов.

класс transformers.models.maskformer.modeling_maskformer.MaskFormerForInstanceSegmentationOutput

< >

( loss: typing.Optional[torch.Tensor] = Noneclass_queries_logits: typing.Optional[torch.Tensor] = Nonemasks_queries_logits: typing.Optional[torch.Tensor] = Noneauxiliary_logits: typing.Optional[torch.Tensor] = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonepixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonetransformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor] | None = Nonepixel_decoder_hidden_states: tuple[torch.Tensor] | None = Nonetransformer_decoder_hidden_states: tuple[torch.Tensor] | None = Nonehidden_states: tuple[torch.Tensor] | None = Noneattentions: tuple[torch.Tensor] | None = None )

Параметры

  • loss (torch.Tensor, необязательный) — Вычисленная величина потерь, возвращается при наличии меток.
  • class_queries_logits (torch.Tensor, необязательный) — Тензор формы (batch_size, num_queries, num_labels + 1), представляющий предложенные классы для каждого запроса. Обратите внимание, что + 1 необходимо, так как мы учитываем нулевой класс.
  • masks_queries_logits (torch.Tensor, необязательный) — Тензор формы (batch_size, num_queries, height, width), представляющий предложенные маски для каждого запроса.
  • auxiliary_logits (Dict[str, torch.Tensor], необязательный, возвращается при output_auxiliary_logits=True) — Словарь, содержащий вспомогательные предсказания для каждого слоя декодера, если включены вспомогательные функции потерь.
  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели-энкодера (backbone).
  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера (FPN).
  • transformer_decoder_last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели декодера трансформера.
  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-кодировщика на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния декодера трансформера на выходе каждого этапа.
  • hidden_states tuple(torch.Tensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж torch.Tensor, содержащий encoder_hidden_states, pixel_decoder_hidden_states и decoder_hidden_states.
  • hidden_states (tuple[torch.Tensor], необязательный, возвращается, если output_hidden_states=True передан или если config.output_hidden_states=True) — кортеж torch.Tensor (по одному для вывода слоя встраиваний, если модель имеет слой встраиваний, + по одному для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple[torch.Tensor], необязательный, возвращается, если output_attentions=True передан или если config.output_attentions=True) — Кортеж torch.Tensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Класс для выходов MaskFormerForInstanceSegmentation.

Этот вывод можно непосредственно передать в post_process_semantic_segmentation() или post_process_instance_segmentation() или post_process_panoptic_segmentation() в зависимости от задачи. Подробности об использовании см. в документации к [`~MaskFormerImageProcessor].

MaskFormerDetrConfig

класс transformers.MaskFormerDetrConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonenum_channels: int = 3num_queries: int = 100encoder_layers: int = 6encoder_ffn_dim: int = 2048encoder_attention_heads: int = 8decoder_layers: int = 6decoder_ffn_dim: int = 2048decoder_attention_heads: int = 8encoder_layerdrop: float | int = 0.0decoder_layerdrop: float | int = 0.0activation_function: str = 'relu'd_model: int = 256dropout: float | int = 0.1attention_dropout: float | int = 0.0activation_dropout: float | int = 0.0init_std: float = 0.02init_xavier_std: float = 1.0auxiliary_loss: bool = Falseposition_embedding_type: str = 'sine'dilation: bool = Falseclass_cost: int = 1bbox_cost: int = 5giou_cost: int = 2mask_loss_coefficient: int = 1dice_loss_coefficient: int = 1bbox_loss_coefficient: int = 5giou_loss_coefficient: int = 2eos_coefficient: float = 0.1 )

Параметры

  • is_encoder_decoder (bool, необязательный, по умолчанию True) — Указывает, используется ли модель в качестве энкодера/декодера.
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Конфигурация модели-бэкбона.
  • num_channels (int, необязательный, по умолчанию 3) — Количество входных каналов.
  • num_queries (int, необязательный, по умолчанию 100) — Количество запросов объектов, то есть слотов для обнаружения. Это максимальное число объектов, которые ConditionalDetrModel может обнаружить на одном изображении. Для COCO рекомендуется использовать 100 запросов.
  • encoder_layers (int, необязательный, по умолчанию 6) — Количество скрытых слоев в кодере Transformer. Если не задано, используется то же значение, что и у num_layers.
  • encoder_ffn_dim (int, необязательный, по умолчанию 2048) — Размерность «промежуточного» (часто называемого feed-forward) слоя в энкодере.
  • encoder_attention_heads (int, необязательный, по умолчанию 8) — Количество голок внимания в каждом слое внимания в кодере Transformer.
  • decoder_layers (int, необязательный, по умолчанию 6) — Количество скрытых слоев в декодере Transformer. Если не задано, будет использовано то же значение, что и у num_layers.
  • decoder_ffn_dim (int, необязательный, по умолчанию 2048) — Размерность «промежуточного» (часто называемого feed-forward) слоя в декодере.
  • decoder_attention_heads (int, необязательный, по умолчанию 8) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • encoder_layerdrop (Union[float, int], необязательный, по умолчанию 0.0) — Вероятность LayerDrop для энкодера. Подробности — в [статье о LayerDrop](см. https://huggingface.co/papers/1909.11556).
  • decoder_layerdrop (Union[float, int], необязательный, по умолчанию 0.0) — Вероятность LayerDrop для декодера. Подробности — в [статье о LayerDrop](см. https://huggingface.co/papers/1909.11556).
  • activation_function (str, необязательный, по умолчанию relu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
  • d_model (int, необязательный, по умолчанию 256) — Размер слоев кодировщика и пулера.
  • dropout (Union[float, int], необязательный, по умолчанию 0.1) — Коэффициент для всех слоёв dropout.
  • attention_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
  • activation_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для активаций внутри полносвязного слоя.
  • init_std (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.
  • init_xavier_std (float, необязательный, по умолчанию 1.0) — Коэффициент масштабирования, используемый для инициализации кросс-внимания по методу Ксавье.
  • auxiliary_loss (bool, необязательный, по умолчанию False) — Использовать ли вспомогательные потери декодирования (потери на каждом слое декодера).
  • position_embedding_type (str, необязательный, по умолчанию "sine") — Тип позиционных эмбеддингов, применяемых поверх признаков изображения. Одно из значений: "sine" или "learned".
  • dilation (bool, необязательный, по умолчанию False) — Определяет, следует ли заменить stride на dilation в последнем свёрточном блоке (DC5). Поддерживается только при use_timm_backbone = True.
  • class_cost (int, необязательный, по умолчанию 1) — Относительный вес ошибки классификации в стоимости венгерского сопоставления.
  • bbox_cost (int, необязательный, по умолчанию 5) — Относительный вес ошибки L1 для ограничивающих прямоугольников в стоимости венгерского сопоставления.
  • giou_cost (int, необязательный, по умолчанию 2) — Относительный вес потерь обобщённого IoU в стоимости венгерского сопоставления.
  • mask_loss_coefficient (int, необязательный, по умолчанию 1) — Относительный вес фокальной функции потерь в функции потерь паноптической сегментации.
  • dice_loss_coefficient (int, необязательный, по умолчанию 1) — Относительный вес функции потерь dice в функции потерь паноптической сегментации.
  • bbox_loss_coefficient (int, необязательный, по умолчанию 5) — Относительный вес потерь L1 для ограничивающих прямоугольников в потере панорамной сегментации.
  • giou_loss_coefficient (int, необязательный, по умолчанию 2) — Относительный вес функции потерь обобщённого IoU в функции потерь паноптической сегментации.
  • eos_coefficient (float, необязательный, по умолчанию 0.1) — Относительный вес класса «объект отсутствует» в функции потерь обнаружения объектов.

Это класс конфигурации для хранения конфигурации модели MaskFormerModel. Он используется для создания модели Maskformer в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации facebook/maskformer-swin-base-ade

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Примеры:

>>> from transformers import MaskFormerDetrConfig, MaskFormerDetrModel

>>> # Initializing a MASK_FORMER_DETR facebook/mask_former_detr-resnet-50 style configuration
>>> configuration = MaskFormerDetrConfig()

>>> # Initializing a model (with random weights) from the facebook/mask_former_detr-resnet-50 style configuration
>>> model = MaskFormerDetrModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

MaskFormerConfig

класс transformers.MaskFormerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonefpn_feature_size: int = 256mask_feature_size: int = 256no_object_weight: float = 0.1use_auxiliary_loss: bool = Falsebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonedecoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneinit_std: float = 0.02init_xavier_std: float = 1.0dice_weight: float = 1.0cross_entropy_weight: float = 1.0mask_weight: float = 20.0output_auxiliary_logits: bool | None = None )

Параметры

  • fpn_feature_size (int, необязательный, по умолчанию 256) — Размер признаков сети Feature Pyramid Network.
  • mask_feature_size (int, необязательный, по умолчанию 256) — Размер признаков масок; это значение также используется для указания размера признаков Feature Pyramid Network.
  • no_object_weight (float, необязательный, по умолчанию 0.1) — Относительный вес класса «объект отсутствует» в функции потерь обнаружения объектов.
  • use_auxiliary_loss (bool, необязательный, по умолчанию False) — Следует ли вычислять потерю с использованием промежуточных предсказаний декодера трансформера.
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Конфигурация модели-бэкбона.
  • decoder_config (Dict, необязательный) — Конфигурация, передаваемая в модель декодера трансформера. Если не задана, будет использована базовая конфигурация для detr-resnet-50.
  • init_std (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.
  • init_xavier_std (float, необязательный, по умолчанию 1.0) — Коэффициент масштабирования, используемый для инициализации кросс-внимания по методу Ксавье.
  • dice_weight (float, необязательный, по умолчанию 1.0) — Относительный вес функции потерь dice в функции потерь паноптической сегментации.
  • cross_entropy_weight (float, необязательный, по умолчанию 1.0) — Вес для функции потерь кросс-энтропии.
  • mask_weight (float, необязательный, по умолчанию 20.0) — Относительный вес фокальной функции потерь в функции потерь паноптической сегментации.
  • output_auxiliary_logits (bool, необязательный) — Указывает, должен ли модель выводить auxiliary_logits.

Исключения

ValueError

  • ValueError — выбрасывается, если выбранный тип модели-бэкбона не входит в ["swin"] или выбранный тип модели-декодера не входит в ["detr"]

Это класс конфигурации для хранения конфигурации модели MaskFormerModel. Он используется для создания модели Maskformer в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации facebook/maskformer-swin-base-ade

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Примеры:

>>> from transformers import MaskFormerConfig, MaskFormerModel

>>> # Initializing a MaskFormer facebook/maskformer-swin-base-ade configuration
>>> configuration = MaskFormerConfig()

>>> # Initializing a model (with random weights) from the facebook/maskformer-swin-base-ade style configuration
>>> model = MaskFormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

MaskFormerImageProcessor

класс transformers.MaskFormerImageProcessor

< >

( **kwargs: *<class 'transformers.models.maskformer.image_processing_maskformer.MaskFormerImageProcessorKwargs'> )

Параметры

  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional, по умолчанию True) — Указывает, нужно ли изменять размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию {'shortest_edge' -- 800, 'longest_edge': 1333}): Определяет максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional, по умолчанию False) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию 2) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли выполнять рескейлинг изображения.
  • rescale_factor (float, kwargs, optional, по умолчанию 0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.485, 0.456, 0.406]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.229, 0.224, 0.225]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (SizeDict, kwargs, optional) — Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображений, переданного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • ignore_index (int, kwargs, optional) — Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на ignore_index.
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в число всех классов набора (например, ADE20k). Метка фона будет заменена на ignore_index.
  • num_labels (int, kwargs, optional) — Количество меток в карте сегментации.
  • size_divisor (int, kwargs, optional, по умолчанию 32) — Некоторые backbones требуют, чтобы размеры изображений делились на определённое число. Если параметр не передан, используется значение, применяемое в Swin Transformer.

Создаёт процессор изображений MaskFormerImageProcessor.

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.maskformer.image_processing_maskformer.MaskFormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
  • segmentation_maps (ImageInput, необязательный) — Сегментационные карты.
  • instance_id_to_semantic_id (Union[list[dict[int, int]], dict[int, int]], необязательный) — Сопоставление идентификаторов экземпляров с семантическими идентификаторами.
  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
  • rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (SizeDict, kwargs, optional) — Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображений, переданного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • ignore_index (int, kwargs, optional) — Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на ignore_index.
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в число всех классов набора (например, ADE20k). Метка фона будет заменена на ignore_index.
  • num_labels (int, kwargs, optional) — Количество меток в карте сегментации.
  • size_divisor (int, kwargs, optional, по умолчанию 32) — Некоторые backbones требуют, чтобы размеры изображений делились на определённое число. Если параметр не передан, используется значение, применяемое в Swin Transformer.

Возвращает

~image_processing_base.BatchFeature

  • data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

post_process_semantic_segmentation

< >

( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Параметры

  • outputs (MaskFormerForInstanceSegmentation) — Сырые выходные данные модели.
  • target_sizes (list[tuple[int, int]], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_segmentation_scores (bool, необязательный, по умолчанию False) — Определяет, следует ли возвращать оценки сегментации вместе с картой сегментации. Если True, каждый элемент возвращаемого списка представляет собой SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)).

Возвращает

list[torch.Tensor] или list[SemanticSegmentationPostProcessorOutput]

Если return_segmentation_scores=False (по умолчанию), возвращается список длины batch_size, где каждый элемент — это карта сегментации формы (height, width) с идентификаторами классов. Если return_segmentation_scores=True, возвращается список объектов SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)). В обоих случаях (height, width) соответствует целевому размеру (если указан target_sizes).

Преобразует выход MaskFormerForInstanceSegmentation в карты семантической сегментации. Поддерживается только PyTorch.

post_process_instance_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = Falsereturn_binary_maps: bool | None = False ) → list[Dict]

Параметры

  • outputs (MaskFormerForInstanceSegmentation) — Сырые выходные данные модели.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • target_sizes (list[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_coco_annotation (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в формате COCO run-length encoding (RLE).
  • return_binary_maps (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в виде конкатенированного тензора бинарных карт сегментации (по одной на каждый обнаруженный объект).

Возвращает

list[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), где каждый пиксель представляет segment_id, или list[List] — кодирование с переменной длиной (RLE) карты сегментации, если return_coco_annotation установлено в True, или тензор формы (num_instances, height, width), если return_binary_maps установлено в True. Значение None, если маска не найдена выше threshold.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод MaskFormerForInstanceSegmentationOutput в предсказания сегментации объектов. Поддерживается только PyTorch. Если объекты могут пересекаться, установите return_coco_annotation или return_binary_maps в True, чтобы получить корректный результат сегментации.

post_process_panoptic_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → list[Dict]

Параметры

  • outputs (MaskFormerForInstanceSegmentationOutput) — Результаты работы MaskFormerForInstanceSegmentation.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • label_ids_to_fuse (Set[int], необязательный) — Все экземпляры меток из этого состояния будут объединены в один. Например, можно указать, что на изображении может быть только одно небо, но несколько человек, тогда ID метки «небо» будет включён в этот набор, а ID метки «человек» — нет.
  • target_sizes (list[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если значение не задано (None), предсказания не будут изменены в размере.

Возвращает

list[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод MaskFormerForInstanceSegmentationOutput в предсказания панорамной сегментации изображений. Поддерживается только PyTorch.

MaskFormerImageProcessorPil

класс transformers.MaskFormerImageProcessorPil

< >

( **kwargs: *<class 'transformers.models.maskformer.image_processing_pil_maskformer.MaskFormerImageProcessorKwargs'> )

Параметры

  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional, по умолчанию True) — Указывает, нужно ли изменять размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию {'shortest_edge' -- 800, 'longest_edge': 1333}): Определяет максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional, по умолчанию False) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию 2) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли выполнять рескейлинг изображения.
  • rescale_factor (float, kwargs, optional, по умолчанию 0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.485, 0.456, 0.406]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.229, 0.224, 0.225]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (SizeDict, kwargs, optional) — Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображений, переданного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • ignore_index (int, kwargs, optional) — Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на ignore_index.
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в число всех классов набора (например, ADE20k). Метка фона будет заменена на ignore_index.
  • num_labels (int, kwargs, optional) — Количество меток в карте сегментации.
  • size_divisor (int, kwargs, optional, по умолчанию 32) — Некоторые backbones требуют, чтобы размеры изображений делились на определённое число. Если параметр не передан, используется значение, применяемое в Swin Transformer.

Создаёт процессор изображений MaskFormerImageProcessor.

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.maskformer.image_processing_pil_maskformer.MaskFormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
  • segmentation_maps (ImageInput, необязательный) — Сегментационные карты.
  • instance_id_to_semantic_id (Union[list[dict[int, int]], dict[int, int]], необязательный) — Сопоставление идентификаторов экземпляров с семантическими идентификаторами.
  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
  • rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (SizeDict, kwargs, optional) — Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображений, переданного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • ignore_index (int, kwargs, optional) — Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на ignore_index.
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в число всех классов набора (например, ADE20k). Метка фона будет заменена на ignore_index.
  • num_labels (int, kwargs, optional) — Количество меток в карте сегментации.
  • size_divisor (int, kwargs, optional, по умолчанию 32) — Некоторые backbones требуют, чтобы размеры изображений делились на определённое число. Если параметр не передан, используется значение, применяемое в Swin Transformer.

Возвращает

~image_processing_base.BatchFeature

  • data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

post_process_semantic_segmentation

< >

( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Параметры

  • outputs (MaskFormerForInstanceSegmentation) — Сырые выходные данные модели.
  • target_sizes (list[tuple[int, int]], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_segmentation_scores (bool, необязательный, по умолчанию False) — Определяет, следует ли возвращать оценки сегментации вместе с картой сегментации. Если True, каждый элемент возвращаемого списка представляет собой SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)).

Возвращает

list[torch.Tensor] или list[SemanticSegmentationPostProcessorOutput]

Если return_segmentation_scores=False (по умолчанию), возвращается список длины batch_size, где каждый элемент — это карта сегментации формы (height, width) с идентификаторами классов. Если return_segmentation_scores=True, возвращается список объектов SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)). В обоих случаях (height, width) соответствует целевому размеру (если указан target_sizes).

Преобразует выход MaskFormerForInstanceSegmentation в карты семантической сегментации. Поддерживается только PyTorch.

post_process_instance_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = Falsereturn_binary_maps: bool | None = False ) → list[Dict]

Параметры

  • outputs (MaskFormerForInstanceSegmentation) — Сырые выходные данные модели.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • target_sizes (list[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_coco_annotation (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в формате COCO run-length encoding (RLE).
  • return_binary_maps (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в виде конкатенированного тензора бинарных карт сегментации (по одной на каждый обнаруженный объект).

Возвращает

list[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), где каждый пиксель представляет segment_id, или list[List] — кодирование с переменной длиной (RLE) карты сегментации, если return_coco_annotation установлено в True, или тензор формы (num_instances, height, width), если return_binary_maps установлено в True. Значение None, если маска не найдена выше threshold.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод MaskFormerForInstanceSegmentationOutput в предсказания сегментации объектов. Поддерживается только PyTorch. Если объекты могут пересекаться, установите return_coco_annotation или return_binary_maps в True, чтобы получить корректный результат сегментации.

post_process_panoptic_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → list[Dict]

Параметры

  • outputs (MaskFormerForInstanceSegmentationOutput) — Результаты работы MaskFormerForInstanceSegmentation.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • label_ids_to_fuse (Set[int], необязательный) — Все экземпляры меток из этого состояния будут объединены в один. Например, можно указать, что на изображении может быть только одно небо, но несколько человек, тогда ID метки «небо» будет включён в этот набор, а ID метки «человек» — нет.
  • target_sizes (list[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если значение не задано (None), предсказания не будут изменены в размере.

Возвращает

list[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод MaskFormerForInstanceSegmentationOutput в предсказания панорамной сегментации изображений. Поддерживается только PyTorch.

MaskFormerModel

класс transformers.MaskFormerModel

< >

( config: MaskFormerConfig )

Параметры

  • config (MaskFormerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Модель Maskformer без дополнительных модулей, выводящая «сырые» скрытые состояния.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → MaskFormerModelOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью MaskFormerImageProcessor. Подробности см. в MaskFormerImageProcessor.call() (processor_class использует MaskFormerImageProcessor для обработки изображений).
  • pixel_mask (torch.Tensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • output_hidden_states (bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описании hidden_states среди возвращаемых тензоров.
  • output_attentions (bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описании attentions в разделе возвращаемых тензоров.
  • return_dict (bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.

Возвращает

MaskFormerModelOutput или tuple(torch.Tensor)

Объект MaskFormerModelOutput или кортеж torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (MaskFormerConfig) и входных данных.

Метод forward модели MaskFormerModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Состояния последнего скрытого слоя (финальная карта признаков) последней стадии модели-энкодера (backbone).

  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера (FPN).

  • transformer_decoder_last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели декодера трансформера.

  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) с формой (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.

  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждой стадии) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждой стадии.

  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или если config.output_hidden_states=True) — кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа. hidden_states tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или если config.output_hidden_states=True): Кортеж torch.Tensor, содержащий encoder_hidden_states, pixel_decoder_hidden_states и decoder_hidden_states

  • hidden_states (tuple[torch.Tensor], необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Примеры:

>>> from transformers import AutoImageProcessor, MaskFormerModel
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> # load MaskFormer fine-tuned on ADE20k semantic segmentation
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/maskformer-swin-base-ade")
>>> model = MaskFormerModel.from_pretrained("facebook/maskformer-swin-base-ade")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> inputs = image_processor(image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> # the decoder of MaskFormer outputs hidden states of shape (batch_size, num_queries, hidden_size)
>>> transformer_decoder_last_hidden_state = outputs.transformer_decoder_last_hidden_state
>>> list(transformer_decoder_last_hidden_state.shape)
[1, 100, 256]

MaskFormerForInstanceSegmentation

класс transformers.MaskFormerForInstanceSegmentation

< >

( config: MaskFormerConfig )

forward

< >

( pixel_values: Tensormask_labels: list[torch.Tensor] | None = Noneclass_labels: list[torch.Tensor] | None = Nonepixel_mask: typing.Optional[torch.Tensor] = Noneoutput_auxiliary_logits: bool | None = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → MaskFormerForInstanceSegmentationOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью MaskFormerImageProcessor. Подробности см. в MaskFormerImageProcessor.call() (processor_class использует MaskFormerImageProcessor для обработки изображений).
  • mask_labels (list[torch.Tensor], необязательный) — Список меток маски формы (num_labels, height, width), передаваемых в модель
  • class_labels (list[torch.LongTensor], необязательный) — список целевых меток классов формы (num_labels, height, width), передаваемых в модель. Они указывают метки для mask_labels, например, метка для mask_labels[i][j], если class_labels[i][j].
  • pixel_mask (torch.Tensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • output_auxiliary_logits (bool, необязательный) — Включает ли вывод вспомогательных логитов.
  • output_hidden_states (bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описании hidden_states среди возвращаемых тензоров.
  • output_attentions (bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описании attentions в разделе возвращаемых тензоров.
  • return_dict (bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.

Возвращает

MaskFormerForInstanceSegmentationOutput или tuple(torch.Tensor)

Объект MaskFormerForInstanceSegmentationOutput или кортеж torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (MaskFormerConfig) и входных данных.

Метод forward класса MaskFormerForInstanceSegmentation переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • loss (torch.Tensor, необязательный) — вычисленная функция потерь, возвращается при наличии меток.

  • class_queries_logits (torch.Tensor, optional) — тензор формы (batch_size, num_queries, num_labels + 1), представляющий предложенные классы для каждого запроса. Обратите внимание, что + 1 необходимо, так как мы учитываем нулевой класс.

  • masks_queries_logits (torch.Tensor, необязательный) — тензор формы (batch_size, num_queries, height, width), представляющий предложенные маски для каждого запроса.

  • auxiliary_logits (Dict[str, torch.Tensor], необязательный, возвращается при output_auxiliary_logits=True) — Словарь, содержащий вспомогательные предсказания для каждого слоя декодера, если включены вспомогательные функции потерь.

  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Состояния последнего скрытого слоя (финальная карта признаков) последней стадии модели-энкодера (backbone).

  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера (FPN).

  • transformer_decoder_last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели декодера трансформера.

  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) с формой (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.

  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждой стадии) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждой стадии.

  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния декодера трансформера на выходе каждого этапа. hidden_states tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True): Кортеж torch.Tensor, содержащий encoder_hidden_states, pixel_decoder_hidden_states и decoder_hidden_states.

  • hidden_states (tuple[torch.Tensor], необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Примеры:

Пример семантической сегментации:

>>> from transformers import AutoImageProcessor, MaskFormerForInstanceSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> # load MaskFormer fine-tuned on ADE20k semantic segmentation
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/maskformer-swin-base-ade")
>>> model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-base-ade")

>>> url = (
...     "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to image_processor for postprocessing
>>> predicted_semantic_map = image_processor.post_process_semantic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]

>>> # we refer to the demo notebooks for visualization (see "Resources" section in the MaskFormer docs)
>>> list(predicted_semantic_map.shape)
[512, 683]

Пример паноптической сегментации:

>>> from transformers import AutoImageProcessor, MaskFormerForInstanceSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> # load MaskFormer fine-tuned on COCO panoptic segmentation
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/maskformer-swin-base-coco")
>>> model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-base-coco")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to image_processor for postprocessing
>>> result = image_processor.post_process_panoptic_segmentation(outputs, target_sizes=[(image.height, image.width)])[0]

>>> # we refer to the demo notebooks for visualization (see "Resources" section in the MaskFormer docs)
>>> predicted_panoptic_map = result["segmentation"]
>>> list(predicted_panoptic_map.shape)
[480, 640]
Update on GitHub

←Mask2Former MLCD→