Эта модель была опубликована в HF papers 26.07.2018 и добавлена в Hugging Face Transformers 16.01.2023.

UPerNet

Обзор

Модель UPerNet была предложена в работе Unified Perceptual Parsing for Scene Understanding авторами Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, Jian Sun. UPerNet представляет собой универсальный фреймворк для эффективного сегментирования широкого круга концепций на изображениях с использованием любого визуального бэкбона, например ConvNeXt или Swin.

Аннотация из статьи следующая:

Человек воспринимает визуальный мир на нескольких уровнях: мы легко классифицируем сцены и обнаруживаем объекты внутри них, одновременно распознавая текстуры и поверхности объектов, а также их различные составные части. В данной статье мы рассматриваем новую задачу, называемую Unified Perceptual Parsing, которая требует от систем машинного зрения распознавать как можно больше визуальных концепций на основе заданного изображения. Разработаны многозадачная фреймворк UPerNet и стратегия обучения для работы с гетерогенными аннотациями изображений. Мы протестировали наш фреймворк на задаче Unified Perceptual Parsing и показали, что он способен эффективно сегментировать широкий спектр концепций на изображениях. Обученные нейросети дополнительно применяются для обнаружения визуальных знаний в естественных сценах.

Эта модель была добавлена пользователем nielsr. Исходный код основан на mmsegmentation от OpenMMLab, см. здесь.

Примеры использования

UPerNet — это универсальный фреймворк для семантической сегментации. Его можно использовать с любым визуальным бэкбоном, например:

from transformers import SwinConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = SwinConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

Чтобы использовать другой визуальный бэкбон, например ConvNeXt, просто создайте модель с соответствующим бэкбоном:

from transformers import ConvNextConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = ConvNextConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

Обратите внимание, что это приведет к случайной инициализации всех весов модели.

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены 🌎), которые помогут вам начать работу с UPerNet.

• Демо-ноутбуки для UPerNet можно найти здесь.
• UperNetForSemanticSegmentation поддерживается в этом ноутбуке.
• См. также: Руководство по задаче семантической сегментации

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.

UperNetConfig

>>> from transformers import UperNetConfig, UperNetForSemanticSegmentation

>>> # Initializing a configuration
>>> configuration = UperNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = UperNetForSemanticSegmentation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

UperNetForSemanticSegmentation

>>> from transformers import AutoImageProcessor, UperNetForSemanticSegmentation
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download

>>> image_processor = AutoImageProcessor.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> model = UperNetForSemanticSegmentation.from_pretrained("openmmlab/upernet-convnext-tiny")

>>> filepath = hf_hub_download(
...     repo_id="hf-internal-testing/fixtures_ade20k", filename="ADE_val_00000001.jpg", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> logits = outputs.logits  # shape (batch_size, num_labels, height, width)
>>> list(logits.shape)
[1, 150, 512, 512]