Эта модель была опубликована в HF papers 10.12.2015 и добавлена в Hugging Face Transformers 14.03.2022.

ResNet

Обзор

Модель ResNet была предложена в работе Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren и Jian Sun. Наша реализация следует небольшим изменениям, внесённым Nvidia: мы применяем stride=2 для даунсемплинга в 3x3-свёртке bottleneck, а не в первой 1x1. Это решение обычно известно как «ResNet v1.5».

ResNet ввёл остаточные соединения, которые позволяют обучать сети с беспрецедентным числом слоёв (до 1000). ResNet одержал победу на конкурсе ILSVRC & COCO 2015 года, что стало важной вехой в области глубокого компьютерного зрения.

Аннотация из статьи следующая:

Более глубокие нейронные сети сложнее обучать. Мы предлагаем фреймворк остаточного обучения, который облегчает обучение сетей, значительно более глубоких, чем те, что использовались ранее. Мы явно переформулируем слои как обучение остаточных функций относительно входов слоя, а не обучение функций без ссылки на вход. Мы приводим исчерпывающие эмпирические доказательства того, что эти остаточные сети легче оптимизировать и могут повышать точность за счет значительно увеличенной глубины. На наборе данных ImageNet мы оцениваем остаточные сети глубиной до 152 слоев — в 8 раз глубже сетей VGG, но при этом с меньшей сложностью. Ансамбль этих остаточных сетей достигает ошибки 3,57% на тестовом наборе ImageNet. Этот результат занял 1-е место в задаче классификации ILSVRC 2015. Мы также представляем анализ на CIFAR-10 с 100 и 1000 слоями. Глубина представлений имеет центральное значение для многих задач визуального распознавания. Исключительно благодаря нашим сверхглубоким представлениям мы получаем относительное улучшение на 28% на наборе данных COCO для обнаружения объектов. Глубокие остаточные сети являются основой наших работ, поданных на конкурсы ILSVRC & COCO 2015, где мы также заняли 1-е места в задачах обнаружения на ImageNet, локализации на ImageNet, обнаружения на COCO и сегментации на COCO.

На рисунке ниже представлена архитектура ResNet. Источник — оригинальная статья.

Эта модель была предоставлена Francesco. Исходный код можно найти здесь.

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с ResNet.

• ResNetForImageClassification поддерживается в этом ноутбуке.
• См. также: Руководство по задаче классификации изображений

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.

ResNetConfig

>>> from transformers import ResNetConfig, ResNetModel

>>> # Initializing a ResNet resnet-50 style configuration
>>> configuration = ResNetConfig()

>>> # Initializing a model (with random weights) from the resnet-50 style configuration
>>> model = ResNetModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ResNetModel

ResNetForImageClassification

>>> from transformers import AutoImageProcessor, ResNetForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/resnet-50")
>>> model = ResNetForImageClassification.from_pretrained("microsoft/resnet-50")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...