Transformers documentation

UnlimitedOcr

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 23.06.2026 и добавлена в Hugging Face Transformers 14.10.2026.

UnlimitedOcr

Обзор

Модель UnlimitedOcr была предложена в работе Unlimited OCR Works авторами Youyang Yin, Huanhuan Liu, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du и Lei Jia из компании Baidu Inc.

Это модель с 3 млрд параметров и стандартной длиной контекста 32 768 токенов.

Аннотация из статьи следующая:

Недавно сквозные модели OCR, в частности DeepSeek OCR, вновь привлекли к себе внимание. Распространённое мнение состоит в том, что использование большой языковой модели (LLM) в качестве декодера позволяет модели опираться на априорное распределение языка, что приводит к улучшению качества OCR. Однако недостатки также очевидны: по мере увеличения длины выходной последовательности накопленный KV-кэш увеличивает потребление памяти и постепенно замедляет генерацию. Это резко контрастирует с поведением человека, который не демонстрирует снижения эффективности при длительных задачах копирования. В данном техническом отчёте мы предлагаем Unlimited OCR — модель, предназначенную для эмуляции рабочей памяти человека при разборе текста. Используя DeepSeek OCR в качестве базовой модели, мы заменяем все слои внимания в декодере на предложенное нами Reference Sliding Window Attention (R-SWA), которое снижает вычислительные затраты на внимание, сохраняя при этом постоянный размер KV-кэша на протяжении всего процесса декодирования. Благодаря сочетанию высокой степени сжатия в энкодере DeepSeek OCR с нашим дизайном постоянного KV-кэша, Unlimited OCR способна транскрибировать десятки страниц документов за один прямой проход при стандартной максимальной длине 32K. Более того, R-SWA является универсальным механизмом внимания для разбора текста — помимо OCR он одинаково применим к таким задачам, как ASR, перевод и т. д. Код и веса модели доступны по адресу http://github.com/baidu/Unlimited-OCR

Unlimited-OCR поддерживает две конфигурации инференса: режим «gundam» (по умолчанию) использует тайлы 640x640 с динамическим кадрированием для документов высокого разрешения, а режим «base» использует единый глобальный вид 1024x1024 для входных данных стандартного разрешения. Чтобы включить режим base, установите crop_to_patches=False в процессоре или передайте его через processor_kwargs при использовании apply_chat_template().

Визуальная башня следует двухэтапному подходу из DeepSeek-OCR-2: энкодер SAM ViT-B передаёт данные в энкодер CLIP ViT. В отличие от DeepSeek-OCR-2, признаки CLIP дополнительно конкатенируются с признаками SAM для получения финальных токенов изображения. Unlimited-OCR также исключает обучаемые patch-запросы из DeepSeek-OCR-2.

Текстовая модель идентична DeepSeek-OCR-2, но дополнена механизмом Reference Sliding Window Attention (R-SWA). R-SWA применяется только к сгенерированным токенам. Все токены изображения и промпта остаются полностью видимыми на протяжении всего декодирования, поэтому длинные документы не теряют контекст из предыдущих страниц.

Эта модель была предоставлена пользователем guarin. Исходный код можно найти здесь.

Исходная реализация запускает модель с torch.autocast в bfloat16. Оберните вызовы forward и generate в контекст autocast, чтобы воспроизвести её выходные данные.
with torch.autocast(device_type=model.device.type, dtype=torch.bfloat16):
    output = model.generate(**inputs)

OCR для одной страницы

OCR для многостраничных документов

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Пакетная обработка

Для пакетной обработки передайте список сообщений. Если изображения имеют разные размеры, установите padding=True для процессора.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
image2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_receipt.jpeg"
messages = [
    [
        {
            "role": "user",
            "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
        }
    ]
    for image in [image1, image2]
]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    processor_kwargs={"padding": True},
).to(model.device, model.dtype)

output = model.generate(**inputs)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Обнаружение областей

Установите skip_special_tokens=False, чтобы обернуть все обнаружения и типы областей в маркеры <|det|>...<|/det|>. Это полезно для дальнейшей постобработки вывода, например, для отрисовки обнаруженных ограничивающих прямоугольников на изображении. Каждое обнаружение оборачивается в виде <|det|>region_type [x1, y1, x2, y2]<|/det|>text..., где координаты нормализованы к диапазону [0, 999]. Установите return_detections=True, чтобы получить дополнительный список словарей со всеми обнаружениями, разобранными в формате {"region_type": region_type, "box": [x1, y1, x2, y2], "text": "..."}.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs)
decoded, detections = processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=False, return_detections=True)
# <|det|>image [383, 87, 497, 171]<|/det|>\n<|det|>text [333, 201, 558, 230]<|/det|>R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# Visualization
import random
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from transformers.image_utils import load_image

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg")
width, height = image.size

figure, axis = plt.subplots(figsize=(10, 12))
axis.imshow(image)
for detection in detections:
    region_type = detection["region_type"]
    x1, y1, x2, y2 = detection["box"]
    x1, y1, x2, y2 = int(x1) / 999 * width, int(y1) / 999 * height, int(x2) / 999 * width, int(y2) / 999 * height
    color = (random.random(), random.random(), random.random())
    rectangle = patches.Rectangle((x1, y1), x2 - x1, y2 - y1, linewidth=1.5, edgecolor=color, facecolor="none")
    axis.add_patch(rectangle)
    axis.text(x1, y1, region_type, color="white", fontsize=8, backgroundcolor=color, verticalalignment="top")
axis.axis("off")
plt.show()

Transformers

UnlimitedOcr

Обзор

Пакетная обработка

Обнаружение областей

UnlimitedOcrConfig

класс transformers.UnlimitedOcrConfig

UnlimitedOcrTextConfig

класс transformers.UnlimitedOcrTextConfig

UnlimitedOcrVisionConfig

класс transformers.UnlimitedOcrVisionConfig

UnlimitedOcrVisionEncoderConfig

класс transformers.UnlimitedOcrVisionEncoderConfig

UnlimitedOcrSamVisionConfig

класс transformers.UnlimitedOcrSamVisionConfig

UnlimitedOcrImageProcessor

класс transformers.UnlimitedOcrImageProcessor

crop_image_to_patches

get_number_of_image_patches

pad_to_square

UnlimitedOcrProcessor

класс transformers.UnlimitedOcrProcessor

batch_decode

decode

UnlimitedOcrPreTrainedModel

класс transformers.UnlimitedOcrPreTrainedModel

UnlimitedOcrTextPreTrainedModel

класс transformers.UnlimitedOcrTextPreTrainedModel

UnlimitedOcrTextModel

класс transformers.UnlimitedOcrTextModel

forward

UnlimitedOcrVisionModel

класс transformers.UnlimitedOcrVisionModel

forward

UnlimitedOcrModel

класс transformers.UnlimitedOcrModel

forward

UnlimitedOcrForConditionalGeneration

класс transformers.UnlimitedOcrForConditionalGeneration

forward