Document Layout Reasoning
Введение
Интеллектуальная обработка документов (Document AI) — популярное направление в современном AI. Первые эксперименты со свёрточными нейронными сетями, проводимые Яном Лекуном, были связаны с распознаванием рукописных чисел (MNIST в 1989 году). С тех пор распознавание и интеллектуальная обработка документов значительно изменились.
📌Перед прочтением рекомендуем ознакомиться с нашей вводной статьей про OCR — в ней подробно описана история автоматизации распознавания документов.
Сегодня поговорим про более глубокий анализ документов, обязательную составляющую современных фреймворков интеллектуальной обработки документов (IDP, или Intelligent Document Processing).
IDP-система — целый набор технологий для автоматического чтения, распознавания, классификации и извлечения данных из любых типов документов. Главное отличие IDP от OCR в понимании контекста документа, умении связать различные сущности внутри документа в единый граф знаний.
Можно выделить следующие этапы эволюции Document AI:
Мы видим, что на смену OCR (Tesseract) сначала приходят модели, способные анализировать лейаут документа в виде координат и типов сущностей (LayoutParser). Затем технология развивается до уровня, позволяющего связывать отдельные сущности и их содержимое в единую структуру (LayoutLM). А следующим этапом становится переход от ансамбля моделей к End-to-End решениям на базе VLM (Donut). Сегодня мы имеем мультимодальные LLM, способные рассуждать и анализировать лейаут на уровне визуальных токенов.
💡Document Layout Reasoning (DLR) — способность модели делать выводы о структуре документа, пространственных и структурных отношениях между его элементами и использовать их для проверки, восстановления или интерпретации документа.
Основное отличие DLR от Layout Analysis — модель отвечает на вопрос «Где?», а также на то, как элементы связаны между собой и что из этого следует.
💡Document Understanding (DU) — более общая постановка обработки документов для решения бизнес-задач: классификация документа, извлечение ключевых полей, ответ на вопрос по документу.
Таким образом, DLR — промежуточный слой в пайплайне Document AI, находящийся между Layout Analysis и Document Understanding.
Цель статьи — постановка задачи, мотивации, обзор подходов к решению и анализ результатов исследовательского направления в Document AI — Document Layout Reasoning.
Мы не претендуем на обзор всех подходов в этом направлении, но хотим обозначить проблему, наличие интереса у исследователей к ней и обсудить возможные пути её решения 🙂
DLR в IDP-пайлайне
Давайте разберём, в какой момент и для каких целей нужно внедрять слой DLR в пайплайн обработки документов.
DLR — способность модели делать выводы о структуре документа, использовать выводы для проверки качества распознавания и восстановления пропущенных элементов.
Современные IDP-системы — сложный, многостадийный пайплайн обработки документов, ориентированный на конкретные бизнес-задачи. Здесь можно выделить следующие этапы:
💡Perception — визуальный этап, который может включать в себя сегментацию документа (определения лейаута), OCR, детекцию и распознавание таблиц.
💡Representation — на основе распознанного текста и лейаута сформированное представление документа. Помимо человеко-читаемых признаков (текста и локализаций (bbox)), представление может включать визуальные признаки эмбеддера.
💡DLR — анализ представления документа с выделением связей между сущностями.
💡Structural verification — верификация структуры как всего документа, так и отдельных его сущностей, например, таблиц. С последующим fallback на исправление ошибок.
💡Document understanding — решение конкретной бизнес-задачи: экстракция ключевых полей, ответ на вопрос, классификация.
Важно отметить: DLR не является устоявшейся концепцией. Это новое направление, которое только начинает появляться в современных статьях по IDP. Document Layout Reasoning — пока неустоявшийся термин, обобщение похожих исследовательских направлений. Есть ряд работ, описывающих схожие технологии:
Авторы формулируют проблему анализа документов через лейаут — Complex Layout Reasoning. Они пытаются выделить её в отдельный вид задач. Приводят следующие отличительные черты относительно привычных semantic-oriented задач:
- высокие требования к точности детекции объектов на документе;
- рассуждения на основе лейаута;
- учитывание контекста соседних страниц;
- логические рассуждения.
Авторы предлагают Layout-Aware Multi-Source Reasoning Decision Framework (LAMRD), который строит рассуждения исходя из:
- визуальной структуры документа;
- логических рассуждений;
- дополнительных внешних данных.
Авторы утверждают, что традиционные метрики (IoU, mAP) недостаточны для оценки структурных ошибок при распознавании. Они вводят Layout Error Detection (LED) и рассматривают целый набор метрик для оценки качества распознавания лейаута. Их LED-датасет позволяет верифицировать качество детекции семантических сущностей на документе. Контролируемые метрики на уровне bbox:
- Missing;
- Hallucination;
- Size Error;
- Split;
- Merge;
- Overlap;
- Duplicate;
- Misclassification.
Здесь разработчики Baidu адаптировали свою Qianfan-VL под задачи OCR. При этом они ввели термин Layout-as-Thought и противопоставили ему классический Chain-of-Thought. Авторы предложили ризонинг на основе лейаут-информации: bbox, классы сущностей документа, порядок чтения, структура документа.
Обычный «thinking»-режим, например, в Qwen-3.5 выглядит следующим образом: Image -> Visual features -> Thinking (Рассуждения в режиме «вопрос-ответ») -> OCR result.
В Qianfan «thinking»-режим можно представить так: Image -> Visual features -> Thinking (рассуждения на уровне лейаут артефактов) -> Layout representation -> OCR result.
То есть авторы разработали специализированный режим ризонинга для анализа документов для контроля и верификации результатов OCR.
Мы видим, что проблема анализа и контроля структуры документа — важная тема для исследования у разработчиков IDP-систем. Современная интеллектуальная система обработки документов не может существовать без технологий верификации и средств исправления ошибок первичного распознавания.
Основные кейсы DLR
Итак, мы обозначили проблему применения Layout Reasoning, а также его место в пайплайне интеллектуальной обработки документов. Теперь давайте обсудим, из каких подзадач состоит DLR.
Как мы упоминали ранее (см. рисунок 2), сначала на этапе Perсeption мы получаем некое представление о документе (layout analysis) в виде артефактов:
- bbox — координаты сущности;
- text — содержимое bbox — результат либо классической OCR-модели, либо VLM;
- type — класс сущности: текст, таблица, картинка и т.д.;
- visual tokens — набор визуальных токенов как всего изображения, так и отдельных сущностей, которые получены от энкодера VLM.
Цель DLR заключается в построении структурных, семантических связей между артефактами. В таблице ниже подробнее разобраны задачи.
| № | Задача | Что решает | Вклад в итоговый reasoning |
|---|---|---|---|
| 1 | Document Spatial Reasoning | Геометрические отношения | Пространственный evidence (геометрические доказательства, подтверждающие распознанную структуру) |
| 2 | Reading Order Reasoning | Порядок элементов | Логический поток документа |
| 3 | Hierarchy Reasoning | Иерархия элементов | Структура документа |
| 4 | Structural Relation Reasoning | Структурные связи элементов | Семантический смысл |
| 5 | Table Structure Reasoning | Определяет сущности: строки, колонки, заголовки | Локальная 2D-структура таблиц |
| 6 | Cross-Region / Cross-Page Reasoning | Связи удалённых элементов | Контекст на уровне документа |
| 7 | Structural Constraint & Consistency Reasoning | Совместимость элементов | Проверяемая логическая структура |
| 8 | Completeness & Error Reasoning | Что потеряно / дублировано | Верификация результата |
| 9 | Reconstruction & Correction Reasoning | Как исправить структуру | Восстановленный результат |
| 10 | Evidence & Uncertainty Reasoning | Почему сделан вывод и насколько он надёжен | Контролируемость DLR |
В таблице обозначены основные проблемы современного IDP-пайплайна. VLM-модели позволяют решать бизнес-задачи по обработке документов: классификация, экстракция, вопрос-ответ. Но как и любые LLM, они склонны к галлюцинациям. DLR борется с их последствиями через решение этих задач.
Если вы интересуетесь VLM-моделями — вы наверняка знакомы с термином Spatial Reasoning.
💡Spatial Reasoning — способность модели к пространственному мышлению, например, пониманию, что на изображении один предмет находится левее / выше / ниже другого.
Но когда речь идёт об анализе документов, этот термин расширяется. Можно привести несколько примеров пространственного мышления, специфичного для документов:
- блок текста ниже А ниже заголовка Б;
- токен А внутри таблицы Б;
- объекты А и Б выровнены по вертикали;
- А и Б находятся на одной строке.
Однако одного Spatial Reasoning недостаточно для выводов об объектах А и Б, описанных выше. Нам нужно понимать порядок чтения элементов в документе, их иерархию (где заголовок пункта, а где — его содержимое). Нужно понимать, что, например, запись «500» относится к графе «Итого», а не «Итого без НДС». И тут появляется необходимость выявлять семантические связи элементов.
Таблицы — всегда «головная боль» при распознавании, особенно если документ немного повёрнут или имеет другие шумовые артефакты. Поэтому контроль её структуры — важный этап обработки документов.
Зачастую в документах есть кросс-ссылки от одного элемента к другому, не расположенные рядом. Выявление таких связей — необходимая составляющая пайплайна анализа документов.
Склонность к галлюцинациям LLM вынуждает разработчиков добавлять механизмы контроля повторений или, наоборот, пропусков сущностей на документе (пропущенные ячейки, строки, названия рисунков и др.). При выявлении нарушений структурных и семантических связей появляется необходимость в их восстановлении.
Описанные выше задачи можно объединить в четыре основные группы:
- Relational reasoning — задачи по выявлению всевозможных отношений между элементами;
- Structure reasoning — задачи по выявлению окончательного вида структуры документа;
- Verification reasoning — всевозможные задачи верификации;
- Recovery reasoning — способы восстановления ошибок распознавания.
Мы видим, что DLR представляет большой пласт исследовательских задач, подходы к решению которых освещаются в современных статьях по OCR и IDP.
Обзор решений задач DLR
Давайте рассмотрим (в разрезе DLR) наиболее важные исследования и популярные фреймворки.
LayoutReader [2021]
В работе представлен пример решения задачи Reading Order Reasoning. LayoutReader строит порядок элементов, используя одновременно текст и лейаут (баундинг боксы слов) в качестве входных токенов. Энкодер аналогичен мультимодальной модели LayoutLM.
Авторы предложили учить порядок чтения сегментов на документе с помощью кастомизированной аттеншен маски. Для обучения создали специальный датасет ReadingBank на 500 тыс. изображений документов. В итоге получили инструмент, который использовали поверх слоя классического OCR для упорядочения элементов на документе.
Авторы подчеркивают важность задачи определения порядка чтения, называя её «краеугольным камнем» в Document Understanding.
LayoutLMv3 [2022]
Одна из самых известных и цитируемых работ в Document AI.
В LayoutLMv3 в качестве контекста используется классический парсер OCR для получения текстового слоя и 2D-лейаута: bbox сегментов документа (текстовые блоки), а также VIT для получения картиночных токенов. Всё это объединяется в единое признаковое пространство. С точки зрения DLR, здесь закрываются задачи: Document Spatial Reasoning и Structural Relation Reasoning.
То есть большая часть задач по анализу пространственного отношения элементов и выявлению сложных структурных и семантических связей в явном виде не решается. Разработчики LayoutLMv3 заложили основы Layout reasoning в Document AI.
Docling [2024]
Docling знаком многим, кто сталкивался с поиском быстрого и надёжного инструмента OCR. Он предлагает качественный парсер практически любых текстовых документов.
Современный Docling предлагает два различных режима использования:
- Стандартный пайплайн: OCR + Layout + TableFormer + ReadingOrder. За каждый этап отвечает отдельная модель.
- VLM-пайплайн — End-to-End подход на базе собственной VLM (GraniteDocling) с последующим представлением результата распознавания в формате DocTags.
Стандартный пайплайн Docling позволяет получить довольно богатое представление документа, которое в дальнейшем можно использовать для ризонинга. Но самого ризонинга Docling не предлагает.
MinerU2.5 [2025]
MinerU2.5 — End-to-End парсинг документов и структуры.
Ключевая особенность предлагаемого подхода — деление процесса распознавания на 2 этапа:
- Layout-анализ на изображении меньшего разрешения.
- Распознавание отдельных кропов сущностей, найденных в на первом этапе.
При этом оба этапа используют одну и ту же VLM модель.
MinerU2.5 — пример современного подхода к распознаванию с использованием Layout Reasoning. Разработчики предлагают Iterative Mining via Inference Consistency (IMIC) подход для анализа лейаута. В процессе доразметки обучающей выборки каждый семпл прогоняется три раза через модель. В случае лейаут модели замеряется метрика PageIoU и в случае среднего значения менее 0.8 пример помечается как «сложный» и отправляется на доразметку. Аналогично поступают с таблицами, где используется метрика TEDS (Tree-Edit-Distance-based Similarity).
Но, к сожалению, в MinerU2.5 нет подобных механизмов на этапе инференса. Из DLR задач тут решаются только:
- восстановление порядка чтения;
- реконструкция структуры таблиц;
- частичная реконструкция иерархии документа (определение заголовков).
PaddleOCR-VL-1.6 [2026]
PaddleOCR-VL-1.6 сегодня — один из лучших парсеров документов на основе VLM. Как и любой качественный парсер, он строится на базе layout-модели, которая отвечает за сегментацию документа и определения порядка чтения. Найденные сегменты вырезаются и отдельно распознаются с помощью VLM.
С точки зрения DLR в Paddle реализованы следующие задачи:
- восстановление порядка чтения;
- реконструкция структуры таблиц;
- частичная реконструкция иерархии документа;
- ограниченная межстраничная обработка;
- генерация структурно корректного Markdown / JSON.
Paddle действительно очень качественно распознаёт таблицы. Эта способность закладывается главным образом в VLM-модель на RL-этапе обучения за счёт специальной структурной reward-функции. Но на этапе инференса дополнительных проверок, сопоставлений с альтернативным способом распознавания таблиц не производится. То есть модель с высокой вероятностью вернёт вам прямоугольную таблицу, синтаксически корректную, но при этом не гарантирует, что в таблице не пропущена строка.
Paddle-OCR-VL-1.6 можно рассматривать как хорошую базу, набор инструментов, на основе которого можно построить систему с Layout Reasoning.
Заключение
В этой статье мы познакомились с важным направлением в Document AI — Document Layout Reasoning. Определили основные задачи и их обоснования. Разобрали работы, подтверждающие интерес AI-сообщества к решению задачи layout-ризонинга при анализе документов.
А также рассмотрели несколько известных фреймворков, но под необычным углом — с точки зрения решения задач DLR. Эти фреймворки не решают все поставленные в статье задачи, но являются хорошей базой для построения «умных» фреймворков, способных не просто анализировать документ, но и выстраивать внутренние взаимосвязи между его элементами.
В следующей статье обсудим, как решить одну из важных задач DLR — верификацию структуры таблицы и её реконструкции в случае нарушения при распознавании. Оставайтесь с нами 😎
Computer Vision Rocket
