文档与图表理解

问题

「理解这份 PDF」难得出人意料。信息分布在：

• 文本内容（约 90% 的信号）。
• 版式（页眉、脚注、边栏、双栏排版）。
• 表格（行、列、合并单元格）。
• 图和图表。
• 手写批注。
• 字体与排版（标题 vs 正文）。

原始 OCR 只倒出文本，其余全丢。一个关心发票的系统需要知道「总计：$1,245」来自右下角，而不是脚注。

概念

时代 1——OCR pipeline（2021 年前）

经典栈：

1. PDF → 每页图像。
2. Tesseract（或商用 OCR）抽取文本，附带逐词边界框。
3. 布局分析器识别区块（页眉、表格、段落）。
4. 表格结构识别器解析表格。
5. 领域规则 + 正则抽取字段。

对于干净的印刷文本有效。在手写、倾斜扫描、复杂表格、非英文文字上失效。每种失败模式都需要一条定制异常路径。

TrOCR（2021）

TrOCR（Li 等，arXiv:2109.10282）用 Transformer 编码器-解码器取代了 Tesseract 经典的 CNN-CTC，在合成 + 真实文本图像上训练。在手写和多语种文本上是明确的胜利。仍然是 pipeline（检测器再接 TrOCR 再接布局），但 OCR 这一步大幅改善。

时代 2——无 OCR（2022-2023）

第一批无 OCR 模型提出：完全跳过检测，把图像像素直接映射到结构化输出。

Donut（Kim 等，arXiv:2111.15664）：

• 编码器-解码器 Transformer，编码器为 Swin-B。
• 输出是用于表单理解的 JSON、用于摘要的 markdown，或任何任务专属 schema。
• 没有 OCR，没有布局，没有检测。

Nougat（Blecher 等，arXiv:2308.13418）：

• 专门在科学论文上训练。
• 输出为 LaTeX / markdown。
• 处理公式、多栏版式、图表。
• 每个 arXiv 解析器都会调用的模型。

这些是专才，不是通才。Donut 在科学论文上失败；Nougat 在发票上失败。

LayoutLMv3（2022）

另一条路线。LayoutLMv3（Huang 等，arXiv:2204.08387）保留 OCR，但加入布局理解：

• 三路输入流：OCR 文本 token、逐 token 的二维边界框、图像 patch。
• 跨全部三种模态的掩码训练目标（掩码文本、掩码 patch、掩码布局）。
• 下游任务：分类、实体抽取、表格问答。

LayoutLMv3 是基于 OCR 的文档理解的巅峰。在表单和发票上表现强。需要上游 OCR。在标准化文档基准上取得 VLM 之前的最佳准确率。

DocLLM（2023）

DocLLM（Wang 等，arXiv:2401.00908）是 LayoutLM 的生成式兄弟。以布局 token 为条件生成自由形式答案。更适合文档问答；仍然依赖 OCR 输入。

时代 3——VLM 原生（2024+）

2024 年的 VLM 已经足够好，可以完全取代 pipeline。把整页图像以高分辨率喂给 VLM，提问，得到答案。

• LLaVA-NeXT 336-tile AnyRes 适用于小文档。
• Qwen2.5-VL 的动态分辨率原生处理 2048+ 像素。
• Claude Opus 4.7 支持 2576px 文档。
• PaliGemma 2（2025 年 4 月）专门针对文档 + 手写训练。

VLM 原生与 OCR pipeline 之间的差距迅速缩小。到 2026 年，VLM 原生在以下方面胜出：

• 场景文本（手写 + 印刷、混合文字）。
• 带合并单元格的复杂表格。
• 嵌入正文的数学公式。
• 带文字标注的图表。

OCR pipeline 仍在以下方面胜出：

• 大规模纯扫描工作负载，逐页延迟很关键。
• Pipeline 可靠性（确定性失败 vs VLM 幻觉）。
• 需要可审计 OCR 输出的受监管环境。

Claude 4.7 / GPT-5 前沿

在 2576 像素原生输入下，前沿 VLM 的文档理解达到接近人类的准确率。2026 年初的基准数字：

• DocVQA：Claude 4.7 约 95.1，PaliGemma 2 约 88.4，Nougat 约 77.3，pipeline LayoutLMv3 约 83。
• ChartQA：Claude 4.7 约 92.2，GPT-4V 约 78。
• VisualMRC：Claude 4.7 约 94。

闭源模型的差距主要来自分辨率和基础 LLM 规模。7B 的开源模型落后几个点，但正在追赶。

数学公式与 LaTeX 输出

科学论文需要公式的精确 LaTeX 输出。Nougat 就是为此训练的。用 LaTeX 目标训练的 VLM（Qwen2.5-VL-Math、Nougat 衍生模型）能产出可用的 LaTeX。没有显式 LaTeX 训练，VLM 产出的是可读但不精确的转写。

对于 2026 年的科学论文 pipeline：对 PDF 串接 Nougat，再对棘手页面用 VLM。

手写

仍然是最难的子任务。印刷 + 手写混合（医生笔记、填写过的表单）是 OCR pipeline 在成本上仍胜过 VLM 的领域。纯手写 VLM 正在进步（Claude 4.7、PaliGemma 2）。

2026 年配方

对于一个新文档 AI 项目：

• 大规模纯印刷发票：LayoutLMv3 + 规则，成本高效。
• 混合文档（科学 + 手写 + 表单）：VLM 原生（PaliGemma 2 或 Qwen2.5-VL）。
• 完整 arXiv 摄取：数学用 Nougat，图表用 VLM。
• 监管场景：OCR pipeline + VLM 校验器做交叉核对。

使用它

code/main.py：

• 一个玩具级布局感知分词器：给定（文本，bbox）对，生成 LayoutLMv3 风格的输入。
• 一个 Donut 风格的任务 schema 生成器：表单的 JSON 模板。
• 比较 OCR pipeline、Donut、Nougat 和 VLM 原生每页的 token 预算。

交付它

本课产出 outputs/skill-document-ai-stack-picker.md。给定一个文档 AI 项目（领域、规模、质量、监管），在 OCR pipeline、无 OCR 专才和 VLM 原生之间选择。

练习

1. 你的项目每天处理 1000 万张发票。哪种栈能在不损失准确率的前提下最小化每页成本？

2. 为什么 LayoutLMv3 在表单问答上优于纯 CLIP-VLM，但在场景文本上不如？bbox 流放弃了什么？

3. Nougat 生成 LaTeX。提出一个 VLM 原生输出在 LaTeX 保真度上胜过 Nougat 的测试用例，以及一个 Nougat 胜出的用例。

4. 阅读 PaliGemma 2 论文（Google，2024）。相比 PaliGemma 1，提升文档准确率的关键训练数据新增是什么？

5. 设计一个监管安全的混合方案：OCR pipeline 为主，VLM 为二级交叉核对。你如何解决分歧？

关键术语

延伸阅读

• Li et al. — TrOCR (arXiv:2109.10282)
• Blecher et al. — Nougat (arXiv:2308.13418)
• Huang et al. — LayoutLMv3 (arXiv:2204.08387)
• Kim et al. — Donut (arXiv:2111.15664)
• Wang et al. — DocLLM (arXiv:2401.00908)

示意图共 1 张