MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents¶

arXiv: 2601.12346
版本: v1
提交日期: 2026-01-18
最后更新: —
作者: Peizhou Huang et al.
主要机构: The Ohio State University；Amazon；University of Michigan；University College London；The Chinese University of Hong Kong；University of Hong Kong
主方向: Data Synthesis
辅助标签: multimodal-deep-research, image-text-bundle, citation-grounding, benchmark
阅读状态: Seed 精读

一句话结论¶

MMDR-Bench 用 140 个、覆盖 21 个领域的 image-text bundle 任务，端到端检查视觉理解、检索、引用丰富的报告生成和图文证据一致性。

文本 benchmark 或短答案 multimodal QA 无法覆盖 Deep Research 中“读附件、连接外部来源、写长报告、维护 citation 与 visual reference 一致”的完整链路。

给模型一张图片和一段文字，让它写一篇有引用的研究报告。真正困难的是：模型既要看懂附件，又要继续上网找证据，还要让每个结论、引用和图中内容彼此对应。MMDR-Bench 专门把这条完整链路做成可评测任务。

这个问题的特点是输入不是纯文本，输出也不是一句答案，而是“报告 + 证据 + 引用 + 视觉参照”的组合。文笔好不代表 grounded；模型可能写得很像研究报告，却没有真正使用图片或引用错误来源。

输入是一张公司收入趋势图和一段业务背景。模型需要先读出图中的年份与数值，再搜索公司公告核对数字，最后写“收入变化原因”的报告，并把每个数字绑定到来源。FLAE 主要看报告质量，TRACE 看引用是否真的支持，MOSAIC 看文字和图是否一致。

每个任务提供 image-text bundle，要求模型将视觉 artifact 连接到 sourced claims。
FLAE 评估整体 report quality；TRACE 评估 citation 与检索证据对齐；MOSAIC 检查 text–visual integrity。
三套指标输出细粒度信号，支持定位“文笔好但证据错”的失败，而非只给一个总分。

作者在 25 个 state-of-the-art model 上观察到 generation quality、citation discipline 和 multimodal grounding 的系统性 trade-off。项目页和官方代码提供 scoring 脚本及数据入口。

训练/评测模型：评测 25 个 state-of-the-art 多模态/Deep Research 模型，具体型号以论文表格为准（待核对）。
Benchmark / 数据：140 个 image-text bundle 任务，覆盖 21 个领域。
对比基线：不同模型/系统的端到端 Deep Research 结果。
指标：FLAE（报告质量）、TRACE（引用与检索证据对齐）、MOSAIC（文本-视觉一致性）。
主要结果：模型在生成质量、citation discipline 与 multimodal grounding 之间存在系统性 trade-off；精确排名待核对。

这是附件输入与多模态 evidence grounding 的直接 Seed。与 TVIR 的区别是 MMDR-Bench 更强调 image-text 输入包和证据完整性，TVIR 更强调图文交错输出和视觉子目标。

数据记录应把输入 artifact、外部证据、claim、citation、视觉引用分别建模；收录论文时优先寻找能产生这些结构化中间标注的方法。