
由四川大学牵头,联合联合西安交通大学、研究也中国电信TeleAI及北京大学共同完成的不需标准研究成果,以预印本形式于2026年6月发布,答案论文编号为 arXiv:2606.25319。视觉感兴趣的推理研究者可通过该编号在arXiv平台获取完整论文。
长期以来,联合教会AI“看图说话”相对容易,研究也但让其真正掌握“看哪里”却极具挑战。不需标准例如,答案面对复杂街景询问“右下角路牌内容”时,视觉用户期望AI能精准聚焦关键细节,推理而非模糊扫描全图。联合这种能力被称为细粒度视觉推理(Fine-grained Visual Reasoning),研究也即让AI在海量视觉信息中精准定位关键线索,不需标准而非进行笼统的整体理解。
然而,现有主流方法在实现这一能力时面临巨大瓶颈:
1. 有监督微调(SFT):依赖海量带标准答案的图文数据,标注成本高昂,且易导致“灾难性遗忘”,即AI在学习新知识时遗忘原有能力。
2. 强化学习(RL):虽灵活性高,但需预设奖惩规则,且训练过程消耗惊人(需数天GPU算力)。
针对上述局限,研究团队提出了核心问题:能否在不依赖大量标准答案标注、不耗费巨额计算资源的前提下,切实提升AI的视觉推理能力?答案即是本文主角——V-Zero框架。
理解V-Zero的关键在于其基础训练范式——在策略蒸馏(On-Policy Distillation, OPD)。
研究团队指出,OPD本质上是“无负例的停梯度对齐”:
* 停梯度:老师模型作为固定参照,不参与梯度更新,不受学生影响。
* 无负例:训练目标仅让学生向老师靠拢,没有明确的“反面案例”来指示错误路径。
这一特性虽保证了指导的针对性,但也埋下了隐患。
回到写作类比:如果学生在第二段就偏离主题(如将“交通安全”写成“旅游攻略”),老师虽能逐句润色,却无法从宏观上纠正“方向性错误”。
这就是标准OPD的核心局限:缺乏轨迹级别的判别能力。在视觉推理中,若AI初始注意力未聚焦关键区域,后续推理即便流畅,最终结果仍可能错误,而老师模型难以指出“整条思路因看错地方而无效”。
V-Zero的设计正是为了填补这一漏洞。
V-Zero通过引入“正面图”与“反面图”的对比机制,判断AI推理是否依赖了正确的视觉信息。
每道题准备三种视觉输入:
1. 完整原图:学生模型生成推理的标准输入。
2. 正向证据视图:裁剪出与问题直接相关的区域(如路牌特写)。
3. 负向证据视图:将原图缩小后,从无关区域随机截取同等大小图片。
优势:无需人工标注文字答案,仅需低成本的关键区域视觉标注(Bounding Box)。
V-Zero的训练算法执行流程如下:
推理阶段:学生模型仅接收完整原图和问题,无需任何额外操作或外部工具,所有“看局部”的能力已内化至模型参数中。
研究团队基于阿里巴巴Qwen3.5系列模型(学生:4B,教师:27B)在多个基准测试中评估V-Zero。
相比Qwen3.5-4B基础模型,V-Zero在以下测试集上显著提升:
* VStar:+4.7%
* HR-4K(4K图像理解):+3.4%
* HR-8K(8K图像理解):+2.5%
* ZoomBench(小目标定位):+5.6%
* 平均分:从75.3提升至79.2(增幅>3%)
研究团队通过对照实验验证了V-Zero各组件的有效性:
注意力可视化结果显示,V-Zero切实改变了模型的视觉聚焦方式:
* 海报文字识别:DeepEyes和ZwZ未能有效聚焦,V-Zero激活强度更高,定位更准确。
* 限速路牌识别:V-Zero在路牌区域产生最强注意力激活。
* 多目标定位(卡车与电车):V-Zero是唯一能同时清晰定位两个目标的方法,其他方法往往顾此失彼。
V-Zero的核心贡献在于:仅凭“关键区域”这一视觉信号,无需文字答案,即可教会AI在视觉推理中“看对地方”。
感兴趣者可访问 arXiv:2606.25319查阅论文,代码及数据集将在GitHub公开。
Q1:V-Zero训练时需要准备什么数据?
A:无需文字答案。仅需准备:原图、对应问题、以及标注关键区域的边框(Bounding Box)。系统会自动裁剪正向证据(关键区域)和负向证据(随机无关区域)。推理时仅使用原图。
Q2:V-Zero和强化学习方法相比优势在哪里?
A:
1. 速度:V-Zero约4.8小时,DeepEyes等RL方法需约2天,速度快10倍以上。
2. 规则设计:RL需预设复杂的对错规则,难以适用于开放性问题;V-Zero通过正负视觉对比自动评估推理质量,无需预设答案验证规则。
Q3:V-Zero提升视觉推理能力会不会影响模型的其他能力?
A:不会。实验显示,V-Zero在MMStar通用多模态测试中得分(74.4)高于基础模型(71.8),表明视觉推理能力的提升伴随通用理解能力的改善,未出现“灾难性遗忘”。