内容摘要：当全行业聚焦于下一个 SOTAState-of-the-Art）模型的突破时，真正的变革正悄然发生在模型推理的前端。在过去的一年中，Router路由层）的角色已发生根本性转变：从单纯的“请求分发代理”

当全行业聚焦于下一个 SOTA（State-of-the-Art）模型的个神突破时，真正的器让变革正悄然发生在模型推理的前端。

在过去的单次调用一年中，Router（路由层）的背后角色已发生根本性转变：从单纯的“请求分发代理”，进化为模型推理的藏支核心“总指挥”。其核心目标已扩展至以下三个维度：

• 成本优化：精准判断何时必须调用前沿大模型，模型何时使用开源 SOTA 模型，协作小队或本地小模型已足以应对。个神
• 安全防护：针对法律、器让医疗、单次调用金融、背后未成年人保护及企业机密等敏感领域，藏支自动切换至更严格的模型模型，或启用更强过滤器、协作小队校验机制，个神甚至触发人工确认流程。
• 云边协同：智能决策哪些低延迟请求由边缘端（如 AI PC 上的本地模型）处理，哪些复杂任务需升级至云端由更强模型接管。

上述能力标志着 Router 从传统的路由转发，演进为具备“系统智能”的决策中枢。

vLLM 社区推出的 Semantic Router不仅深耕上述三大方向，更提出了一个核心观点：Router 不仅是模型的选择器，更是能力的构造器。

用户无需修改模型权重，也无需让每个 Agent 团队重复搭建复杂的 Graph 架构。只需通过一次普通的 Model API 调用，Router 即可在内部组织起一支具备边界约束、预算控制、验证机制及回退策略的“协作小队”。

图 1：Router 正在从“模型选择层”进化为“能力构造层”。

近期备受关注的日本 AI 公司 Sakana Fugu 及其推出的 Fugu 模型，正是这一理念的商业化实践：用户感知的是一个虚拟模型，背后实则是一组动态协作的模型集群。

相比之下，vLLM Semantic Router 团队自 2025 年初起便专注智能路由领域，通过开源协作推出了 Micro-Agent解决方案。

用户依然只调用一个模型接口：

但在稳定的模型表象之下，Router 根据意图智能选择路由配方（Recipe），将请求分发（Fan out）至多个 Worker，收集多数共识（Quorum），判断分歧，合成最终答案，修复输出格式，最后返回标准的 OpenAI-compatible 响应。

整个协作过程对上层应用透明，如同调用普通模型般简单。

Looper：将 Micro-Agent 嵌入 Serving Runtime

在 vLLM Semantic Router 的架构中，Looper是 Micro-Agent 的运行时引擎。

当请求进入 Router 时，它首先被视为一条标准的 Chat Completion。Router 从多维度抽取异构的语义信号（Semantic Signals），将其投影为可用于策略判断的低维向量，包括任务形态（Task Shape）、难度（Difficulty）、风险等级（Risk）及合同约束压力（Contract Pressure）。基于这些信号，Router 匹配相应的路由算法——无论是单模型匹配，还是多模型协作的 Loop 模式。

当前，Looper 支持五种核心模式：

1. Confidence（置信度升级）：基于置信度自动升级。先尝试低成本或小参数模型，若置信度不足则向上升级。
2. Ratings（评分聚合）：并行启动多个候选模型，利用评分感知权重（Rating-aware Weights）进行结果聚合。
3. ReMoM（重复混合推理）：针对高方差推理任务。发起并行推理，采集足够有效结果后进行合成。
4. Fusion（融合模式）：采用 Panel、Judge、Finalizer 架构。不单纯投票，而是将多个独立答案转化为一致性、矛盾点及独特见解等证据。
5. Workflows（工作流）：具备角色、计划及验证器的 Micro-Agent 动态工作流。可调度 Planner/Worker/Verifier/Finalizer 等角色解决复杂问题。

图 2：Looper 在 Router 内部运行 Micro-Agent，同时保持外部 Model API 不变。

我们在工程实现上保持克制，确保不同 Looper 算法能综合控制预算、拓扑结构、并发数、超时时间、重试机制、回退策略、输出契约及可观测性，从而保障路由过程的可靠性与稳定性。

1. Confidence：将升级聚焦于难题

Confidence 是一种成本感知循环（Cost-aware Loop）。它首先使用较小或较便宜的候选模型生成答案，并通过 Token-level Log Probability、Logprob Margin、混合评分、自验证（Self-verification）或 AutoMix 风格的蕴含验证器生成置信度信号。

• 机制：若分数超过阈值，直接返回；若不足，则路由至下一个候选模型。
• 价值：将“是否升级”从应用层的隐式逻辑，转化为 Router 的显式策略。阈值、失败行为及停止条件均可配置、观察及复现。

图 3：Confidence 将模型升级转化为可度量的停止策略。

2. Ratings：硬上限约束下的并行质量控制

Ratings 是一种受控集成循环（Controlled Ensemble Loop）。它并行启动多个候选模型，但严格限制在配置的 max_concurrent上限内。

• 机制：吸收多个模型视角，避免无边界 Fan-out。Router 收集成功返回，按评分感知权重聚合，并按预定义策略处理失败。
• 适用场景：A/B 测试评估、集成策略，以及操作员已具备候选模型质量信号的场景。

图 4：Ratings 使多候选执行保持有界，并将评分信号纳入聚合过程。

3. ReMoM：有契约的广度探索

ReMoM 专为高推理方差任务设计。

• 机制：展开广度样本（Breadth Samples），让多个 Worker 独立产生证据；通过最小成功共识（Minimum-success Quorum）判断是否有足够有效材料；最后由合成模型合并证据并修复为目标输出格式。
• 优势：这并非简单的“三模型投票”，而是一条具备共识、合成及回退能力的服务路径。若合成轮次失败，但前期已获取有效证据，Router 可回退至最佳有效证据，仍返回正常 API 响应，避免直接失败。

图 5：ReMoM 将广度、共识、合成及回退机制转化为服务时控制手段。

4. Fusion：将分歧转化为信号

Fusion 基于一个微妙假设：最有价值的往往不是平均答案，而是分歧结构。

• 机制：多个 Panel 答案被整理为证据图。一致性、冲突点及独特见解被交由 Judge 和 Finalizer 处理。用户仅看到一个答案，但 Router 内部已通过分析分歧实现了质量增强。
• 适用场景：硬推理、专家判断及精确答案任务。因为最危险的失败并非模型犹豫，而是模型自信地出错。

图 6：Fusion 不隐藏分歧，而是将其转化为增强质量的证据。

5. Workflows：有边界的 Micro-Agent 模式

Workflows 是最接近 Agent 形态，但也最需要边界约束的模式。

• 机制：Planner 制定计划，但仅能选择预授权的 Worker Models。计划必须可校验，每一步均受最大步数、最大并发、超时及错误策略限制。Finalizer 必须将结果收敛至输出契约（Output Contract）。
• 价值：Router 可表达 Planner、Patcher、Verifier、Finalizer 等角色，无需应用层维护脆弱且复杂的 Agent Stack。

图 7：Workflows 为 Router 提供受约束的角色系统，而非无边界的自主 Agent。

Auto Recipe：一个模型名称，多种协作模式

vllm-sr/auto的设计哲学并非让用户“永远运行最强的 Loop”，而是让 Router 根据语义和上下文，为当前请求选择最合适的协作模式。

难度、风险、格式约束、延迟及成本不再是 Prompt 中的注释，而是路由事实（Routing Facts）。它们决定此次请求应走 Confidence、Ratings、ReMoM、Fusion、Workflows 还是回退路径。

图 8：Auto Recipe 利用信号选择协作模式，同时保持单一模型身份。

Loop 是万能的吗？

评估实验表明：没有一种 Loop 能在所有基准测试中达到最优。

更准确的结论是：最好的 Loop 是由任务形态（Task-shaped）决定的。

• GPQA-Diamond：需保证多选契约（Multiple-choice Contract）。
• LiveCodeBench：需具备可运行代码、隐藏测试鲁棒性及严格的输入输出格式。
• Humanity’s Last Exam (HLE)：需处理分歧、长推理及精确答案。
• SWE 任务：天然需要 Planner、Patcher、Verifier、Finalizer 流程。

因此，vllm-sr/auto的真正价值不在于将所有请求拖入昂贵的协作流程，而在于提前感知请求形态，并匹配相应的 Recipe。

图 9：不同基准测试对应不同 Recipe，Router 利用信号和投影选择最佳协作路径。

在我们的实验中，这些形态被显式写入路由策略：

• GPQA-Diamond：使用严格的 ANSWER: X契约，防止合成过程破坏选项格式。
• LiveCodeBench：识别约束条件、起始代码、标准输入、浮点容差、超时风险及隐藏测试风险。
• HLE：识别形式化推理、分歧风险、长上下文及精确答案压力，进而选择更深度的 ReMoM、小型 Fusion 或回退路径。

这证明 Router 侧的模型协作不仅仅是 Prompt Engineering。Prompt 仅是其中一层，真正的 Recipe 还包括模型池、角色分配、推理力度、并发数、共识阈值、超时设置、合成模型、回退策略、输出契约及可观测性标签。

三个实验：分数揭示趋势

我们将当前 Recipe 应用于三个高难度基准测试：LiveCodeBench、GPQA-Diamond 及 Humanity’s Last Exam，均取得了显著成绩：

图 10：VSR Closed / VSR Hybrid 在三个高难度评估上的得分卡。

• VSR Closed：Recipe 全部使用闭源商业化模型。
• VSR Hybrid：Recipe 混合开源与闭源模型，并在高风险判断、修复、合成或回退阶段使用更强的闭源模型（相比全闭源方案具有显著成本优势）。

实验表明：混合模型协作可形成比底层单次调用更强的统一 Mixture-of-Models。其性能可接近、匹配甚至超越 SOTA 单模型基线，持平或超越 Fugu 等商业化协作模型，同时保持干净的 Model API 接口。

用户仅看到一个模型名称，而系统控制着路由配方，无需修改客户端即可快速接入。开源与闭源模型可在同一 Router 指挥下协同工作。

Model Serving 的边界正在被重塑

过去的 Serving Stack 是被动的：接收模型名称，将请求转发至后端。

下一代 Serving Stack 是主动的。它会自问：

1. 该请求具备哪些特征？
2. 它处于质量、成本、延迟、安全带的哪个阶段？
3. 单模型是否足够？
4. 若不足，应运行哪种协作算法？
5. 哪些输出契约不可破坏？
6. 若 Provider 变慢、出错或格式损坏，如何回退？
7. 如何向用户提供干净反馈，同时保留完整 Trace？

这并非应用层胶水代码，而是基础设施。

Micro-Agent 进入 Router，因为 Router 天然处于 Agent 与 Model 之间，掌握所有路由所需的语义（Semantics）及系统状态（KVCache、Load），充当系统大脑，智能路由和调度模型，最终以 OpenAI-compatible API 语义暴露服务。

---

作者介绍与致谢

本项目由来自 MBZUAI、McGill University、Mila和 Agentic Intelligence Lab的研究者共同完成，并得到 Dr. Bowei He和 Prof. Xue Liu的指导与支持。

• Dr. Bowei He：MBZUAI 和 McGill University 博士后研究员，主要研究方向为 Agentic AI。
• Prof. Xue Liu：MBZUAI 和 McGill University CS 和 ML 系教授，加拿大工程院院士，IEEE Fellow。

主要独立贡献者来自 vLLM Semantic Router 社区：Xunzhuo Liu、Huamin Chen、Yincheng Ren。

特别感谢 AMD的 Andy Luo和 Haichen Zhang提供的 AMD GPU 硬件支持，以及高性能 Model Serving 和 Evaluation 环境。

下一轮模型竞赛必将出现更强的模型，但也必将出现更强的 Router：它知道何时省钱、何时进行安全升级、何时留在边缘、何时上云，以及何时将一次请求转化为一支纪律严明的小队。

这也是 vLLM Semantic Router 团队专注的方向，欢迎大家使用并参与开源贡献！