锯齿智能与多模型调度
年初我们做过一轮内部模型选型评测，结论挺打脸的：团队主观投票「聊起来最聪明」的那个模型，在我们真实 Agent 负载（长工具链调用、改代码、查数据）的评测上排倒数。反过来，一个大家聊天时嫌它「木讷」的模型，跑长程任务稳得像老黄牛。
当时我们把这个结果归为评测集没做好。后来读到 Karpathy 的一个说法，才意识到这不是评测误差，是这一代模型的结构性质——他管它叫 jagged intelligence，锯齿智能：模型能力不是平滑分布的，是有高峰有断崖的锯齿。
他举的例子很传神：最先进的模型能重构十万行代码、能找零日漏洞,却会一本正经建议你「走路去洗五十米外的车」——忘了车得跟人一起到场。
锯齿是怎么长出来的
成因不神秘，理解了成因就理解了锯齿的走向。前沿实验室把数学、代码这类可验证的任务大规模构造成训练信号喂进 RL——答案对不对、测试过不过，机器能自动打分，于是可以无限刷。模型在这些「靶场」上练出一座座能力高峰。而缺乏可验证信号的地带——大量日常判断、模糊场景的常识——提升慢得多，形成谷底。
两个直接推论：
一，「这个模型更聪明」是个残缺的表述，必须补上「在什么任务上」。我们那次评测的教训就在这——聊天体验测的是一座峰，Agent 负载踩的是另一座，两座峰之间没有必然联系。
二，锯齿短期不会磨平，反而在加深。看各家的产品路线就知道：有的押注低幻觉和事实准确，有的押注长程任务续航，有的押注超长上下文加推理速度，有的押注极致性价比。厂商在主动差异化，边界只会越来越清晰。
所以调度是个架构问题
既然没有全能冠军，结论自然是按任务路由。当下（2026 年中）的路由手感大概是：事实准确性敏感的选幻觉率最低的；十小时以上长程任务选续航实测最强的；超大上下文选原生百万窗口的；预算敏感的批量任务选性价比档——同能力档位之间价差能到五倍，这个差价大到不容忽视。
具体型号我故意不点名，这张表每个季度洗一次牌，写下来就过期。会过期的是排名，不过期的是「按任务画像路由」这个结构。
我们的落地方式是一层内部网关：所有 AI 能力统一入口，业务方声明任务类型而不是指定模型。协议上依托一个现成的便利——主流厂商都提供 OpenAI 兼容端点，抽象层做好后接入新模型基本等于加一段配置。网关后面四件事：按类型路由、同档位保底两条渠道自动故障转移、分模型记录成功率/成本/延迟、用这些数据每月修正路由表。
这层网关是年初评测之后立项的，现在回看是那次「打脸」最值钱的产出：模型下线、涨价、被更强的取代，业务代码零改动。上个月一个模型突然调价，我们改了一行配置完成迁移——隔壁没做抽象层的团队改了一周代码。
任务画像怎么打
「按任务画像路由」说起来轻巧，画像具体打什么标签？我们网关现在用四个维度，都是从踩坑里倒推出来的：
可验证性——任务产出能不能机械判对错。能（代码有测试、SQL 有结果比对）的任务可以放心用便宜模型加重试兜底，反正错了会被抓住；不能（写方案、做判断）的任务必须上事实准确性最强的档位，因为错误会静默通过。这个维度对成本的影响最大——很多团队给「有测试兜底」的任务配旗舰模型，纯浪费。
上下文量——预估输入规模。超过某个门槛（我们定在 15 万 token）直接路由到大窗口模型，不然截断和分块的质量损失比模型差异大得多。
时长/轮次——预估工具调用轮数。超过 50 轮的长程任务，只路由给续航评测达标的模型，这个名单我们每季度用真实任务重测一次。
事实敏感度——错误的业务后果。对外输出、涉及数据订正的，锁定低幻觉档位并强制人工复核；内部草稿随意。
四个维度打完，路由表其实很小——我们线上真正的路由规则不到二十条。画像的意义不在精细，在于逼着接入方在申请时想清楚自己的任务是什么性质——很多次架构讨论的价值就发生在填画像表的那十分钟。
三个坑,都踩过
用聊天体验做选型。开头讲了,不重复。补一个细节：长工具链场景有个专属退化模式——前十几次调用很正常，二三十次之后开始遗忘早先的约束、重复已做过的操作。这种「续航型」缺陷聊天永远测不出来，必须拿真实任务的完整轨迹测。
路由只看单价。前缀缓存那篇讲过的教训在这里复发过一次：网关早期版本按请求粒度贪心路由,把长会话在两个模型间来回倒，两边缓存都养不热，「省钱」路由实际更贵。修复：路由粒度改成会话级，成本函数把缓存状态算进去。
低估多模型的持有成本。每接一个模型，不只是加个 endpoint——它对提示词风格、工具 schema、编辑格式的偏好都可能不同（编辑格式那篇的 16 模型测试就是证据），你得为它维护一份评测基线、一套回归用例。我们巅峰期接过七个模型，后来主动砍到四个。三个精心维护的模型，好过八个裸奔的。
锯齿的人间侧
最后说个技术之外的观察。锯齿智能有个不太被讨论的镜像推论：模型的能力谷底，就是人的价值高地。
模型在可验证任务上一骑绝尘，那么「定义什么是可验证的」「在模糊地带做判断」「识别模型此刻正站在哪个断崖边」——这些谷底位置就是人的新岗位。我在团队里的直观感受印证这一点：AI 用得越深，越依赖那几个「知道模型什么时候不可信」的人。他们不一定是代码写得最快的，但他们的判断在定价上涨。
所以「哪个模型最强」真的是个没营养的问题。有营养的问题有两个：这个任务的画像匹配哪座峰？以及——我自己站在哪个谷里，站得够不够深。