硬核横评
硬核横评

同一张自测表 24 项第一,为什么还不能说赢

百度官方模型卡给出一张 30 项评测表,把 ERNIE-5.5-Flash-Base(280B/14B)与 DeepSeek-V4-Flash-Base(284B/13B)、Hy3-preview-Base(295B/21B)、MiMo-V2.5-Base(310B/15B)放在同一套评测框架、相同 prompt 与 few-shot、同一裁判模型下对比。官方自测口径下 ERNIE 在 30 项中拿下 24 项第一,MMLU 93.3、MMLU-Pro 78.4、HumanEval+ 82.3、LiveCodeBench 40.1、RepoQA 91.7;另有 6 项不是第一,包括 ChineseSimpleQA、BBH 思维链、INCLUDE-lite、FullStackBench、HELMET-Rerank 与 InfiniteBench。本文不是许可证横评,只谈这张自测表能说明什么、不能说明什么:仍是厂商自己跑的自测且未见第三方复现,四款都是未经后训练的 Base checkpoint,分数不等于聊天或智能体体验,不同榜单设置不同严禁跨榜比较;并给出激活占比、KV cache、128K 训练与 1M 推理外推、后训成本等选型维度。

发布于 2026年11月6日9 分钟阅读
<!-- base-model-benchmark-comparison-review | review | 同一张自测表 24 项第一,为什么还不能说赢 -->

先把分工说清楚,免得和站内旧文、以及同一批的另外三篇撞了角度。站内 2026 年 10 月 23 日的《都喊开源,谁能跑上桌:五款大模型协议横评》做的是许可证成色分级,逐条比对许可条款、适用地域与营收门槛;本篇不是许可证横评,许可这件事只在选型末尾用一句话带过。站内 2026 年 8 月 29 日的《腾讯 770B 只激活 49B:五款万亿级开源旗舰横评》谈的是 700B 至 2.8T 级参数与显存门槛,本篇把镜头换到 280B 至 310B 级、停在预训练终点的 Base 基座,重心不是「谁更大」,而是「同一张自测表该怎么读」。同一批里,热点篇讲 2026 年 11 月 5 日的发布事件与许可边界,回答「权重给了能不能叫开源」;SOP 篇讲怎么把模型装起来、跑通第一条推理;本篇只做评测方法论与四款基座的选型,不复述发布过程,不写命令行,也不逐条拆许可。一句话:那三篇回答「是什么、能不能用、怎么装」,本篇回答「这张分数表凭什么可信、又凭什么不能全信」。

一、先把四款基座和这张表摆出来

2026 年 11 月 5 日,百度把 ERNIE 5.5 Flash Base 以开放权重形式上架,HF 官方模型卡里随附了一张 30 项评测表。这张表不是百度单独跑给自家模型看的,而是把四个 Base checkpoint 放在同一套流程里对照:ERNIE-5.5-Flash-Base、DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base。先把最容易被误读的一句话放在前面:表里 30 项分数全部是百度统一评测流程自测、未见第三方复现,属于厂商自报口径,既不是客观排名,也不构成任何关于「谁最强」的绝对化结论。下文所有数字都带这个限定,请一并读进去。

模型总参数每 token 激活激活占比
ERNIE-5.5-Flash-Base280B14B5.0%
DeepSeek-V4-Flash-Base284B13B4.6%
Hy3-preview-Base295B21B7.1%
MiMo-V2.5-Base310B15B4.8%

评测设置按官方博客原文:四个模型都基于各自公开发布的 checkpoint,使用同一套评测框架、相同的 prompt 与 few-shot 样例,自由问答题交同一个裁判模型判分。30 项按 Exam、Knowledge、STEM、Reasoning、Multilingual、Code、Long Context 七组排开;在这张表内,ERNIE 拿下 24 项的最高分,另有 6 项不是最高。请留意「本表内的最高分」这个说法:它描述的是百度统一评测流程自测、未见第三方复现的相对位置,换成另一套框架、另一组 prompt,名次完全可能重排。把 24 项第一直接读成「赢了」,是这张表最容易被滥用的一步。

二、「同一把尺子」到底统一了什么

这张表真正的价值,不在分数本身,而在它把跑分里最会掺水的几个变量摁住了。评测圈早有共识:同一个模型,换个 harness、换套 prompt、多给几个 few-shot 样例、换一个裁判模型,分数能差出一截,agent 类任务尤其夸张,脚手架越重分越虚。厂商各自发榜时,这些变量都握在自己手里,用户横向一比,比的往往是工程包装而不是模型能力。百度这次把四个模型收进同一套评测框架、同一组 prompt 与 few-shot、同一个自由问答裁判模型,等于把「尺子」统一了:剩下的分差至少能归因到模型本身,而不是谁家脚手架调得更狠。对做选型的人来说,这类统一口径的自测表比四份各自为政的发布会材料有用得多,因为它给了一个可核对的起点。但「统一了尺子」和「尺子可信」是两件事,下一节专门拆后半句。

三、这把尺子仍然没解决的五件事

第一,它仍是厂商自测。跑分由发布方自己完成,百度统一评测流程自测、未见第三方复现,没有独立机构把四个 checkpoint 用同一套脚本重跑一遍并公开结果。自测不等于造假,但自测的结论只能当自报口径,不能升级成客观排名。

第二,四款都是预训练终点的 Base checkpoint。官方定位写得很清楚:未经中训练与后训练,是给领域适配、指令微调、强化学习研究用的共同起点,不是聊天模型。所以这 30 项测的是「继续训练的底座成色」,不是对话框里的体验,更不是智能体完成任务的能力。拿它给助手产品背书,是错位的。

第三,分数只在这张表内可比,严禁跨榜。Terminal-Bench、Agent Arena、AA Intelligence Index 各自有独立的任务集、脚手架、算力预算与评分规则,评测设置互不相同,不可横向对齐。不能因为这张表里 24 项占优,就推到「某个 Agent 榜也是第一」;反过来也不成立。跨榜比较是本批最要守的红线。

第四,表里只有分数,没有成本。它不提供吞吐、延迟、显存占用、并行配置,也不提供另外三家的架构、上下文长度、许可证、训练数据或部署成本。官方表前两行只给了总参与激活参数,本篇据实照录,凡表外的一律不推测、不补齐。

第五,24 项第一不等于全面领先。6 个失手项集中在边界清晰的具体能力上,恰恰说明「领先」是有结构的。把这五件事叠起来看,正确的读法是:这是一份口径统一、但仍是自测、且只测 Base 的参考起点。

四、逐项读那 6 个失手项

项目ERNIE-5.5-Flash-Base本表最高分的对手对手分数
ChineseSimpleQA73.0DeepSeek-V4-Flash-Base75.3
BBH (CoT)89.2Hy3-preview-Base90.0
INCLUDE-lite79.5DeepSeek-V4-Flash-Base79.8
FullStackBench54.6Hy3-preview-Base56.7
HELMET-Rerank56.2DeepSeek-V4-Flash-Base60.0
InfiniteBench46.5DeepSeek-V4-Flash-Base48.0

口径照旧:六项均为百度统一评测流程自测、未见第三方复现,对手分数取本表内该项最高值,不代表任何跨榜比较。

ChineseSimpleQA 考中文事实问答,本表最高分是 DeepSeek-V4-Flash-Base 的 75.3,ERNIE-5.5-Flash-Base 是 73.0。这类题拼的是中文世界知识的精确记忆,它说明 ERNIE 在中文知识类并非全面占优,把「24 项第一」顺手读成「中文全能」会出错。

BBH (CoT) 考带思维链的长链推理,最高分是 Hy3-preview-Base 的 90.0,ERNIE 是 89.2,是六项里分差最小的一档。要留意这是 CoT 设置下的结果:同一类能力换一套 prompt、去掉思维链,名次可能重排,单项分数不能外推成推理能力的整体高下。

INCLUDE-lite 考多语言覆盖,最高分是 DeepSeek-V4-Flash-Base 的 79.8,ERNIE 是 79.5,同样只差一线。做多语场景选型时,总胜场帮不上忙,得看这一格。

FullStackBench 考全栈工程代码,最高分是 Hy3-preview-Base 的 56.7,ERNIE 是 54.6。有意思的是,代码组里 ERNIE 在 HumanEval+ 82.3、MBPP+ 81.5、LiveCodeBench 40.1、RepoQA 91.7 上都拿到本表最高,偏偏全栈这一格落后。可见「代码强」必须拆到子能力看,一句概括会骗人。

HELMET-Rerank 考长上下文里的重排,最高分是 DeepSeek-V4-Flash-Base 的 60.0,ERNIE 是 56.2,是六项里分差最大的一档。长上下文组里 ERNIE 在 HELMET-ICL 85.9、RepoQA 91.7、LongBench-v2 48.7 上领先,重排却落后,正说明长文能力不是一个分数能概括的。

InfiniteBench 考超长文档,最高分是 DeepSeek-V4-Flash-Base 的 48.0,ERNIE 是 46.5。它和 HELMET-Rerank 一起指向同一件事:ERNIE 那套训练上下文 128K、微调与推理支持 1M 的长上下文设计,在这张自测表上并没有把每一项长文基准都推到本表最高。

把六项连起来看,失手集中在中文事实问答、带 CoT 的推理、多语覆盖、全栈工程、重排与超长文档;而 24 项第一主要分布在 Exam、STEM、代码基础题与长上下文的多数项上。「领先不等于全面」不是一句客气话,是这张表自己写出来的结论,且全属百度统一评测流程自测、未见第三方复现。

五、领先项怎么读:十个可核对的样本

项目ERNIE-5.5-Flash-BaseDeepSeek-V4-Flash-BaseHy3-preview-BaseMiMo-V2.5-Base
MMLU93.389.487.587.6
MMLU-Pro78.469.266.965.7
HumanEval+82.369.578.074.4
MBPP+81.567.278.374.3
LiveCodeBench40.131.933.532.4
GPQA60.255.950.251.4
RepoQA91.781.091.356.5
LongBench-v248.744.539.844.6
HELMET-ICL85.983.883.080.2
PIQA96.095.095.293.6

全表为百度统一评测流程自测、未见第三方复现,数值按官方模型卡原样列出,只用来说明「同一把尺子」下的相对位置,不构成客观排名。

这一组样本最该读出的,是「同一能力内部也不齐」。MMLU 93.3 与 MMLU-Pro 78.4 之间、HumanEval+ 82.3 与 LiveCodeBench 40.1 之间,落差来自题目难度与评测方式的差别,不是模型忽强忽弱;RepoQA 上 ERNIE 91.7、Hy3-preview-Base 91.3 几乎贴身,MiMo-V2.5-Base 则是 56.5,同组模型在不同子项上各有强弱。统一口径的好处此刻最明显:这些高低是在同一套框架、同一组 prompt 与同一个裁判模型下跑出来的,横向看相对位置是干净的。但请始终记住它们是自测口径,选模型时更该拿自己任务的同类题复跑,而不是抄一个总分。

六、选型:分数之外要算的六笔账

第一笔是激活占比与每 token 算力。四款的总参与激活参数分别是 280B/14B(约 5.0%)、284B/13B(约 4.6%)、295B/21B(约 7.1%)、310B/15B(约 4.8%)。激活参数决定每 token 的实际计算量,总参数决定权重体积与显存占用,两者要分开算;只看总参数或只看激活,都会把成本估偏。

第二笔是 KV cache 与长上下文实现,这一笔只对 ERNIE 成立。官方口径里,43 层中有 37 层用 HCA 重度压缩注意力,每 128 token 才压缩成一条缓存条目,另有 6 层 MLA-DSA 保留 token 级全上下文访问;训练上下文 128K,微调与推理支持 1M。这套设计直接决定长序列下的显存与吞吐,但它只适用于 ERNIE,另外三家官方表没有提供同类细节,本篇不做推测。想核对实现或接入推理,可以从 PaddlePaddle/FlashMask 与 baidu/vLLM-ERNIE 这两个仓库起步。

第三笔是 128K 与 1M 的外推边界。训练 128K、微调与推理 1M 是 ERNIE 的官方口径,意味着 1M 属于外推区间而非预训练原生长度;真要用到这个量级,得用自己的任务复跑验证,不能只看表里 LongBench-v2 48.7 或 InfiniteBench 46.5 这类单点分数。

第四笔是后训练成本。四款都停在预训练终点,要变成能用的助手还得自己补中训、指令微调与对齐,相关方法见 Base 后训 SOP。这张表测的是「继续训练的共同起点」,不是「开箱即用的产品」;想省掉这段投入,更稳妥的是等官方后训练版。

第五笔是部署引擎与并行配置。280B 级权重的显存账、并行切分与服务化都得另算,门槛可参考 显存测算 SOP。这张自测表不含吞吐、延迟与硬件配置,分数高不等于跑得起、跑得便宜。

第六笔是许可地域,一句带过:ERNIE 5.5 Flash Base 是开放权重而非无条件开源,自定义许可有适用地域与营收门槛,条款核对请看 协议横评,本篇不逐条展开;另外三家官方表同样未给许可信息,不做推测。

七、结论

要继续训练、做领域适配,就选成色清楚、评测口径写在明处的 Base,把这张表当「同一条件下的参考起点」;要开箱即用,等官方后训练版,别拿预训练终点的分数替产品体验背书。任何选型最后都该回到自己的任务:挑几类真实样本盲跑几遍取均值,比盯住 24 项第一有用得多。再强调一次口径:全篇数字都是百度统一评测流程自测、未见第三方复现,既不是客观排名,也不跨榜对齐,更不能包装成任何跨榜的绝对化结论。

常见问题

Q1:24 项第一,是不是就能说 ERNIE 赢了? A1:不能。这批数字是百度统一评测流程自测、未见第三方复现,属于自报口径而非客观排名;30 项里有 6 项不是本表最高;四款又都是未经后训练的 Base,分数不等于对话或智能体体验;再加上严禁跨榜,任何「赢了」的结论都站不住。

Q2:这张表能和 Terminal-Bench、Agent Arena、AA Intelligence Index 放一起比吗? A2:不能,严禁跨榜。几套榜单的任务集、脚手架、算力预算与评分规则各不相同,评测设置不可横向对齐,这张表的名次既不能推到那些榜上,也不能从那些榜反推回来。

Q3:四款都是 Base,分数能代表实际对话体验吗? A3:不能。四款都是停在预训练终点、未经中训练与后训练的 checkpoint,是给继续训练用的共同起点,不是聊天模型。想开箱即用,等官方后训练版,或自己补后训练。

Q4:另外三家的上下文、许可证和部署成本,这张表里有吗? A4:没有。官方表前两行只给了总参与激活参数,本篇据实照录、不做推测。训练 128K、微调与推理 1M、37 层 HCA 每 128 token 一条缓存、6 层 MLA-DSA 这些只适用于 ERNIE,不能套到另外三家。

Q5:那我该拿这张表做什么? A5:当同一条件下的参考起点。它统一了框架、prompt、few-shot 与裁判模型,适合拿来框定候选、看相对强弱;但仍是自测、未见第三方复现,最终要在自己的任务上复跑,并结合激活占比、KV cache、128K 与 1M 外推、后训成本与部署门槛一起算账。

延伸阅读

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-11-06

常见问题

24 项第一,是不是就能说 ERNIE 赢了?
不能。这批数字是百度统一评测流程自测、未见第三方复现,属于自报口径而非客观排名;30 项里有 6 项不是本表最高;四款又都是未经后训练的 Base,分数不等于对话或智能体体验;再加上严禁跨榜,任何「赢了」的结论都站不住。
这张表能和 Terminal-Bench、Agent Arena、AA Intelligence Index 放一起比吗?
不能,严禁跨榜。几套榜单的任务集、脚手架、算力预算与评分规则各不相同,评测设置不可横向对齐,这张表的名次既不能推到那些榜上,也不能从那些榜反推回来。
四款都是 Base,分数能代表实际对话体验吗?
不能。四款都是停在预训练终点、未经中训练与后训练的 checkpoint,是给继续训练用的共同起点,不是聊天模型。想开箱即用,等官方后训练版,或自己补后训练。
另外三家的上下文、许可证和部署成本,这张表里有吗?
没有。官方表前两行只给了总参与激活参数,本篇据实照录、不做推测。训练 128K、微调与推理 1M、37 层 HCA 每 128 token 一条缓存、6 层 MLA-DSA 这些只适用于 ERNIE,不能套到另外三家。
那我该拿这张表做什么?
当同一条件下的参考起点。它统一了框架、prompt、few-shot 与裁判模型,适合拿来框定候选、看相对强弱;但仍是自测、未见第三方复现,最终要在自己的任务上复跑,并结合激活占比、KV cache、128K 与 1M 外推、后训成本与部署门槛一起算账。

相关文章

硬核横评

涨价之后怎么选:11 个模型的真实 token 成本横评,把峰谷、缓存与 tokenizer 三重口径算进去

模型标价至少套着三层衣服,只看标价等于只看最外面那层:时段(DeepSeek 8 月 17 日起峰谷计价,工作日 9:00–12:00 与 14:00–18:00 为高峰、闲时减半、周末全天闲时,同一模型单价差一倍)、缓存(命中前缀缓存的输入 token 单价远低于标准输入,变量不在厂商手里而在你的提示词结构里)、分词(Sonnet 5 换分词器后相同输入映射 1.0 到 1.35 倍 token 数,且倍数随内容类型浮动)。本文统一口径为「综合单价 =(输入单价 + 输出单价)÷ 2」,即假设输入输出 token 数量相等,作为中立起点,再给三种典型负载比重的重算结果,并覆盖 11 个模型的标价、缓存命中价、峰谷价与分词放大后的实际位置。结论不是「哪个模型最便宜」,而是「不存在最便宜的模型,只存在对你这个负载最便宜的模型」——脱离输入输出比重、缓存命中率与内容类型给出的比价,只是在比标价而非比成本。国内模型价格来自 2026-08-24 逐页复核、8-28 再复核的官方定价页速查表,海外价格来自 2026-08-31 汇总,存在口径冲突的项目文中逐条标注。未做实际调用压测。

2026年8月31日9 分钟阅读
硬核横评

TrnRT、Kindi、Baseten 引擎:一张许可证禁止托管

把 TrnRT、Kindi、Baseten 三个 2026 年 10 月下旬出现的推理引擎仓库摆在同一张表上,主轴是许可证与硬件路线,不是选型推荐或性能跑分。Apache License 2.0、Elastic License 2.0、GNU AGPL v3.0 三值并存,其中一张 LICENSE 逐字写明不得把软件作为托管服务提供给第三方,GitHub 对其判 NOASSERTION,只按原文写不替官方下结论。硬件侧从 Trainium2、GB300 到 Quadro K420 与 RTX 3080 各按 README 自报写清,star 按累计总量,不写 growth score 与单日增量。

2026年11月16日9 分钟阅读