前沿热点
前沿热点

280B 只激活 14B,却把三个地区关在门外

2026 年 11 月 5 日百度发布 ERNIE 5.5 Flash Base 并开放权重:280B 总参、每 token 激活 14B、33.5T tokens 从零预训练、训练上下文 128K 与微调推理 1M,43 层中 37 层 HCA 重度压缩注意力配 6 层 MLA-DSA,512 路由专家 top-10 加 1 共享专家,FP8 与 BF16 双版权重上架 Hugging Face 与 ModelScope。这是未经中训练与后训练的预训练终点 Base checkpoint,不是聊天模型,后训练版将随后推出但未给日期。采用自定义 ERNIE 5.5 Flash Base Model License Agreement v1.0(HF 标 license: other):Territory 排除欧盟、英国与韩国;非商用免费;商用相关年收入不超过 5000 万美元须显著展示 Powered by ERNIE 并向 Baidu_ERNIE@baidu.com 发一次性通知;超过门槛须事先取得单独书面授权;另含蒸馏禁令与训练数据不交付条款。

发布于 2026年11月6日9 分钟阅读
<!-- ernie-55-flash-base-open-weights-hotspot | hotspot | 280B 只激活 14B,却把三个地区关在门外 -->

2026 年 11 月 5 日,百度 ERNIE 团队在官方博客放出 ERNIE 5.5 Flash Base,同一天把 FP8 与 BF16 两版权重上架到 Hugging Face 和 ModelScope。标题把两个数字和一句反差并排放着:一个总参数 280B、每个 token 只激活 14B 的稀疏大模型,把权重大大方方给了出来,却在许可证里把欧盟、英国、韩国三个地区明确排除在授权地域之外。权重给了,门却没全开,这正是这次发布最值得停下来读清楚的地方。本篇讲事件、架构口径与许可边界,不拆那张三十项评测表,也不写怎么把模型跑起来。

先把本篇的边界划清楚,免得撞角度。站内 2026 年 10 月 23 日的 五款大模型协议横评 逐条横比五款协议,本篇只核百度这一份新许可。批 74 的 Kimi K3.1 Pro 权重开放报道 讲 2.8 万亿参数级旗舰兑现开放承诺,本篇是 280B 级「预训练终点基座」,量级定位都不同。同批 基座横评 专讲那张三十项自测表怎么读、四款基座怎么选,本篇最多点两三个数字;同批 上手 SOP 负责装机、装载与起服务,本篇只做定性、不写操作;另一条线是 structRFM 的 RNA 基础模型开源资料,题材不相干。一句话,本篇是热点栏:把发生了什么、模型是什么、许可边界在哪说准。

先把日期和名分定准

日期得先纠偏,流传的口径不止一个。百度官方博客《ERNIE 5.5 Flash Base》发布日标注为 2026 年 11 月 5 日,同日 FP8 版 baidu/ERNIE-5.5-Flash-Base 与 BF16 版 baidu/ERNIE-5.5-Flash-Base-BF16 上架 Hugging Face 与 ModelScope,LICENSE 原文 Release date 也写 November 5, 2026,Copyright 2026 Baidu。中文科技媒体 11 月 6 日集中转载,那是转载日;Hugging Face 仓库 createdAt 显示 10 月 21 日,是先建仓、后官宣的工程安排,也不能当发布时间。三个时间戳各归各:建仓看 createdAt,发布看官方博客与 LICENSE 的 Release date,转载看媒体电头。本文统一以 2026 年 11 月 5 日为发布日。

名分更要定准。ERNIE 5.5 Flash Base 是「开放权重」模型,不是可以无条件叫「开源」的模型。它用的不是通用开源许可证,而是一份自定义的 ERNIE 5.5 Flash Base Model License Agreement v1.0,Hugging Face 模型卡明确标注 license: other,license_name 一栏写的是 ernie-5.5-flash-base-model-license-v1.0。所谓开放权重,是说权重文件可以下载、可在许可条款内使用和修改;它并不等于把训练代码、数据连同权重一起交出来,也不等于授权地域覆盖全球。后面按 LICENSE 原文逐条摆开,这里先立总口径:叫它开放权重是准确的;顺口叫开源,就把地域、营收门槛和蒸馏禁令一起抹掉了。

280B 只激活 14B:一个预训练终点长什么样

官方博客给 ERNIE 5.5 Flash Base 的定位很明确:这是从零预训练终点取出的一个 checkpoint,未经中训练与后训练,用来给领域适配、指令微调和强化学习研究当共同起点。规模口径是总参数 280B、每个 token 激活 14B,用 33.5T tokens 从零预训练,训练上下文最高 128K,微调与推理支持 1M。280B 是官方口径,含输入 embedding 与输出头、不含那 0.36B 的 ECHO 参数;见到别的口径不必自行调和,按官方表读就行。

把 14B 放回 280B,激活比例约百分之五,这是稀疏 MoE 的典型账法:容量按 280B 建,单次推理按 14B 付。这段差额正是基座模型敢于放出权重的算术前提,也解释了官方为什么把「效率」写进设计目标第一段。

架构按官方模型卡与博客摘关键数字。模型共 43 层,1 层 dense FFN 加 42 层 Multi-Router Latent MoE;注意力是混合设计,37 层 HCA 重度压缩注意力把每 128 token 压成一条缓存条目,只有 6 层 MLA-DSA 保留 token 级全上下文访问,多数层看的是压缩历史,靠 6 层兜住长程细节。MoE 一侧,每层 512 个路由专家按 top-10 激活,外加 1 个共享专家,在 2048 维隐空间分发与合并。

围绕省资源还有一串设计:低秩门控注意力从低秩 query 隐变量算门控,门投影参数减少 75%;VHA 做跨头低秩混合;mHC 用四条并行残差流替代标准残差连接;MultiMax 输出头用可学习分段温度压掉长尾;ECHO 复用主干最后一层取代 MTP 模块,兼作投机解码草稿模型。共同指向只有一个:把激活算力、KV 缓存和长上下文成本放在一起算。

训练侧关键词是 Muon 优化器加 FP8 混合精度。Muon 与 Adam 这类逐元素优化器不同,把每个参数矩阵的更新整体正交化,通信与显存分布都要重新安排:官方用通信高效的分布式 Muon,把 Dense 与 MoE 参数同步融合成单次同号卡集合通信,又用节点间均衡切分避免优化器状态堆在前几张卡上。注意力内核是自研 FlashMask-4,CuTe-DSL 写成,支持 SM90 与 SM100,qk 头维最高 576、v 头维 512;官方口径称在 SM100 上前向比 FlashAttention-4 MaskMod 快最高 175%、反向最高 74%,自报数字带「官方口径」即可,不外推成通用结论。

权重同样两版:FP8 与 BF16,均为 safetensors,Hugging Face 与 ModelScope 同步上架。想估算要多少显存、单机能否装下,可顺着 显存测算 SOP 推,本篇不展开硬件账。

它是 Base,不是聊天模型

这是最容易被标题带偏的一点。名字里的 Base 不是版本号,是训练阶段的定性:它是「未经中训练与后训练」的预训练终点 checkpoint,没有指令对齐,也不是拿来直接对话的聊天模型。官方定位成供领域适配、指令微调、强化学习研究使用的共同起点,看中的正是「一张干净的研究基线」:后训练各家做法不同,留一个统一终点,方便在受控条件下比较各方法加了什么。

由此带出一个具体工程口径:分词必须保留 add_special_tokens=True,因为 Base 模型要求每条输入以 BOS token 开头。服务形态也不同,SGLang 与 vLLM 都通过 completions API 提供补全,而非 chat 接口。这些只是定性说明,装环境、起服务、发第一条请求的步骤留给本批上手 SOP,热点栏不写操作清单。

后训练版什么时候来?官方博客原话是「经过后训练的 ERNIE 5.5 Flash 将随后推出」,没有给任何日期。按「未公布不编」,本篇不排时间表、不推测版本节奏。能确定的是:11 月 5 日放出的是基座权重,不是能直接上线的对话产品;当聊天模型用,第一步就会撞上 BOS 和 completions 这两个口径。

权重给了,为什么不能叫「开源」

重头戏是这份许可证。下面按 LICENSE 原文逐条陈述,只做条款转述、不写法律意见,核验时点为 2026 年 11 月 6 日抓取的原文。

第一是地域。1.11 条把 Territory 定义为全球除欧盟、英国、韩国以外的所有地区,5.3 条写明模型、衍生模型及其输出不得在 Territory 之外使用、复制、修改、分发或展示。授权有地理边界,这三个地区落在授权之外,和「开源」默认全球可用的直觉正好相反,也是标题反差的出处。

第二是免费与收费的分档。4.1 条:非商用免费,无需通知、不设营收门槛。4.2 条:商用且「相关产品或服务年收入」不超过 5000 万美元(US$50M)的,同样免费,但要履行两件事——按 3.2 条在商业产品界面显著展示原文措辞 Powered by ERNIE,并在首次商用前一次性把使用通知发到 Baidu_ERNIE@baidu.com;同一 Operator 用同一模型版本只需发这一次,通知发出后无需等百度回复即可开展符合条件的商用,但这条通知本身不构成 4.3 条的书面授权。4.3 条:相关年收入超过 5000 万美元的,必须事先取得单独书面授权,授权申请同样发到 Baidu_ERNIE@baidu.com;原文反复强调,申请、通知、待回复或正在磋商都不等于已获授权,越过门槛却未拿到书面授权的商用须暂停。这里「申请不等于授权」是硬边界,不能漏。

第三是蒸馏禁令,也是这份许可里对研究者影响最直接的一条。5.5 条禁止用模型、衍生模型或其输出,去改进本模型及其衍生模型以外的任何其他人工智能或机器学习系统。配合 1.5 条对「衍生模型」的定义看,继续训练、微调、量化、剪枝、合并、适配器都算衍生,通过蒸馏、知识迁移、合成数据训练把能力转到别的模型也算衍生;但用这些衍生模型去喂另一个不相干的 AI 系统,落在 5.5 的禁止范围里。条款只做陈述:它划的是「你能拿它改进什么」的圈,不是对本模型继续做后训练设禁,后者在 5.5 的但书里是明确不禁止的。

第四是交付范围与善后。1.4 条明确未发布的训练代码、数据、推理代码不在交付范围,组件另受其他许可证约束的仍归各自许可证管——所以「权重给了」和「整套训练资产给了」是两回事。4.5 条允许百度在有合理理由怀疑重大违约时、每年最多一次书面核验请求;3.4 条要求每个接收方自行评估自身用途与营收,判断适用哪一档商用条件;8.3 条规定许可终止后须停止使用并删除或销毁权重副本,法律要求留存的部分只能用于该法定目的。此外 3.2 的署名义务对 4.3 书面授权下的商用同样适用,6.3 条只授予 Powered by ERNIE 这一句的有限使用权,不授予其他商标权。

五条连起来读,边界就清楚了:地域划了圈,营收分了档,署名和通知是义务,蒸馏有禁令,训练代码与数据不在包里,终止要删权重。这套结构在当下开放权重许可里并不罕见,但每条都写得细,细到「5000 万美元整」落在 4.2 还是 4.3 都有明文。对研究团队,4.1 几乎不设障碍;对商用团队,这是需逐条对照的合规清单,不是一句「开源可商用」能带过的。至于条款在具体司法辖区如何解释、争议怎么适用,属于法律意见,本篇不下判断。

两三个数字,看清口径就够了

评测不是本篇重点,但完全不提说不过去,这里只点两三个数并把口径钉死。官方博客自述用「统一评测流程」对比同规模四款基座,声称同框架、同 prompt、同 few-shot、同一裁判模型跑了三十项评测。凡引用这张表的分数,必须带「百度统一评测流程自测」和「未见第三方复现」两个限定:这是百度自家的表、自家设置,没有第三方复现数据,适合当能力侧写,不适合当客观名次。

举两个代表数字:MMLU 得 93.3、MMLU-Pro 得 78.4,均为官方口径、百度统一评测流程自测的结果。点到为止,不整表搬,也不把这张表和别的榜单对齐——不同榜单评测设置不同,横向比大小没有意义,本篇也不下任何跨榜的绝对化判断。那张三十项自测表逐行怎么读、四款基座在什么场景下怎么选,是本批基座横评的活,本篇把它整表留过去。

冷思考:开放权重的边界值多少钱

收个尾。11 月 5 日真正落地的,是一个 280B 总参、14B 激活、33.5T tokens 预训练的基座权重,外加一份写得相当细的自定义许可。对研究者,价值在干净、可控、未经后训练的共同起点,以及 43 层混合注意力、512 专家 MoE、Muon 加 FP8、FlashMask-4 这套可对照的架构与训练口径;对工程团队,价值要连着许可算:欧盟、英国、韩国不在授权内,商用按 5000 万美元分档,Powered by ERNIE 与 Baidu_ERNIE@baidu.com 的通知是动作项,蒸馏禁令划了能力流向,训练代码与数据不随权重交付。

称「开放权重」而非「开源」,不是文字洁癖。开放权重准确描述一个事实:权重可下载、可在条款内使用;「开源」在行业语感里默认带着全球可用、可自由商用、代码数据齐备、可自由衍生几层含义,这几层恰是这份 v1.0 许可逐条设边界的地方。混淆两者,吃亏的是照「开源」两个字做技术选型与合规判断的人。往后引用这次发布,请把「2026 年 11 月 5 日」当发布日,「开放权重」当名分,LICENSE 原文当条款依据,两三个评测分数连同自测口径一起说,后训练版「将随后推出」记成一句没有日期的话。至于这批权重最终被社区拿去微调、蒸馏或跑出什么新优化,答案不在官宣里,在别人真正动手之后。

延伸阅读

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-11-06

相关文章

前沿热点

Kimi 放出 2.8 万亿参数权重,1.56TB 你下得动吗

北京时间 2026 年 11 月 5 日零点,月之暗面把 Kimi K3.1 Pro 权重放上 HuggingFace,兑现 10 月 23 日上线时的承诺。模型总参数 2.8 万亿、每次激活约 104B、上下文 1048576 token,注意力层为 69 层 KDA 加 24 层 Gated DSA 稀疏注意力,视觉编码器 401M,权重采用 MXFP4 量化与 MXFP8 激活的量化感知训练,共约 1.56TB。官方口径 Terminal-Bench 4.0 得 65.7;第三方 Agent Arena 真实会话榜排开源模型第一、净改进率 +5.29%(初步排名,第二名 MiMo-V2.6-Pro +2.68%)。许可为 Kimi K3.1 Pro License:MaaS 业务连续 12 个月合计收入超 2000 万美元须另签协议;月活超 1 亿或月收入超 2000 万美元的产品须显著标示模型名;内部使用与官方认证伙伴豁免。

2026年11月5日9 分钟阅读
前沿热点

阿里把 Qwen4 的架构提前摊牌了:Qwen3.8-Flash-Next 放出 125B 权重,唯独没放协议文件

阿里 8 月 26 日放出 Qwen3.8-Flash-Next:一个多模态 MoE 模型,更是 Qwen4 架构的早期预览——官方给它定的角色,等同于当年 Qwen3-Next 之于 Qwen3.5。主模型 125B,额外挂 51B N-gram embeddings,每 token 只激活 6B;相比 Qwen3.7-Plus 训练成本约 1/9,coding 与 office 任务反而更强。四维升级逐个拆开:GDN 压缩历史叠加 QSA 用压缩索引器在微块粒度挑重点、Gated Residual 把残差流扩成 4 分支、N-gram Embedding 可卸载到主机内存靠异步预取与计算重叠、优化器换成 Muon。原生 262,144 tokens,YaRN 可外推到 1M。生产版 Qwen3.8-Flash 在 QwenCloud 报价 \$0.16/\$0.47 每百万 token(不同来源口径略有出入,以官网为准)。但真正的悬念是协议:GitHub 仓库没有 LICENSE 文件,license 字段为 None,README 只让读者去 HF/ModelScope 模型页查看,社区已经有人在追问「为什么不是 Apache 2.0」——本文标注为未确认,商用前务必自行核对模型页协议。

2026年8月30日6 分钟阅读
前沿热点

万卡国产算力训出 293B:星火 X2.6 开源的只有 4B

科大讯飞于 2026 年 10 月 22 日在全球 1024 开发者节发布星火 X2.6:293B 总参、30B 激活的 MoE 架构,1M token 上下文,端云一体,训练全程使用全国产算力并部署于国产万卡推理集群。效率账本(官方口径):飞星二号万卡训练 2000B tokens、256K 长度数据的时间从 4.5 个月压到 1.2 个月,超长上下文训练效率提升 4 倍;推理侧首个全国产硬件四层 KV Cache 架构把命中率从 63% 提到 95.7%、效率达优化前 4.5 倍。云端自报 SWE Pro 77.3 与 SWE Multilingual 95.0 排名第一、SWE Verified 95.4 仅次于 DeepSeek-V4.1-Flash 1017 的 95.6,但无完整分数表、无技术报告、无第三方复测。关键辨析:传播最广的「讯飞开源 X2.6」系误读——开放权重的只有端侧 Spark-X2.6-4B(Apache 2.0,Hugging Face 挂 XHToken 命名空间、ModelScope 同步、Ollama 用 SparkLLM 名),293B 旗舰权重不开源仅有 API 试用;4B 版自报 BFCL-V4 71.8、MCP-Atlas 62.4、SWE Verified 62.8 等六项较前代提升。限时定价输入 0.9 元、缓存命中 0.08 元、输出 3.6 元每百万 tokens。产业叙事:端云预判 60% 本地、30% 协同、10% 云端,路由准确率 81.2% 提至 96.1%;刘庆峰「唯一全国产训练」为单方说法且未公布芯片型号。未公布清单:旗舰训练芯片型号、集群总规模、总算力、技术报告、旗舰权重。

2026年10月23日8 分钟阅读