开源项目
开源项目

大模型记忆长进身体里:288B 记忆原生模型开源

上海记忆张量(MemTensor)2026-10-20 发布业内首个记忆原生基座模型 MemT 1.0(据团队称)并开放权重:MemT-1.0-Flash(288B 总参/17B 激活/336M 动态记忆)与 MemT-1.0-Nano(36B 总参/3B 激活/10M 动态记忆),业内最大的开源参数化记忆模型。许可证破案(臣核 LICENSE 原文):GitHub API 报 NOASSERTION,LICENSE 原文为 PolyForm Noncommercial 1.0.0——权重公开可下载但为非商业许可,商用需向团队另行授权,另附 LICENSE-PAPER 文件;多家媒体报道写「开源」,正文以 LICENSE 原文为准。记忆原生与传统三类记忆的区别:激活记忆(上下文+KV Cache,会话结束即消失)、参数记忆(微调才更新不可逐条编辑)、外部知识库(靠检索)——MemT 把历史编码为持续存在、可更新的内部状态,在选定 Transformer 层让注意力与参数化记忆并联,记忆成为前向传播的一部分;Gated DeltaNet-2 逐 token 稳定更新(擦除/写入/遗忘/输出四门控)、MoS 混合存储扩容(记忆专家稠密路由、容量独立扩张);训练用 KL 蒸馏(教师读完整上下文、学生只看记忆状态、只优化记忆参数),训练语料 340 亿 token(网易口径)。基准(厂商口径):11 项记忆基准 Flash 50.6 / Nano 47.0 列参数化记忆方法第一、第二,最强参数化基线 Temp-LoRA 38.1(高 12.5/8.9 分);落后于自家 MemOS 文本记忆系统(保真度损失换可学习可扩展,如实并写)。SWE-bench Verified 500 题:66.07% 提升至 69.33%(执行前注入经验)/69.73%(执行中触发),三次全成功率 54.00% 提升至 61.6%/62.8%;Multilingual 60.00% 提升至 62.89%/63.56%。长历史效率(双 GPU 单并发固定 128 token):128K 端到端提速 1.86 倍、持久存储约 1/66;256K 提速 3.99 倍、TTFT 104-112ms vs 传统 445ms;每会话记忆状态约 40MiB 较传统 5.06GiB 缩约 130 倍(1/66 对 KV cache、1/130 对传统完整方案,两口径并写)。长对话召回案例:65K token 对话 4K 精确召回、16K 正确答「我不知道」、64K 区分已确认与仅提议变更。部署时记忆状态与用户/任务轨迹绑定、序列化跨会话延续,原始文本不保留。方向:记忆驱动递归自我改进 RSI;与 MemOS 3.0 组合明文+参数化完整链路。仓库:github.com/MemTensor/MemT-1.0(实测 194 stars)+ HF/ModelScope 集合。与站内分工:hy-memory-2-0-opensource-resource(批 57)是外挂记忆框架(记忆在模型外),本篇是记忆原生模型(记忆长在模型里)——两条路线各开源了一个代表。

发布于 2026年10月21日10 分钟阅读
<!-- memt-1-0-memory-native-opensource-resource | open-source | 大模型记忆长进身体里:288B 记忆原生模型开源 -->

你上周跟 agent 磨了一下午的需求细节,今天新开会话,它干干净净地问你「项目背景是什么」。这不是上下文窗口不够大,是记忆这件事从来没长在模型身上:会话一关,KV cache 一清,什么都没留下。10 月 20 日,上海的记忆张量(MemTensor)团队放出 MemT 1.0,两款基座模型一起开源——288B 总参的 Flash 和 36B 总参的 Nano。按团队的说法(官方口径),这是业内首个记忆原生基座模型:记忆不再是外挂的检索库,而是模型架构里的一等公民,每个 token 生成时直接读写。权重公开可下载,但许可不是你想的那种「随便商用」。这篇把许可证、架构、跑分和局限一次说清,所有数字标明出处:官方数字标官方口径,媒体转述标媒体口径,没公布的数字不编。

一、先说许可证:权重公开,但不等于可商用

最容易踩坑的事放在最前面。多家媒体报道 MemT 1.0 用的词是「开源」,GitHub API 查询许可一栏返回的却是 NOASSERTION——因为 LICENSE 文本不是标准模板。我们抓取仓库里的 LICENSE 原文核对过,确认是 PolyForm Noncommercial 1.0.0,非商业用途许可。换句话说:模型权重公开可下载,个人学习、研究、公司内部的技术评估都没问题,但商用需要向团队另行授权。仓库里还附了一个 LICENSE-PAPER 文件,处理论文相关内容的许可,引用论文时留意一下。

「权重公开」和「可商用开源」是两回事,这在今天不是吹毛求疵。对比一下就明白:上一批腾讯 Hy Memory 2.0 用的是 Apache-2.0,拿去接商业需求不需要额外动作;MemT 1.0 虽然挂着「业内最大的开源参数化记忆模型」的名头(此为官方口径),许可层面却停在非商业这条线上。下载之前想清楚自己的用途,是评估研究还是上线收钱,两者的合规路径完全不同。

仓库在这里:MemTensor/MemT-1.0。

仓库地址:github.com/MemTensor/MemT-1.0

截至 10 月 20 日实测 194 stars,最近一次推送也是 10 月 20 日,热度刚起,社区生态还在早期。模型权重放在 Hugging Face 与 ModelScope 的集合页:

二、记忆原生是什么:记忆长在前向传播里

先摆传统三类记忆的家底,再看 MemT 动了哪一块。

激活记忆就是上下文窗口加 KV cache:所有历史原文摊在窗口里,注意力随时回头查。优点是保真度最高,缺点是会话结束即消失,而且历史越长,每一步推理的显存和延迟越重。

参数记忆是模型权重本身:训练时「背」进去的知识。问题是更新只能靠微调,改一条信息要动整个模型,没法逐条编辑、没法溯源。

外部知识库是 RAG 一类做法:记忆存在模型外面,检索后注入。可编辑、可溯源,但每一步都依赖检索质量,检索不到就是不知道。

MemT 1.0 走的是第四条路。按团队的架构描述,它把历史编码为持续存在、可更新的内部状态,模型在每个 token 生成过程中直接读写这份状态——记忆不再是输入,而是前向传播的一部分。

具体架构拆开看三层设计。第一层,Transformer 的每一层里,注意力与参数化记忆并联:注意力管当下这步该看什么,参数化记忆管历史沉淀了什么,两路并行工作。第二层,记忆状态分两块:动态局部记忆负责压缩历史,超记忆负责投影与门控参数——前者存内容,后者管怎么存、怎么取。第三层,Gated DeltaNet-2 以逐 token 方式更新记忆,带擦除、写入、遗忘、输出四道门控:该记的写入,过时的擦除,用不上的遗忘,要用的输出,每一步都是显式决策而不是隐式堆叠。扩容靠 MoS 混合存储,多记忆专家稠密路由,记忆容量可以独立于模型参数扩张。

训练方法也很直白:教师模型读完整上下文,学生模型只看记忆状态,KL 蒸馏只优化记忆参数。等于逼着记忆状态自己扛下全部历史信息——教师看到什么,学生从记忆里也得还原出等价的决策依据。

这套设计和 RNN 时代的思路有血缘关系:都是把历史压进一个状态向量里滚动更新。区别在于当年的 RNN 是被迫用一个小向量扛所有信息,容量小到记不住长程依赖,才被注意力取代;MemT 的思路是反过来——既然注意力为保真度付出的显存和延迟代价随历史线性增长,那就把「记」这件事重新做成可学习的模块,给它足够的容量和显式的读写控制,让它以远小于原文的代价扛住历史。能不能在保真度和成本之间找到比 RNN 时代好得多的平衡点,就是这批记忆原生模型要验证的命题。

三、两款模型:Flash 与 Nano

这次放出两个规格:

模型总参数每 token 激活动态记忆
MemT-1.0-Flash288B17B336M
MemT-1.0-Nano36B3B10M

两款都按官方口径称为业内最大的开源参数化记忆模型——「最大」说的是参数化记忆那部分体量。训练语料 340 亿 token(网易口径),分两阶段:先学记忆写入,再学记忆调用。这个顺序安排有讲究:写入管「什么该记、怎么压缩」,调用管「什么时候取、怎么用」,两件事分开练,比混在一起学更稳。

规格选择也符合当下惯例:Flash 对标旗舰场景,17B 激活的稀疏结构控制推理成本;Nano 是 3B 激活的小杯,本地部署和边缘场景的候选。

四、跑分:官方口径,包括输给 MemOS 的那项

记忆能力基准(官方口径):11 项记忆基准上,Flash 拿 50.6 分,Nano 拿 47.0 分,在所有参数化记忆方法里排第一、第二;最强的参数化基线 Temp-LoRA 是 38.1 分,Flash 高出 12.5 分,Nano 高出 8.9 分。

有一个落后项不回避:这套成绩落后于记忆张量自家的 MemOS 文本记忆系统。团队自己的解释是,参数化记忆以一定的保真度损失为代价,换来可学习、可扩展——明文记忆精确但占存储、靠检索,参数化记忆有损但推理时随取随用。自家两套方案各有输赢还都摊开说,这个姿态值得记录,但也提醒你:这些数字全部是厂商自报,社区还没有独立复现。

代码智能体场景的对照更有意思(官方口径)。SWE-bench Verified 500 题:无记忆基线 66.07%,执行前注入经验后 69.33%,执行中触发记忆后 69.73%;三次全成功率从 54.00% 提到 61.6% 和 62.8%。SWE-bench Multilingual:60.00% 提到 62.89% 和 63.56%;pass³ 从 45.33% 提到 53.67% 和 55.33%。这组数字说明记忆不只是「聊天里记得住」,沉淀下来的经验能直接变成改代码的战斗力——同一批题,有经验就多做对几个百分点,而且「执行中触发」比「执行前注入」效果更好,说明记忆查得及时比查得多更重要。

长历史效率(官方口径,双 GPU 单并发、固定 128 token 解码):128K 历史端到端提速 1.86 倍,256K 历史提速 3.99 倍;TTFT 104 到 112 毫秒,对照传统方案 445 毫秒(网易口径)。

存储占用有两个口径,别混着用:1/66 是相对 KV cache 的持久存储占用;1/130 是相对传统完整方案的会话状态——256K 历史,每会话记忆状态约 40MiB,传统方案约 5.06GiB。两个数都成立,基准不同,引用时先说清对谁比。

表格怎么读也交代一句:SWE-bench 上三四个百分点的提升在刷榜语境里不算惊艳,但这里是零样本对照——同一个模型,唯一变量是有没有记忆经验,差异全部来自记忆本身的价值。对记忆系统这个新品类来说,这组对照的因果链比总分排名更干净。

五、用起来什么样:两个具象案例

官方给了一组长对话召回测试(官方口径):65K token 的英文长对话里,4K 处的信息能精确召回;16K 处,历史里没有的信息,模型正确回答「我不知道」——不编造,这在长上下文里比召回更难得;32K 处完成链式规则推理,把分散在不同位置的多条规则串起来用;64K 处能区分「已确认」和「仅提议」——上次说「要不要试试 A 方案」和「我们定了 A 方案」是两回事,模型分得清。

第二个案例是 Django 的 parse_http_date。有经验之后,智能体先建复现测试再改代码。行为变化比分数变化更有说服力:记忆里存的不是「这个 bug 的答案」,而是「修这类 bug 该先写复现用例」的工作方式。经验从数据变成了习惯。

部署侧的设计也值得留意:记忆状态与用户或任务轨迹绑定,支持序列化保存和恢复,跨会话延续——今天聊完,明天新会话接上,不用从头交代。注意一个细节:原始文本不保留,只有记忆状态本身。这对存储是好事,对隐私是双刃剑:原文没了,「记忆里到底记了什么」的可审计性就依赖团队给出的状态格式和工具,这一点目前还没有更细的公开材料。

六、两条路线:外挂记忆与记忆原生

这里交代一下分工。昨天本站刚写过腾讯 Hy Memory 2.0(文章《AI 记忆框架开源第一:腾讯 3B 干翻 Opus 5》),那是外挂记忆框架:模型、SDK、记忆中枢三层,记忆存在模型外面,靠检索注入上下文,现有的大模型都能接。今天这篇 MemT 1.0 是记忆原生模型:记忆长在模型架构里,前向传播直接读写,不依赖外部检索链路。

一句话分工:Hy Memory 给现有模型外挂记忆系统,MemT 干脆把记忆造进模型本体——两条路线昨天和今天各开源了一个代表。选型上的粗略分法:已有模型不想换、想给现有系统补记忆能力,看外挂路线;愿意换基座、追求推理效率和跨会话延续性,看原生路线。

还有一个组合拳值得记:MemT 1.0 与团队自家的 MemOS 3.0 组合,明文记忆加参数化记忆,构成完整链路——MemOS 管精确的明文记忆,MemT 管内化的参数化记忆,两套互补正好对上第四节说的取舍。

七、定位与局限:预览版,先立此存照

按机器之心的口径,MemT 1.0 目前是「预览版」。团队给出的方向是记忆驱动的递归自我改进(RSI):一轮任务里沉淀的有效方法,成为下一轮改进的基础,模型自己改自己的工作方式。下一步计划:提升长期记忆、扩容、降低记忆更新成本。

上手前三条局限摆清楚。一,所有基准都是官方自报,社区没有独立复现,虽然官方把输给 MemOS 的对照也公布了,但最终结论要等第三方复测。二,PolyForm Noncommercial 1.0.0 非商业许可,商用需另行授权,选型时先算清合规成本。三,参数化记忆的保真度损失是架构性的,对精度要求极高的场景(法务、医疗记录类)要慎重,或搭配明文记忆方案兜底。

常见问题

Q1:MemT 1.0 是开源吗?可以商用吗? A1:模型权重公开可下载,但许可为 PolyForm Noncommercial 1.0.0,非商业用途;商用需向团队另行授权。GitHub API 识别为 NOASSERTION,以仓库内 LICENSE 原文为准,另有 LICENSE-PAPER 处理论文相关许可。

Q2:记忆原生和外挂记忆(Mem0、Hy Memory 这类)有什么区别? A2:外挂记忆把记忆存在模型外面,靠检索注入上下文,现有模型都能接;记忆原生把历史编码为模型内部状态,每个 token 生成时直接读写,记忆是前向传播的一部分。前者通用性和可编辑性好,后者推理效率与跨会话延续性好,但保真度有损失。

Q3:存储到底省多少?1/66 还是 1/130? A3:两个口径都对,基准不同:1/66 是相对 KV cache 的持久存储占用;1/130 是相对传统完整方案的会话状态——256K 历史,记忆状态约 40MiB,传统方案约 5.06GiB。

Q4:跑分可信吗? A4:全部为官方自报口径,社区尚无独立复现。可注意的是官方同时公布了落后于自家 MemOS 文本记忆系统的对照,说明对照实验完整公开,但最终结论仍需等第三方复测。

Q5:现在值不值得上手?怎么下载? A5:仓库在 github.com/MemTensor/MemT-1.0,权重在 Hugging Face 与 ModelScope 的集合页可下载。目前是预览版(机器之心口径),适合研究与内部评估;生产与商业场景先留意非商用许可,商用需另行授权。

延伸阅读

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-10-21

常见问题

MemT 1.0 是开源吗?可以商用吗?
模型权重公开可下载,但许可为 PolyForm Noncommercial 1.0.0,非商业用途;商用需向团队另行授权。GitHub API 识别为 NOASSERTION,以仓库内 LICENSE 原文为准,另有 LICENSE-PAPER 处理论文相关许可。
记忆原生和外挂记忆(Mem0、Hy Memory 这类)有什么区别?
外挂记忆把记忆存在模型外面,靠检索注入上下文,现有模型都能接;记忆原生把历史编码为模型内部状态,每个 token 生成时直接读写,记忆是前向传播的一部分。前者通用性和可编辑性好,后者推理效率与跨会话延续性好,但保真度有损失。
存储到底省多少?1/66 还是 1/130?
两个口径都对,基准不同:1/66 是相对 KV cache 的持久存储占用;1/130 是相对传统完整方案的会话状态——256K 历史,记忆状态约 40MiB,传统方案约 5.06GiB。
跑分可信吗?
全部为官方自报口径,社区尚无独立复现。可注意的是官方同时公布了落后于自家 MemOS 文本记忆系统的对照,说明对照实验完整公开,但最终结论仍需等第三方复测。
现在值不值得上手?怎么下载?
仓库在 github.com/MemTensor/MemT-1.0,权重在 Hugging Face 与 ModelScope 的集合页可下载。目前是预览版(机器之心口径),适合研究与内部评估;生产与商业场景先留意非商用许可,商用需另行授权。

相关文章

开源项目

62 星仓库登上《自然》:2100 万条结构全给了

中国科学技术大学 MIRACLE 实验室的 structRFM 是结构引导的 RNA 序列基础模型,相关论文 2026 年 11 月 5 日发表于《自然》(DOI 10.1038/s41586-026-11210-2)。仓库 heqin-zhu/structRFM 采用 MIT 许可,2026 年 11 月 6 日 GitHub API 实抓 62 星,创建于 2025 年 2 月、README 仍指向 2025 年 8 月 bioRxiv 预印本。团队表示已开放约 2100 万条序列-二级结构配对数据、模型权重与源代码:数据集由 RNAcentral 与 BPfold 构造、序列长度限制 512、Zenodo 上 4.5 GB;SgMLM 结构引导掩码建模与 MUSES 多源结构集成让模型仅凭序列输出序列级、核苷酸级与核苷酸对级特征,支持二级与三级结构预测、剪接位点预测、IRES 识别、非编码 RNA 分类与零样本同源性分类。

2026年11月6日9 分钟阅读
开源项目

CPU 17 秒揭底 API:不交权重也能自证清白?

anthropics/FlashProve 是 Anthropic 开源的零知识可验证推理研究原型(Apache-2.0,2026-11-05 GitHub API 实抓 843 星,版本 0.16.0,官方自标研究产物、不维护、不接受贡献)。三步协议:服务商离线生成权重承诺 ID(单卡 H100 约 39 分钟)、每次回复由 GPU 出证明(每 1024 token 约 19MB)、任何人用普通 CPU 跑 cp_verify 几秒验证。已在 4000 亿参数的 Llama 4 Maverick 上实现单卡 H100 约 110 token/s 出证、CPU 约 17 秒验证,代价是约 70 至 95 倍于普通推理的 GPU 时间;协议可靠性在 Lean 4 中形式化证明。它只证来源不证正确性,目前尚无主流服务商实装。

2026年11月5日9 分钟阅读
开源项目

连失败实验都拿来训练:MIT 开源科学大模型

2026-11-02 深度原理发布并开源 Hydrogen-1.0:基于 GLM-5.3 后训练的 753B 科学大模型,MIT 许可,ModelScope 与 HuggingFace 同步开放(deep-principle/Hydrogen-1.0,BF16 约 1.51TB,另有 NVFP4/MXFP4 量化版,8 卡 SGLang 测试)。官方自报 FSR 38.3% 超 GPT-6-Astra 的 33.3%、GPQA-Diamonds 93.0% 接近 Kimi-K3;特色是把自有实验室记录与失败实验数据纳入训练,配 Lab Compile 虚拟编译拦截错误实验指令。

2026年11月4日9 分钟阅读