开源项目
开源项目

纯 C 引擎与 744B:老机器啃得动 MoE 巨模型吗

JustVugg/colibri 是纯 C 编写的 MoE 分层推理引擎(Apache-2.0,2026-11-04 GitHub API 实抓 47,567 星):热专家驻 GPU(CUDA/Vulkan)、温专家在 RAM、冷专家从 NVMe 流式加载,13 个引擎直接读已发布的 GGUF,最低 8 GB 内存、22 GB 磁盘即可起步,Windows START-HERE.bat 与 Linux/macOS start-here.sh 三步装好。README 示例为 GLM-5.2 744B MoE int4、32 秒就绪、常驻 9.9 GB。注意其引擎清单不含 Hy4,只能作为同量级 MoE 的通用本地引擎。

发布于 2026年11月4日9 分钟阅读
<!-- colibri-moe-local-inference-opensource-resource | open-source | 纯 C 引擎与 744B:老机器啃得动 MoE 巨模型吗 -->

先把本文的范围划清楚,免得和站内几篇旧文混在一起。本地部署要算多大显存、几张卡才够,那是 显存测算 SOP 的活;各家 API 每百万 token 报价怎么比,归 API 价格横评那篇;cua computer-use 开源篇 讲的是另一个让模型操作电脑的项目;Hy4 preview 的自部署 SOP 走的是 vLLM、SGLang 那条服务端路线。这几篇碰的都不是同一个对象,本文不碰显存测算、不碰价格横评、也不碰服务端部署,只做一个 GitHub 单体项目的拆解:它是什么、怎么装、分层原理、许可、支持哪些模型、边界在哪。

这个项目就是 JustVugg/colibri,一个用纯 C 编写的 MoE 分层推理引擎。主页在 colibri 仓库,下载或克隆时认准这一个地址:https://github.com/JustVugg/colibri。按 2026 年 11 月 4 日抓取的 GitHub 数据,JustVugg/colibri 默认分支为 main、主语言为 C、star 数 47,567、许可证 Apache-2.0,仓库创建于 2026 年 7 月 1 日,最近一次 push 就在 2026 年 11 月 4 日。它先被 2026 年 11 月 2 日的每日 AI 研究简报以当日约 655 星收进榜单,次日又进了 2026 年 11 月 3 日的 GitHub 热榜,热度还在往上走。

一个几百 B 参数的模型,凭什么能在一台没独立显卡、内存只有两位数 GB 的机器上跑起来?这正是 colibri 想回答的问题。它的标语只有一句 Tiny engine, immense model.,仓库自述则把它定位成面向前沿 MoE 模型的分层推理引擎。下面按项目是什么、三层怎么分层、13 个引擎覆盖谁、三步怎么装、演示与许可怎么读、时效热度这条线拆开。

它是什么:小引擎配大模型的取舍

先说结论:colibri 是纯 C 编写、每个模型家族一个文件、无 GPU 要求的本地推理引擎。这三句每个字都有讲究,后面安装一节还会回来校准「零依赖」这个说法。

它成立的前提是 MoE 模型本身的稀疏性。一个混合专家模型在磁盘上很大,但每个 token 真正用到的只是它的一小部分参数。README 拿 GLM-5.2 举例:744B 参数,每个 token 大约用到 40B,而逐 token 之间会变化的只有约 11 GB 的路由专家。于是稠密部分,也就是注意力、共享专家、词嵌入,常驻在内存里;路由专家留在磁盘上,路由器点到谁再读谁,中间隔一层会学习你工作习惯的专家缓存。模型不必整体塞进高速内存,而是要被摆放好。权重放在哪一层只决定答案来得多快,不决定用哪些权重,也不改路由器的选择。

那为什么非要这么设计?README 给了三个理由:让这种量级的模型跑在人们已经拥有的硬件上;让过程可见,仪表盘能显示每个专家何时被触发;让引擎小到任何人都能测量它、改快它。它同时把自己当成一个开放研究平台:一项优化要靠可复现的端到端实测才能留下来,默认策略绝不悄悄改动模型精度或路由语义。内存少可以慢,但不能偷偷把模型换成一个不太一样的模型。

三层分层:热、温、冷专家各归其位

仓库自述把这套机制压缩成一句话:热专家放在 GPU(CUDA、Vulkan)上,温专家放在 RAM 里,冷专家从 NVMe 流式加载。这是理解 colibri 的主轴。

热的一层是显卡显存。有 GPU 时,最常被点到的专家和稠密层留在这里,NVIDIA 卡走 CUDA,任意支持 Vulkan 1.2 的 GPU 走 Vulkan;独显、核显、AMD、Intel、NVIDIA 都在 Vulkan 的覆盖范围内。温的一层是内存,放下常驻的稠密部分和一批近期用过的专家。冷的一层是磁盘,尤其是 NVMe,路由器要的专家不在上面两层时,就从这里按需流式读进来,一块快的 NVMe 对大模型速度影响最大。README 特意写明:一个专家从显存、内存还是磁盘被读到,答案是一样的,变的只有速度。

每一层每个 token 都走同样的五步:路由、取并集、摆放、重叠、学习。摆放靠实测出来的路由热度决定谁升到显存、谁留在内存、谁回磁盘,做法是一层一个 LRU 缓存,外加从你自己的对话里学出来的固定热集,写在 .coli_usage 里、每轮更新。路由是有可测结构的,所以 colibri 越用越顺手。预取也围绕这件事做:一个专家的三个矩阵一次 pread 读完,加载线程在常驻专家计算的同时把缺的读进来,还有路由前瞻线程提前取下一层。同一份磁盘读两次是要极力避免的。

13 个引擎与它支持的模型

README 写明目前运行着 13 个引擎,源码目录里也正好是 13 个 .c 文件,一个模型家族一个,共享一组头文件。清单分三块。

十个语言模型引擎:GLM-5.2 与 GLM-5.3 共用一个,这个引擎也跑 Mistral-Large-4;此外是 GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash、DeepSeek V4.1 Flash、MiMo-V2.6 Flash 与 Pro、Qwen3.8-Flash-Next、Qwen3.6(这个引擎还跑 Qwen3-Coder、稠密的 Qwen3.8-27B、Flint、Muse Spark Open 和 LFM3-VL)、以及 OLMoE。一个画图引擎:Qwen-Image-2.1。两个决策引擎:Laya 与 GLiNER2.5-Decide,另有第三个决策模型 Clef 跑在 Qwen3.6 引擎上,不单独占一个文件。同一架构只是换了名字的检查点,比如跑在 Qwen3.6 引擎上的 KAT-Coder v2.5,不用改就能用。

模型文件方面,colibri 直接读已发布的 GGUF。./coli import 接住一个 GGUF 的第一个分片、在旁边写出模型目录,不重新转换、不重新量化,块按文件原样从 IQ1_S 到 Q8_0、F16、BF16、MXFP4 都能跑,每个聊天引擎也都认 GGUF。跑的位置很灵活:纯 CPU 可以,任意 GPU 走 Vulkan,NVIDIA 卡走 CUDA。对不想自己转换模型的人来说,这一条省掉了最麻烦的一步。

这里要把一个容易串线的地方说清楚:这 13 个引擎是一份面向同量级 MoE 大模型的通用本地引擎清单,名单里并没有本批热点里那款大模型。本批热点聊的是模型本身,colibri 聊的是承载这一类模型的引擎,两者之间不存在支持关系,别把通用引擎读成针对某款具体模型的本地部署方案。想跑哪个具体模型,先回 README 的引擎清单和选型表里对名字,对不上就说明暂时不支持。至于演示里那个 744B,下一节单独讲。

从下载到对话:三步安装与那个向导

先给门槛。README 的起步要求是:整机至少 8 GB 内存,16 GB 或以上更好;最小模型要留出 22 GB 空余磁盘;需要联网;显卡是可选的,不是必需。注意这只是能装起来的底线,具体某个大模型要多少内存,README 的选型表按机型分档另列。

安装被刻意压成三步。Windows 上,在仓库页点 Code、选 Download ZIP,解压后双击 START-HERE.bat,缺 Python 时脚本会提示安装。Linux 以 Ubuntu、Debian 为例,是四条命令连成一条链,其他发行版把包名换成自己的即可:

bash
sudo apt install git python3 build-essential
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh

macOS 走 Homebrew:先 xcode-select --install,再 brew install libomp git python,然后 clone 仓库、执行 ./start-here.sh。三个平台最后都落在同一个入口脚本上,Windows 是 START-HERE.bat,Linux 与 macOS 是 start-here.sh。

向导主要做三件事。第一,看机器:读内存、可用磁盘、CPU 和 GPU。第二,推荐装得下的模型:常驻部分加一份最小专家缓存要塞得进内存,下载文件要塞得进磁盘,两个条件都满足才会被推荐。第三,取引擎:机器上有编译器就本机构建,没有就下预编译二进制;Linux 上只有装了 CUDA toolkit 的 NVIDIA 卡才构建 CUDA 版,否则退到 Vulkan 或纯 CPU。核显因为和 CPU 共用内存,只在少数测得更快的模型上才开 Vulkan。这三步之后,脚本还会带进度和断点续传地下载模型、启动服务、在浏览器打开仪表盘,并打印 OpenAI 与 Anthropic 兼容接口的本地地址;下次再运行同一个脚本就直接启动,不再下载也不再构建。

「纯 C 零依赖」是媒体简报给的口径,不是 README 的技术结论,这里必须校准。README 写得很明白:引擎是每个模型家族一个 C 文件、运行时不带 BLAS、不带 Python,但 Python 承担的是安装、启动器、转换器和 API 网关;Linux 要 git、python3、build-essential,macOS 要 libomp、git、python,仓库也直接提供预编译二进制。所以准确的说法是纯 C 编写、无 GPU 要求,把零依赖当成引擎运行时的技术承诺就会和 README 对不上。

README 演示与许可边界

README 顶部放了一段终端演示:执行 ./coli chat 之后,屏幕显示一行 colibri v2.1.0、GLM-5.2、744B MoE、int4、streaming CPU,并显示 ready in 32s、resident 9.9 GB,随后是一句意大利语的问候和回答。请把它当成 README 示例输出来读:其中 GLM-5.2 · 744B MoE 是 colibri 自带的参考模型,和本批热点不是一回事,别对号入座;32s 与 9.9 GB 是那台机器、那份 int4 配置的一次示例读数,不是性能承诺,更不是拿来横向比较的 benchmark。演示行里原本有个勾形符号,正文改用「显示 ready in 32s」这样的文字描述。README 另有按机型分档的实测表和详细的测量协议,本文不把那些数字转述成一个统一速度结论。

许可这一层更要精确。仓库根目录 LICENSE 原文是 Apache License, Version 2.0,Copyright 2026 Vincenzo Fornaro,也就是 Apache-2.0,仓库也没有给引擎另设商用门槛的说法。但要把引擎和模型分开看:引擎本身是 Apache-2.0,各个模型权重保留原作者给的许可,README 举例 GLM-5.2 权重由 Z.ai 以 MIT 发布、Qwen-Image-2.1 仅限非商用。这是模型各自的许可,不是 colibri 引擎的许可,混为一谈就会得出错误结论。仓库里还配了 NOTICE 与 THIRD_PARTY_NOTICES.md 供核对第三方代码。

时效与热度:为什么现在写它

把时间点摆齐。CSDN DevPress 的每日 AI 研究简报在 2026 年 11 月 2 日把 JustVugg/colibri 记为当日约 655 星,描述是纯 C 零依赖运行前沿 MoE 模型、专家流式从磁盘加载,其中零依赖按上一节的校准来读。今日头条 2026 年 11 月 3 日的 GitHub 热榜同样收录了它。GitHub 上 pushed_at 为 2026 年 11 月 4 日,实抓 47,567 星,另一时刻抓到 47,569,可写成约 4.76 万。一个 2026 年 7 月 1 日才创建的仓库,四个月攒到这个量级,靠的正是几百 B 的大模型能不能在老机器上跑起来这个足够大众的痛点。它和本批其他栏目聊的是同一波关注,但落点始终是这个引擎本身。

常见问题

Q1:colibri 是纯 C 零依赖吗,装它到底要不要 Python 和编译器? A1:引擎本体是纯 C 编写、每个模型家族一个 C 文件,运行时不带 BLAS、不带 Python;但安装和启动链不是零依赖。README 明确 start-here 脚本由 Python 跑,Linux 要 git、python3、build-essential,macOS 要 libomp、git、python,仓库也提供预编译二进制。准确口径是纯 C 编写、无 GPU 要求,零依赖是媒体简报的说法,别当成技术结论。

Q2:没有独立显卡能跑吗,8 GB、16 GB、22 GB 这几个数怎么理解? A2:能。README 写无需 GPU,每个引擎都能只在 CPU 上跑,GPU 只是更快地放权重的地方。8 GB 内存是整机最低门槛,16 GB 或以上更好,22 GB 是最小模型要留的空余磁盘,另外需要联网下载、显卡可选。但这只是能启动的底线,具体到某个大模型要多少内存,README 的选型表按机型分档另列,744B 那一档的要求远高于 8 GB,别把最低门槛当成所有模型的通用配置。

Q3:它支持哪些模型,和本批聊到的大模型热点是什么关系? A3:13 个引擎覆盖 GLM、Kimi、DeepSeek、Qwen、MiMo、Inkling、Mistral-Large-4、OLMoE、LFM3-VL 等家族,加画图 Qwen-Image-2.1 和决策模型 Laya、GLiNER2.5-Decide、Clef。它是一份面向同量级 MoE 大模型的通用本地引擎清单,名单里没有本批热点那款大模型,两者不存在支持关系,不能读成针对某款具体模型的本地部署方案。想跑某个具体模型,先去 README 的引擎清单和选型表里对名字。

Q4:README 演示里的 744B、32s、9.9 GB 是什么意思? A4:那是 README 示例输出:终端执行 ./coli chat 后显示 colibri v2.1.0、GLM-5.2、744B MoE、int4、streaming CPU 一行,并显示 ready in 32s、resident 9.9 GB。其中 GLM-5.2 · 744B MoE 是 colibri 自带的参考模型,和本批热点不是一回事;32s 和 9.9 GB 是那次示例配置的读数,不是性能承诺,更不是拿来横向比较的 benchmark。README 另有按机型分档的实测表,本文不转述成统一速度数字。

Q5:Apache-2.0 能商用吗,模型权重算什么许可? A5:LICENSE 原文是 Apache License, Version 2.0,Copyright 2026 Vincenzo Fornaro,也就是 Apache-2.0,仓库没有给引擎另设商用门槛。但要把两层分开:引擎是 Apache-2.0,模型权重各随原作者许可,README 举例 GLM-5.2 权重由 Z.ai 以 MIT 发布、Qwen-Image-2.1 仅限非商用。用某个模型之前,除了读引擎许可,还要读那个模型自己的许可原文。

延伸阅读

  • API 价格横评:不想自己折腾硬件时,调用云端的成本怎么算。
  • Hy4 官方发布热点:本批热点线,读的是模型发布本身,与本地引擎不是一回事。
  • 视觉输入横评:多模态输入能力对照,可顺带看 Qwen-Image-2.1 这类画图模型处在什么位置。

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-11-04

常见问题

colibri 是纯 C 零依赖吗,装它到底要不要 Python 和编译器?
引擎本体是纯 C 编写、每个模型家族一个 C 文件,运行时不带 BLAS、不带 Python;但安装和启动链不是零依赖。README 明确 start-here 脚本由 Python 跑,Linux 要 git、python3、build-essential,macOS 要 libomp、git、python,仓库也提供预编译二进制。准确口径是纯 C 编写、无 GPU 要求,零依赖是媒体简报的说法,别当成技术结论。
没有独立显卡能跑吗,8 GB、16 GB、22 GB 这几个数怎么理解?
能。README 写无需 GPU,每个引擎都能只在 CPU 上跑,GPU 只是更快地放权重的地方。8 GB 内存是整机最低门槛,16 GB 或以上更好,22 GB 是最小模型要留的空余磁盘,另外需要联网下载、显卡可选。但这只是能启动的底线,具体到某个大模型要多少内存,README 的选型表按机型分档另列,744B 那一档的要求远高于 8 GB,别把最低门槛当成所有模型的通用配置。
它支持哪些模型,和本批聊到的大模型热点是什么关系?
13 个引擎覆盖 GLM、Kimi、DeepSeek、Qwen、MiMo、Inkling、Mistral-Large-4、OLMoE、LFM3-VL 等家族,加画图 Qwen-Image-2.1 和决策模型 Laya、GLiNER2.5-Decide、Clef。它是一份面向同量级 MoE 大模型的通用本地引擎清单,名单里没有本批热点那款大模型,两者不存在支持关系,不能读成针对某款具体模型的本地部署方案。想跑某个具体模型,先去 README 的引擎清单和选型表里对名字。
README 演示里的 744B、32s、9.9 GB 是什么意思?
那是 README 示例输出:终端执行 ./coli chat 后显示 colibri v2.1.0、GLM-5.2、744B MoE、int4、streaming CPU 一行,并显示 ready in 32s、resident 9.9 GB。其中 GLM-5.2 · 744B MoE 是 colibri 自带的参考模型,和本批热点不是一回事;32s 和 9.9 GB 是那次示例配置的读数,不是性能承诺,更不是拿来横向比较的 benchmark。README 另有按机型分档的实测表,本文不转述成统一速度数字。
Apache-2.0 能商用吗,模型权重算什么许可?
LICENSE 原文是 Apache License, Version 2.0,Copyright 2026 Vincenzo Fornaro,也就是 Apache-2.0,仓库没有给引擎另设商用门槛。但要把两层分开:引擎是 Apache-2.0,模型权重各随原作者许可,README 举例 GLM-5.2 权重由 Z.ai 以 MIT 发布、Qwen-Image-2.1 仅限非商用。用某个模型之前,除了读引擎许可,还要读那个模型自己的许可原文。

相关文章

开源项目

Univer 开源 Office SDK:Agent 编辑表格不依赖 AI SDK

只读 dream-num/univer 仓库 README、LICENSE 与 GitHub API 能核到的内容:Apache-2.0 覆盖的是 Web SDK 核心架构与引擎实现,商业 Web SDK 插件、Server SDK 与商业 AI SDK 扩展单独分发授权。Facade API 的 FWorkbook、FWorksheet、FRange 与 getRange、setValues 让应用或 Agent 直接改单元格、公式自动重算,workbook.save() 存的是 JSON 快照,与 XLSX 导入导出分离;整条改表链路不依赖 AI SDK。star 按 GitHub API 累计总量读,不写单日增量。

2026年11月16日9 分钟阅读
开源项目

agent 不住云端住手机:Mika 靠什么攒下 7938 颗星

wangzan101/Mika 是一个装在 Android 手机里替你点按、输入、滑动的端侧 agent 开源项目:GitHub API 2026-11-10 实抓 7,938 星、主语言 Kotlin、Apache-2.0、最近一次 push 2026-11-10 04:19 UTC,窗口内持续活跃;2026-11-07 元数据横评快照为 7,489 星,净增 449 均绑定时点。README 定位直白:你说出需求,它操作你的应用与网页直到把事情办完,项目另有主页 mikaphone.com 与多语种 README。深拆覆盖背景屏幕机制、Ask 与 Autonomous 双模式、三条模型接入路径、Android 11/12/14 门槛、内置应用知识表、隐私三层边界、Releases 安装与 12 项兼容性自检,全部对照 README 原文写入;架构细节、路线图与作者背景未给不写。与站内 11-07 元数据横评(当时仅登记 7,489★ 一行)体裁切割。

2026年11月11日9 分钟阅读