硬核横评
硬核横评

TrnRT、Kindi、Baseten 引擎:一张许可证禁止托管

把 TrnRT、Kindi、Baseten 三个 2026 年 10 月下旬出现的推理引擎仓库摆在同一张表上,主轴是许可证与硬件路线,不是选型推荐或性能跑分。Apache License 2.0、Elastic License 2.0、GNU AGPL v3.0 三值并存,其中一张 LICENSE 逐字写明不得把软件作为托管服务提供给第三方,GitHub 对其判 NOASSERTION,只按原文写不替官方下结论。硬件侧从 Trainium2、GB300 到 Quadro K420 与 RTX 3080 各按 README 自报写清,star 按累计总量,不写 growth score 与单日增量。

发布于 2026年11月16日9 分钟阅读
<!-- inference-engine-license-hardware-comparison-review | review | TrnRT、Kindi、Baseten 引擎:一张许可证禁止托管 -->

三个推理引擎摆到同一张桌子上,抢眼的不是谁跑得快,而是一张许可证:它明文禁止把软件当成托管服务提供给第三方。TrnRT、Kindi、Baseten 这三个仓库在 2026 年 10 月下旬先后出现在 GitHub 上,硬件押注却差出一个代际,一头绑在 AWS Trainium2 专用芯片上,一头只认新一代数据中心 GPU,还有一头专门伺候十年前的老显卡和 x86-64 CPU。更值得先看清的是三张许可证并不一样:Apache License 2.0、Elastic License 2.0、GNU AGPL v3.0 三值并存,其中一张许可证禁止托管。截至 2026 年 11 月 15 日,把三家仓库的 README、LICENSE 与 GitHub API 字段逐格摊开,看到的不是一张性能排行榜,而是三条互不重合的硬件路线与三种互不相同的授权边界。本篇只核三个仓库可核的字段,做逐格事实对照,不做选型建议、不打分、不跑分,也不替任何一家补一句官方没说过的话。

三家引擎与三条硬件代际

三家的坐标如下。RunanywhereAI/trnrt 是面向 AWS Trainium 的推理引擎,basetenlabs/deepseek-ultrafast 是 Baseten 放在 GitHub 上的 DeepSeek-V4.1-Flash 专用引擎,ahtx/kindi 是主打低成本显卡与 CPU 的本地推理引擎。三者的仓库地址分别是 RunanywhereAI/trnrt、basetenlabs/deepseek-ultrafast 与 ahtx/kindi,都是在 github.com 上能逐字读到 README 与 LICENSE 的仓库。以 GitHub API 在 2026 年 11 月 15 日读到的累计 star 计,TrnRT 为 1584、deepseek-ultrafast 为 331、Kindi 为 168;这里写的是累计总量,不是某一天的增量,也不做跨项目的高低排名。forks 分别是 18、17、38,语言分别是 Python、Rust、Python,默认分支分别是 development、main、main,创建日分别是 2026-10-30、2026-10-27、2026-10-20,Kindi 最新 release 是 v0.6.0,日期为 2026-11-12。

维度TrnRTBasetenKindi
许可证(按 LICENSE 原文)Apache License 2.0(spdx_id: Apache-2.0)Elastic License 2.0(license.key: other,spdx_id: NOASSERTION)GNU AGPL v3.0(spdx_id: AGPL-3.0)
目标硬件AWS Trainium2 单台 trn2.48xlarge4 张 GB300、4 或 8 张 B300、4 或 8 张 B200,sm_100a 与 sm_103a,CUDA 13Quadro K420(1 GB 与 2 GB)、K1200、K6000、Tesla P100、GTX 1080、RTX 3080,AMD Radeon 780M、840M、8060S,x86-64 CPU
支持模型GLM-5.3-Flash 为第一个支持模型,更多开源模型 Coming soonDeepSeek-V4.1-FlashPrism ML 三值 Bonsai 2B、4B、9B、27B,AH-Nanbeige4.3-33B,Nemotron 3.5 Lightning 30B-A3B,DeepSeek-V4.1-Flash(552B)
上下文与缓存1M-token context,sparse attention(top 2,048)与 linear attention、fixed-size state;prefix cache 为 FP8 KV 页 radix tree 加 host-memory tier1M context,多服务器 KV cache 共享;每台把近期会话 KV 放 host memory,跨机经 RDMA host-to-host 取回,不重算 prompt;需 Redis 协调prompt cache、tool calls、thinking mode、speculative decoding;OpenAI 兼容服务 http://localhost:8093/v1
OpenAI 兼容形态chat 与 completions、streaming、tool calls、reasoning outputOpenAI-compatible /v1/chat/completionsOpenAI 兼容服务
性能口径(均标 README 自报)NKI megakernels:decode 每个 layer half 一个融合 kernel,含 KDA attention、fused DSA、mHC 与 MoE FFNREADME 自报:4 张 GB300(TP4)decode 1,740 tokens/s、8 张 B300(TP8)2,060 tokens/s;prefill 1M tokens in 13.2 s(76,000 tokens/s)与 11.7 s(85,000 tokens/s)README 自报:DeepSeek-V4.1-Flash 552B 在单张 RTX 3060 12 GB 加双 Xeon DDR4 上 18.7 tok/s
语言与 star 累计量Python,star 累计 1584,forks 18,created 2026-10-30,默认分支 developmentRust,star 累计 331,forks 17,created 2026-10-27,默认分支 mainPython,star 累计 168,forks 38,created 2026-10-20,最新 release v0.6.0(2026-11-12)
对外提供服务的限制按 Apache-2.0 原文,无专门托管禁止条款LICENSE 逐字含 You may not provide the software to third parties as a hosted or managed service,禁止托管,GitHub 判 NOASSERTION按 AGPL-3.0 原文

表格里逐格写的是许可证原文口径、目标硬件、支持模型、上下文与缓存、OpenAI 兼容形态、语言与 star 累计量,以及对外提供服务的限制。性能那一行统一标注 README 自报,意思是这些数字来自各仓库 README 的自述,不是第三方实测,也不是本篇跑出来的分。把三家放进一张表,目的是让许可证与硬件路线这两条主轴各自对齐,而不是让谁压过谁;读者顺着某一列往下读,看到的是一家引擎从许可证到硬件、从模型到缓存的完整一格,而不是三个项目被拆散后的碎片。表格的每一格都对应一处可核的原文或字段,读的时候照着列走,就不容易把一家的硬件前提套到另一家头上。

许可证一层:三值并存,一张许可证禁止托管

本篇的篇眼在许可证。三家各用一张不同的许可证:TrnRT 仓库的 LICENSE 与 GitHub API 的 spdx_id 都写 Apache-2.0;Kindi 仓库的 LICENSE 首行是 GNU AFFERO GENERAL PUBLIC LICENSE Version 3, 19 November 2007,GitHub API 的 spdx_id 为 AGPL-3.0;basetenlabs/deepseek-ultrafast 的 LICENSE 首行逐字是 Elastic License 2.0,并带 Licensor: Baseten 与 URL: https://www.elastic.co/licensing/elastic-license,GitHub API 的 license.key 为 other、spdx_id 为 NOASSERTION。三值并存,本篇按 LICENSE 原文与 GitHub API 字段各写各的,不二选一,也不替官方解释为什么各自选了这一张。把三张证摆在一起,是让差异自己显出来,不是替它们排一个高下,更不是把三张证折成一句结论。

差异最集中、也最容易被一句话带过的,是中间那张。Elastic License 2.0 的许可证里有一条逐字限制条款:You may not provide the software to third parties as a hosted or managed service...。标题里的禁止托管就出自这一句:按 LICENSE 原文,把软件作为托管或托管式服务提供给第三方是被禁止的;而 GitHub 对该仓库判为 NOASSERTION,意思是这套许可证没有被归进某一项标准 SPDX 标识里。把这两件事写清楚就够了,本篇只按 LICENSE 原文与 GitHub 判定落笔,不替官方加任何一句定性,也不补一段 Baseten 为何选 Elastic 的动机。仓库里没有的官方表态,不因为读的人想要一个结论就凭空补上;能核的是条款与判定,不能核的是原因。

需要分开说的是源码公开和许可证限制。源码公开说的是仓库在 github.com 上可读、可下载、可照着 README 构建;许可证限制说的是能不能把这套软件包装成服务对外提供给第三方。这是两层不同的问题,不能因为代码看得见,就默认对外托管这件事也被允许。Apache-2.0 与 AGPL-3.0 两家按各自 LICENSE 原文的授权与义务走;Baseten 这一家是源码公开但许可证带托管限制,两件事要分开读,不宜用一个统一的标签把三家一起概括。source-available 说的是可见性,许可证限制说的是可做的事,混成一句就丢掉了本篇最该看清的那一格。

对外提供服务的限制因此不是文字游戏。若有人想把某个引擎接进自己的托管产品,先读的应该是 LICENSE 里那一条,而不是 README 的性能表;一个跑得动的构建,和一份允许你把服务卖给第三方的授权,是两回事。TrnRT 的 Apache-2.0 与 Kindi 的 AGPL-3.0 各自带着不同的义务条款,deepseek-ultrafast 则把 hosted or managed service 直接写成了禁止项。本篇只把三张证摆在同一张表上,不给哪张更宽松下结论,也不推断商用边界里官方没写明的部分。标题里那张许可证之所以被单独拎出来,正因为三家里只有它把托管写成了明文禁止的一格。

硬件与实现一层:从 NKI megakernels 到老显卡

TrnRT 的路线是绑住专用芯片。README 写它在一台 trn2.48xlarge 上提供 OpenAI 兼容 API,把 decode 跑成 NKI megakernels,约每个 layer half 一个融合 kernel,并把 prefix cache 跨设备内存与主机内存保存。Highlights 里 NKI megakernels 一条逐字点名 KDA attention、fused DSA layer、mHC 与 MoE FFN;1M-token context 一条写的是 sparse attention(top 2,048)加 linear attention,配 fixed-size state;Prefix cache 一条写的是 FP8 KV 页上的 radix tree,再加一层 host-memory tier 承接被换出的页与 state checkpoints。支持的硬件与模型表里,AWS Trainium2 的 trn2.48xlarge 标为支持,GLM-5.3-Flash 是 README 列出的第一个被支持模型,更多开源模型写着 Coming soon。OpenAI API 这条覆盖 chat、completions、streaming、tool calls 与 reasoning output。一路读下来,它把长上下文、解码内核与缓存都收在同一块专用芯片上,前提也正是这块芯片;换一种硬件,这一列的描述就得重写。

basetenlabs/deepseek-ultrafast 走的是另一头:新一代数据中心 GPU。README 写它是面向 sm_100a 与 sm_103a 的 DeepSeek-V4.1-Flash 推理引擎,支持 1M context length 与多服务器 KV cache 共享。Requirements 逐字列了 4 张 GB300(sm_103a)、4 或 8 张 B300(sm_103a)或 4 或 8 张 B200(sm_100a)、CUDA 13 toolkit,以及一个用于多服务器 KV cache 协调的 Redis 实例。KV cache 那段写得具体:每台服务器把近期会话的 KV caches 放在 host memory,当某轮对话落到另一台服务器,那台就经 RDMA 以 host memory 到 host memory 的方式直接从持有缓存的服务器取回,而不是重算 prompt。README 自报的性能表里,4 张 GB300(TP4)的 decode 写 1,740 tokens/s,8 张 B300(TP8)写 2,060 tokens/s,prefill 分别写 1,000,000 tokens in 13.2 s(76,000 tokens/s)与 11.7 s(85,000 tokens/s),这些是 README 自报,不是第三方实测。构建命令是 cargo build --release -p deepseek-ultrafast-engine --bin run -p deepseek-ultrafast-server --bin serve,API 为 OpenAI-compatible /v1/chat/completions,README 还写了 DeepSeek-V4.1-Flash-Fast 已在 Baseten Model APIs 上提供,并留了一句 more open source releases are coming。这里的缓存思路是跨机器复用,前置条件因此是 RDMA 与 Redis 那一层协调,单卡场景和它并不是同一套前提。

ahtx/kindi 把方向反过来,专攻低成本显卡与 CPU。README 写它是面向低成本 GPU 的自定义推理引擎,跑 Prism ML 的三值 Bonsai 模型(2B、4B、9B、27B)、AH-Nanbeige4.3-33B、Nemotron 3.5 Lightning 30B-A3B 与 DeepSeek-V4.1-Flash;NVIDIA 卡从 1 GB 的 Quadro K420(Kepler)一路到 RTX 50 系列与 CMP 170HX,也支持 AMD Radeon 780M、840M、8060S 与 x86-64 CPU。Requirements 的实测清单逐字是 Quadro K420(1 GB 与 2 GB)、Quadro K1200、Quadro K6000、Tesla P100 16 GB、GeForce GTX 1080、GeForce RTX 3080。OpenAI 兼容服务带 prompt cache、tool calls、a thinking mode 与 speculative decoding,地址写在 http://localhost:8093/v1;README 还说在同样的 head 下,同一模型文件的贪心输出和 llama.cpp 逐 token 一致。description 里那句 DeepSeek-V4.1-Flash(552B)在单张 RTX 3060 12 GB 加双 Xeon DDR4 服务器上 18.7 tok/s,同样是 README 自报。三值 Bonsai 与老卡清单放在一起,说明它把模型侧与硬件侧都往低成本那一端收,和前两家把长上下文压在多卡或专用芯片上是两条思路。

把三条路线并列看,Trainium2 的专用芯片、新一代数据中心 GPU、十年前的老显卡与 CPU,本身是三种不同的部署前提,谈不上谁替代谁。缓存这一格也各不一样:TrnRT 是 prefix cache 的 FP8 KV radix tree 加 host-memory tier,deepseek-ultrafast 是经 RDMA 跨机取回的 KV cache 共享,Kindi 是本地服务里的 prompt cache 加 speculative decoding。本篇也不把吞吐数字横向相减,因为三个 README 自报的硬件张数、模型与上下文形态都不同,数字之间不构成可比的胜负表;把不同前提下的自述数字放进同一条排名,恰恰是本篇要避开的那类写法。

能核与不能核

可核的部分写在明处:三家仓库的 GitHub API 字段(许可证 spdx_id 与 license.key、累计 star、forks、语言、默认分支、创建日、release)、README 的逐字描述、LICENSE 的逐字条款,都落在 github.com 上,谁都能照着复核。star 一律按 2026 年 11 月 15 日抓到的累计总量读,本篇不写单日 star 增量,也不引用 growth score 一类衍生数字。Baseten 仓库的首次提交落在 2026 年 10 月 30 日,是 GitHub 一手提交记录,不是开源公告日;把提交时间读成发布宣言,是本篇刻意避开的那种替官方加戏。累计量与提交日都是静态字段,读一次、写一次,不随时间被重新解释。

不能核、也不替官方补结论的部分同样要写清。第三方实测跑分,本篇没有,也不会把 README 自报当成实测;商用边界里官方没写明的解释,本篇不推断;更广泛模型支持的时间表,TrnRT 只写 Coming soon,Baseten 只写 more open source releases are coming,不替官方给日期;许可证差异的原因,三家都没在可核字段里解释,本篇也不替它们解释。README 里那个 DeepSeek-V4.1-Flash 只是被支持的模型名,本篇不展开它云端 API 的任何能力,也不接上别处的公告。所谓逐格对照,就是把能核的填满、把不能核的留白,不用想象去补格子,也不用别处的热闹来替这一格填字。

站内另外几篇和本篇的角度不同:kinference 的路由专文 写单个项目的路由,本地部署选型横评 偏部署选型,权重许可对照 是权重许可的横评;本篇是三个新引擎的许可证与硬件路线逐格对照,不复用那几篇的单项目结论。几篇的入口放在这里,读法各取所需。

常见问题

Q1:三款引擎是不是都可以自由用来做托管服务? A1:不能笼统回答。TrnRT 用 Apache-2.0,Kindi 用 AGPL-3.0,basetenlabs/deepseek-ultrafast 用 Elastic License 2.0;后者 LICENSE 逐字含 You may not provide the software to third parties as a hosted or managed service,也就是禁止托管,GitHub 对它判 NOASSERTION。对外提供服务的限制要按各张 LICENSE 原文分别读,本篇不替官方下统一的宽松结论。

Q2:标题里的「一张许可证禁止托管」依据是什么? A2:依据是 LICENSE 原文那条限制条款,加上 GitHub 对该仓库判出的 NOASSERTION。本篇只按可核字段写「源码公开但许可证带托管限制」,不写任何官方定性,也不替 Baseten 补动机。

Q3:三家的 star 数怎么读? A3:按 GitHub API 在 2026 年 11 月 15 日抓到的累计总量读:TrnRT 1584、deepseek-ultrafast 331、Kindi 168。本篇不写单日 star 增量,不引用 growth score,也不做跨项目排名。

Q4:README 里的吞吐数字能当实测看吗? A4:不能。那些数字统一标了 README 自报,来自各仓库 README 的自述,不是第三方实测,也不是本篇跑分;三个 README 的硬件、模型与上下文口径都不同,本篇不把数字横向相减比胜负。

Q5:本篇会给选型建议吗? A5:不会。主轴是许可证与硬件路线的逐格对照;能做选型结论的第三方实测、官方对商用边界的解释、以及更广泛模型支持的时间表,本篇都没有,也不替官方补。

延伸阅读

本地部署的显存规划 与 推理框架专文 可作相邻阅读。

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-11-16

常见问题

三款引擎是不是都可以自由用来做托管服务?
不能笼统回答。TrnRT 用 Apache-2.0,Kindi 用 AGPL-3.0,basetenlabs/deepseek-ultrafast 用 Elastic License 2.0;后者 LICENSE 逐字含 You may not provide the software to third parties as a hosted or managed service,也就是禁止托管,GitHub 对它判 NOASSERTION。对外提供服务的限制要按各张 LICENSE 原文分别读,本篇不替官方下统一的宽松结论。
标题里的「一张许可证禁止托管」依据是什么?
依据是 LICENSE 原文那条限制条款,加上 GitHub 对该仓库判出的 NOASSERTION。本篇只按可核字段写「源码公开但许可证带托管限制」,不写任何官方定性,也不替 Baseten 补动机。
三家的 star 数怎么读?
按 GitHub API 在 2026 年 11 月 15 日抓到的累计总量读:TrnRT 1584、deepseek-ultrafast 331、Kindi 168。本篇不写单日 star 增量,不引用 growth score,也不做跨项目排名。
README 里的吞吐数字能当实测看吗?
不能。那些数字统一标了 README 自报,来自各仓库 README 的自述,不是第三方实测,也不是本篇跑分;三个 README 的硬件、模型与上下文口径都不同,本篇不把数字横向相减比胜负。
本篇会给选型建议吗?
不会。主轴是许可证与硬件路线的逐格对照;能做选型结论的第三方实测、官方对商用边界的解释、以及更广泛模型支持的时间表,本篇都没有,也不替官方补。

相关文章

硬核横评

开源TTS模型对比:八强里第一名的权重不能商用

八款开源 TTS 合成模型横评(星数为 2026-10-31 GitHub API 实测):GPT-SoVITS 64,311(MIT)、VoxCPM 40,862(Apache-2.0)、fish-speech 33,502、index-tts 24,829、CosyVoice 24,196(仓库已迁 QwenAudio org)、KittenTTS 16,717、F5-TTS 15,490(代码 MIT)、breeze-tts 1,230。许可三档是主线:放心商用(VoxCPM2/CosyVoice/GPT-SoVITS/KittenTTS 2);权重非商用(Breeze TTS 2 自托管输出也禁、F5-TTS 权重 CC-BY-NC、Fish S2 Pro 研究限定);条件商用最易误判——IndexTTS-2.5 仅 MAU 超 1 亿或年营收超 10 亿元人民币才需另行授权(LICENSE 原文核实),中小团队实际可用,Fish Drama 3 年营收低于 50 万美元可商用但禁托管、须署名。AA 榜只同快照内比:8 月 26 日快照 Breeze 1215 领先 Fish S2 Pro(1125)90 分;9 月 25 日快照 Breeze 1205 全榜第九、与榜首 Sonic 3.6(1279)差 74 分,跨快照严禁混排。硬件口径取 README 原文:Breeze 7.7/14.4GiB、VoxCPM2 约 8GB(Nano-vLLM RTF 0.13)、IndexTTS-2.5 RTF 0.2065(4090)、GPT-SoVITS RTF 0.028(4060Ti)、KittenTTS 2 nano int8 25MB CPU 可跑。六场景选型各给 1-2 款;落选四款(ChatTTS/MaskGCT/Maya 2/Audio8)带理由一段带过。

2026年10月31日10 分钟阅读
硬核横评

每页 token 差 26 倍:六款开源 OCR 模型横评

六款开源 OCR 模型(DeepSeek-OCR 2、PaddleOCR-VL 1.5、MinerU 2.5、dots.ocr、GOT-OCR2.0、GLM-OCR)同台横评:同样一页纸,GOT-OCR2.0 固定 256 个视觉 token,MinerU 2.5 平均 6790 个,差 26 倍。本文按压缩派与精度派两条路线拆解技术分歧,警示 OmniDocBench 版本不同不可直比(论文版/v1.5/v1.6 题目集各异),并给出许可证一票否决维度:Apache-2.0 最省心、AGPL-3.0 对 SaaS 有传染风险、部分模型有营收门槛条款,附规格许可表、性能口径表与分场景选型结论。

2026年10月25日10 分钟阅读