实战 SOP
实战 SOP

Nemotron 3.5 Bolt 本地部署:74B 塞进 24GB 三条路

NVIDIA 于 2026 年 10 月 15 日发布 Nemotron 3.5 Bolt 74B-A9B 24GB:由 120B 的 Super VL 经 Star Elastic 预算条件化架构搜索压缩而来(专家路由 top-K 从 22 降到 9,蒸馏恢复训练 120B tokens),Mamba-2 与 Transformer 混合架构,量化方案是关键——占权重大头的专家层压到 IQ2_XXS 每元素 2.0625 bit(约 19GB),Mamba 线性层用 NVFP4,lm_head、词嵌入与注意力保持 Q8_0,全模型落在 22 至 24GB,精度靠 QAD 量化感知蒸馏从压缩阶段一路找回。本文给四条部署路线实录:Ollama(0.40.5 起支持,ollama run nemotron-3.5-bolt,25GB 下载,ollama ps 验证 100% GPU);Unsloth(UD-IQ2_XXS 约 22GB、UD-IQ1_M 约 20.3GB,ctx 从 4096 保守起步);llama.cpp 官方配方(需 10 月 15 日后构建才认识 nemotron_h_moe 架构,28GB 配方 65K 上下文加 8-bit KV 加 6 个草稿 token,32GB 配方上 262K;b11521 起 llama-server 默认端口改为 9931);vLLM(Blackwell SM120 配 LiLiCorr drafter,服务端多用户场景)。显存账本与两条上下文起步口径并存:裸模型 16K-32K 起步,Unsloth 因默认带 1-2GB draft model 建议 4K 起步。排障八条覆盖 OOM 砍上下文、层落系统内存、漏 --mmproj、max_tokens 16384 共享预算截断等。许可证 OpenMDW-1.1:免费无限制商用、输出物不受限、再分发须保留版权声明、含专利报复条款。厂商自报 GPQA Diamond 86.4、Terminal-Bench 2.1 51.0、PinchBench 公开榜同级第一(RTX Spark 实测 83.99 TPS,消费卡无官方数据);4GB 的 Bolt E4B 于 10 月 23 日接档发布。

发布于 2026年10月23日8 分钟阅读
<!-- nemotron-3-5-bolt-local-deploy-sop | sop | Nemotron 3.5 Bolt 本地部署:74B 塞进 24GB 三条路 -->

想在桌上跑一个能干 agent 活的大模型,通常要二选一:云端 API 好用,但代码和数据得出域;本地塞一个显存装得下的小模型,能力又常常不够用。NVIDIA 在 2026 年 10 月 15 日发布的 Nemotron 3.5 Bolt 74B-A9B 24GB 就是冲着这道缝来的:74B 总参数的 MoE,激活只有 9B,靠一套压到 2.0625 bit 的混精度量化,把完整模型塞进单张 24GB 卡,官方口径下能承担工具调用、浏览器操作这类 agent 任务。

这篇 SOP 先把账算给你看(24GB 到底怎么装下 74B),再给出 Ollama、Unsloth、llama.cpp、vLLM 四条部署路线的实录命令,附显存账本、上下文策略、排障清单与许可证要点。所有数字与命令出自 NVIDIA 官方技术页与模型卡口径,凡厂商自报的分数一律标注。

一、先算清这笔账:24GB 怎么装下 74B

Nemotron 3.5 Bolt 不是从零训练的模型,而是压缩产物。母本是 Nemotron 3.5 Super VL(120B 总参、12B 激活的多模态模型),NVIDIA 用 Star Elastic 框架做预算条件化架构搜索加端到端压缩,专家路由的 top-K 从母模型的 22 降到 9,压缩后再用蒸馏恢复训练 120B tokens(72B 在 8K 上下文、48B 在 128K 上下文)。架构上它是 Mamba-2 与 Transformer 的混合体,带 C-RADIO v4-H 视觉编码器,能读文本、图像和视频,但只输出文本。

显存账本的关键在量化方案。74B 参数里专家层占大头,NVIDIA 把 routed 与 shared 专家层全部压到 IQ2_XXS,每元素 2.0625 bit,算下来 74B 乘 2.06 bit 约 19GB;Mamba 线性层用 NVFP4;lm_head、词嵌入、注意力和 Latent MoE 权重保持 Q8_0。全部相加,权重文件落在 22 至 24GB 的低位段。量化损失的精度靠 QAD 量化感知蒸馏找回,且只量化权重不量化激活,因为在 RTX 与 DGX Spark 这类设备上推理以权重带宽为主导。

这套打法的官方话术是:2-bit 的 74B 压缩模型,优于同显存下从零训练再 4-bit 量化的更小模型。厂商自报的对比分数这么摆:GPQA Diamond 86.4(同显存档 Qwen3.6-35B-A3B 跑 4-bit 是 83.4)、Terminal-Bench 2.1 拿 51.0、BrowseComp 66.8、WebArena 50.9;目标场景是 24GB 内存内、80 TPS 以上解码、与日常应用共存。PinchBench 公开榜第一、WebArena 与 BrowseComp 第二也均为官方自报口径,目前没有第三方复测,引用时记住这一点。

其他关键事实:原生上下文 262144 tokens(模型卡上限,实际可用看显存);支持英、中、日、韩、法、德、西、意、印地、巴西葡语 10 种语言;后训练数据截止 2026 年 5 月;投机解码配 1.13B 的 LiLiCorr drafter,GGUF 实测磁盘约 0.92GB,vLLM 下 7 个草稿 token、并发 64 时 greedy 解码平均接受长度 4.68(该数字绑定此测量条件)。

整条训练管线分五阶段:Star Elastic 蒸馏压缩、视觉适配器微调、视觉重型 SFT、RLHF 加端到端 GRPO(在 MCP 与 SWE 的 agent 环境里跑)、最后 ModelOpt 2-bit 专家量化加 QAD。预训练加续训约 26 万亿 tokens,后训练样本约 380 万条。这套流程解释了一个问题:为什么 2-bit 量化后分数没有塌——精度不是量化时才补救的,而是从压缩那一刻起就用蒸馏一路跟着训。

速度方面再看一组官方口径的对照:RTX Spark 上 AIPerf SPEED-Bench-Coding 实测 Bolt 83.99 TPS,低于 Qwen3.6-35B-A3B 的 96.63 和 Gemma 4 26B-A4B 的 100.56;但在 agent 回放(AA AgentPerf Local)里 Bolt 用时 600.80 秒,好于 Qwen3.8-27B 的 1043.28 秒,逊于 Qwen3.6 的 453.97 秒。判读是:纯吐字速度它不占优,长链条 agent 任务里它的分数与稳定性才是卖点。

二、动手前清单

硬件档位先对号入座:

  1. 单张 24GB 卡(RTX 4090、3090 一档):跑得动,但权重已占满显存。推荐换更小的 Unsloth UD-IQ2_XXS(约 22GB)或 UD-IQ1_M(约 20.3GB)量化,上下文 16K 到 32K 起步,系统 RAM 建议 64GB 兜底。
  2. 32GB 显存卡:走 llama.cpp 官方 28GB 配方,65K 上下文加 8-bit KV cache 刚好塞下。
  3. 48GB 以上显存,或 128GB 统一内存的 RTX Spark、DGX Spark:可上 262K 满上下文配方。RTX Spark 上官方实测 83.99 TPS(IQ2_XXS 加 LiLiCorr,llama.cpp,Windows 11 ARM 环境),消费卡没有官方 TPS 数据,媒体明确提醒不代表所有 GeForce GPU 可复现。
  4. Mac:官方路线 CUDA 优先,Ollama 明确不支持 Apple Silicon;非官方路径只有 Unsloth Desktop(macOS 可用)与社区 MLX 转换。
  5. 16GB 及以下显存或内存:官方口径不合适,换更小的模型。

软件版本两个硬门槛:Ollama 需要 0.40.5 及以上(2026 年 10 月 14 日起支持);llama.cpp 需要 2026 年 10 月 15 日之后的构建,旧版不认识 nemotron_h_moe 架构。磁盘预留 25GB 左右,外加 drafter 约 1GB。

三、部署路线实录:三条本地路,加一条服务端

路线 A:Ollama,最省事

bash
# 需 Ollama >= 0.40.5(2026-10-14 起支持)
ollama run nemotron-3.5-bolt
ollama ps

官方库有 latest、74b-a9b、74b-a9b-iq2 三个 tag,均为 25GB 下载、256K 上下文、带视觉与工具与思考模式。跑起来后用 ollama ps 确认 100% GPU,出现 15%/85% 这类 CPU/GPU 分裂,说明有层落进了系统内存,速度会明显掉。

会话内调上下文与思考开关:

text
/set parameter num_ctx 32768
/set nothink

/set nothink 用于快答时关思考,/set think 恢复。图像直接把路径发给它即可,比如让它看一张报错截图。想省显存可以拉 Unsloth 的量化版:

bash
ollama run hf.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:UD-IQ2_XXS

要把它接进编码工具当大脑:

bash
ollama launch claude --model nemotron-3.5-bolt
ollama launch opencode --model nemotron-3.5-bolt

路线 B:Unsloth,24GB 卡首选

bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS --ctx-size 4096

Unsloth Desktop 里直接搜 Nemotron 3.5 Bolt 也能下 IQ2_XXS。两个注意点:默认附带小 draft model 提速,额外吃 1 到 2GB 内存;官方建议 32GB RAM 或统一内存起步,48 到 64GB 更从容。上下文从 4096 起步是 Unsloth 与 techpilot 的保守口径,内存富余再往上加。

路线 C:llama.cpp,NVIDIA 官方配方

先编译,Windows 要手动指定 CUDA 架构(50 系 120、40 系 89、Spark 121):

bash
cmake -B build -DGGML_CUDA=ON && cmake --build build --config Release -j

下载三个文件:主模型、视觉投影 mmproj、drafter:

bash
pip install -U huggingface_hub
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --local-dir ./bolt
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf --local-dir ./bolt

面向 32GB 显存卡的 28GB 配方(65K 上下文、8-bit KV、6 个草稿 token):

bash
./build/bin/llama-server \
  --model ./bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  --mmproj ./bolt/mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  --spec-type draft-dflash --spec-draft-n-max 6 \
  --spec-draft-model ./bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf --spec-draft-ngl 999 \
  --ctx-size 65536 --parallel 1 --batch-size 2048 --ubatch-size 512 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  -ngl 999 --flash-attn on --jinja --temp 1.0 --top-p 0.95 --port 8080

48GB 以上或 128GB Spark 的满血配方把参数换成 --ctx-size 262144、--spec-draft-n-max 7、--batch-size 4096、--ubatch-size 2048。三个要点:推荐采样温度 1.0、top_p 0.95;思考开关走 chat template 的 enable_thinking(true 或 false),另有 medium_effort 中间档;推理与答案共享 max_tokens 预算,官方示例用 16384,给小了答案会被截断。另注意 llama.cpp 自 b11521(2026 年 10 月 9 日)起 llama-server 默认端口从 8080 改成 9931,以启动时打印的端口为准,工具链写死端口的记得加 --port,OpenAI 兼容 API 在 /v1。

路线 D:vLLM,服务端与多用户

vLLM 要求指定 nightly 镜像版本,目标模型本体支持 Ampere A100、Hopper H100、Blackwell,但配上 drafter 后实际落到 Blackwell SM120(含 DGX Spark GB10)。它适合一机多用户和视频输入场景,聊天类应用大多还不支持视频输入。最短验证命令:

bash
vllm serve "nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB"

完整启动参数很长(fp8 KV cache、b12x 内核、dflash 投机解码配置等),模型卡给了完整命令,照抄即可,此处不展开。

四、显存账本与上下文策略

运行时分解(32GB 卡 28GB 配方口径):权重约 22 至 24GB;mmproj 一小块;drafter 约 1GB,内存紧张时第一个砍;KV cache 随上下文增长,8-bit KV 让 65536 上下文塞得下,而且 hybrid 架构只有少数 attention 层有增长 cache,Mamba 层不需要;桌面系统占 1 到 2GB。实测 64K 上下文在 32GB 卡上用掉约 28GB,配方名里的 28GB 就是留 headroom 的意思。

24GB 卡的上下文起步有两条口径,原因不同,都要知道:

  • 16K 到 32K 起步:按裸模型算,权重已占满 24GB,能给 KV 的空间很小,这是 Ollama 与裸 GGUF 路线的建议值。
  • 4096 起步:Unsloth 与 techpilot 的保守口径,因为 Unsloth 默认再带 1 到 2GB 的 draft model,而且长上下文加图像输入正是 24GB 卡最容易被推爆的组合,techpilot 的原话是崩了或变卡就先降上下文,别的都别动。

一句话口诀出自官方社区讨论:长文档任务丢 drafter 保上下文,快聊天任务保 drafter 砍上下文。

还有一点值得单独说:模型卡写着 256K 上下文,不等于你就能开 256K。上下文是 prompt、图像、对话、工具调用与生成共享的,KV cache 全要显存来换;Mamba-2 混合架构的好处是只有少数 attention 层有随上下文线性增长的 cache,Mamba 层不需要,这让它比同尺寸纯 Transformer 省得多,但省不等于免费。经验法则是每次把上下文翻倍前,先看一眼当前显存余量,留两成以上再动。

五、排障清单

  1. CUDA OOM:先砍 --ctx-size,保住 --cache-type-k/v q8_0,再不行摘 drafter(去掉 --spec-* 旗标,省约 1GB)。
  2. 生成速度远低于预期:大概率有层落进系统内存。Ollama 用 ollama ps 看是否 100% GPU;llama.cpp 路线降上下文,或关掉占显存的其他程序。
  3. 图像输入被无视:llama.cpp 命令漏了 --mmproj,这是最常踩的漏参。
  4. 报错不认识 nemotron_h_moe:llama.cpp 版本太旧,换 2026 年 10 月 15 日之后的构建;Windows 记得指定 CMAKE_CUDA_ARCHITECTURES。
  5. 连不上服务:先确认端口,b11521 起 llama-server 默认 9931 而不是 8080。
  6. 答案被拦腰截断:max_tokens 太小,推理与答案共享预算,官方示例 16384。
  7. 24GB 卡又开长上下文又传图必爆:两者只能二选一,或者上更大显存。
  8. 能力预期管理:2-bit 是折衷,NVIDIA 自我定位是对多数任务够聪明、但不是自家最聪明的模型,且所有排名为厂商自报,别拿它跟旗舰 API 直接对位。

六、许可证:OpenMDW-1.1 意味着什么

Nemotron 3.5 Bolt 采用 OpenMDW-1.1 许可证(Linux Foundation 2026 年 5 月 28 日发布,NVIDIA 在 Nemotron 全家族采用),模型卡明示可用于商业与非商业用途。对部署者要紧的几条:

  • 免费且无限制使用,覆盖版权、专利、数据库与商业秘密权利,无领域限制、无营收门槛;
  • 模型输出不受任何限制,用它生成的代码与文档归你自己处置;
  • 再分发模型材料本身时须附许可协议副本,并保留全部版权与来源声明,义务只约束再分发、不约束输出物;
  • 专利报复条款:主动起诉模型材料侵犯专利或版权(防御性反诉除外),授权即终止;
  • 无担保,第三方权利清障与尽调是用户自己的责任;
  • 可拿 BF16 权重微调后发布成品,社区再量化、再打包也无需 NVIDIA 另行授权。

NVIDIA 还在往下铺产品线:更小的 Bolt E4B(4GB 级)定档 2026 年 10 月 23 日发布,面向 GeForce、Jetson 与 RTX/DGX Spark,定位本地语音助手、交互式角色与嵌入式界面,4GB 的目标是给宿主应用和其他模型留内存,总参与激活参数官方未公布。母本 Super VL 120B 走企业常驻多模态智能体方向,处理 OCR、表格、文档与视频理解,官方称已有 30 多家企业基于它做后训练,还提醒一句:官方说它微调后在特定任务上超过某些旗舰闭源模型,这是专门适配过的任务与通用模型的不对称比较,别直接当通用结论。家族分工是 Bolt 管日常本地 agent、Lightning(30B-A3B)管高吞吐执行、Super 管多模态推理、Ultra 管最难推理,四档互不替代。企业生产部署另有 NIM 容器微服务路线,提供 OpenAI 兼容端点,本文不展开。

仓库在这里:huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB,GGUF 版与 drafter 分别在同系列 -24GB-GGUF、-24GB-LiLiCorr-GGUF 仓库。明文地址再写一遍方便复制:huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB。

FAQ

Q1:24GB 显存真的能跑 74B 吗,还是只能演示? A:能跑,但账要算清:专家层压到 2.0625 bit 后约 19GB,全模型权重 22 至 24GB,24GB 卡装满后几乎没有余量。所以 24GB 卡的推荐姿势是换 22GB 的 UD-IQ2_XXS 量化、上下文 16K 到 32K 起步,agent 任务可跑,别指望同时开满 256K 上下文。

Q2:2-bit 量化会不会把模型用废? A:存在能力折衷,NVIDIA 自己的定位是对多数任务够聪明、但不是自家最聪明的模型。精度损失靠 QAD 量化感知蒸馏找回,厂商自报 GPQA Diamond 86.4 高于同显存档 4-bit 小模型,但所有分数均无第三方复测,关键业务先跑自己的回归集再下结论。

Q3:Mac 能跑吗? A:官方路线 CUDA 优先,Ollama 明确不支持 Apple Silicon。Mac 上的非官方路径只有 Unsloth Desktop(macOS 可用)与社区 MLX 转换,均无官方性能口径。

Q4:商用要向 NVIDIA 付费或申请授权吗? A:不用。OpenMDW-1.1 免费且无限制,含商用,输出物也不受限。义务只有再分发模型材料时附许可副本、保留版权与来源声明;注意专利报复条款,主动起诉模型材料侵权会终止授权。

Q5:24GB 卡起跑上下文该设 4K 还是 16K? A:两条口径都有依据。Unsloth 路线默认带 draft model 再吃 1 到 2GB,官方建议从 4096 起步;裸 GGUF 或 Ollama 路线按权重已占满 24GB 算,16K 到 32K 起步。稳妥做法是从 4K 跑通后逐级上探,全程盯住显存余量。

延伸阅读

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-10-23

常见问题

24GB 显存真的能跑 74B 吗,还是只能演示?
能跑,但账要算清:专家层压到 2.0625 bit 后约 19GB,全模型权重 22 至 24GB,24GB 卡装满后几乎没有余量。所以 24GB 卡的推荐姿势是换 22GB 的 UD-IQ2_XXS 量化、上下文 16K 到 32K 起步,agent 任务可跑,别指望同时开满 256K 上下文。
2-bit 量化会不会把模型用废?
存在能力折衷,NVIDIA 自己的定位是对多数任务够聪明、但不是自家最聪明的模型。精度损失靠 QAD 量化感知蒸馏找回,厂商自报 GPQA Diamond 86.4 高于同显存档 4-bit 小模型,但所有分数均无第三方复测,关键业务先跑自己的回归集再下结论。
Mac 能跑吗?
官方路线 CUDA 优先,Ollama 明确不支持 Apple Silicon。Mac 上的非官方路径只有 Unsloth Desktop(macOS 可用)与社区 MLX 转换,均无官方性能口径。
商用要向 NVIDIA 付费或申请授权吗?
不用。OpenMDW-1.1 免费且无限制,含商用,输出物也不受限。义务只有再分发模型材料时附许可副本、保留版权与来源声明;注意专利报复条款,主动起诉模型材料侵权会终止授权。
24GB 卡起跑上下文该设 4K 还是 16K?
两条口径都有依据。Unsloth 路线默认带 draft model 再吃 1 到 2GB,官方建议从 4096 起步;裸 GGUF 或 Ollama 路线按权重已占满 24GB 算,16K 到 32K 起步。稳妥做法是从 4K 跑通后逐级上探,全程盯住显存余量。

相关文章

实战 SOP

权重下载了跑不动?显存测算与部署路径指南

权重开放大潮下"下载到跑起来"隔着的一道显存账:权重显存=参数量x每参数字节数(BF16/FP8/INT4 三档),KV Cache 每 token=2x层数xKV头数xhead_dimx字节;以 Qwen3-32B 全精度阶梯(66GB 到 17GB)与 K3.1 Pro(BF16 5.6TB)为例,拆三条误判(能加载不等于能用)、精度按卡选(24GB/96GB/Blackwell)、vLLM 与 Ollama 工具链与五步落地清单。

2026年11月4日9 分钟阅读
实战 SOP

录音转文字还在按分钟付费?本地 59 秒转完

本地语音转文字五步实战(faster-whisper 主引擎,仓库 github.com/SYSTRAN/faster-whisper):按显存选型(24GB 卡 large-v3+float16+beam 5;8GB 卡 int8_float16 不够降 medium;纯 CPU small/base+int8)→ 安装(GPU 需 CUDA 12 cuBLAS + cuDNN 9,旧组合降级 ctranslate2 3.24.0/4.4.0)→ 最小转写脚本 → 提速省显存三招(精度 fp16 转 int8 省约 1.6GB、批量 batch 8 多花约 1.5GB 提速约 3.7 倍、beam 第三位再动)→ 进阶(Silero VAD、词级时间戳、自拼 SRT、WhisperX 说话人分离)。基准口径全文统一注明:large-v2、beam_size=5、13 分钟音频、RTX 3070 Ti 8GB——原版 2 分 23 秒/4708MB,faster-whisper int8 59 秒/2926MB,批量化 16 秒/4500MB;纯 CPU 档如实写 whisper.cpp fp32(2m05s/1049MB)比 faster-whisper fp32 更快更省,不写全面碾压。陷阱清单含 GPU 忌纯 int8(CTranslate2 文档:需计算能力 7.0/6.1 以上,老卡静默回退 float32)。结尾单段带过 NVIDIA Nemotron 3.5 Transcribe 新引擎选项,与开源列那篇分工不重复跑分。

2026年10月29日9 分钟阅读