首页

开源项目

GitHub 实核数据 + 实战解读的开源 AI 项目盘点。

嵌入模型开源:谷歌EmbeddingGemma 2把191MB塞进手机

谷歌 2026-10-06 发布开源嵌入模型 EmbeddingGemma 2(HF 仓 google/embeddinggemma-2,API 实核:ungated、license 标 apache-2.0、21,148 下载)。Gemma 4 架构:270M 文本/代码骨干 + 170M 视觉 + 300M 音频编码器 = 全量 740M,同一 checkpoint 四档加载(270M/440M/570M/740M),文本、代码、图像、音频、视频统一进 768 维向量空间,上下文 8192(一代 4 倍)。端侧账本(官方口径):Pixel 11 Pro 量化后纯文本约 191MB、全模态约 567MB;权重 1.49GB bfloat16。基准全是谷歌自报(无独立评测、无论文、MTEB 提交未获接受):MTEB Code 68.76 升至 78.68 是唯一显著提升,多语言文本较一代仅 +0.21,英文略降——卖点不是「处处更强」而是「同等文本质量+新模态+更小部署」。MRL 套娃 768 维可裁至 128,向量存储最多省 6 倍。许可核真如实写:Apache 2.0 声明在 metadata 且 ungated(一代 gated+Gemma 许可,实质放开),但仓库根目录无 LICENSE 文件、模型卡仍保留 Gemma Prohibited Use Policy 一行。生态:sentence-transformers 6.1.0+、transformers 5.19.0、Ollama、llama.cpp、MLX、Qdrant;一代累计超 2000 万下载。

Qwen-Image 2.1开源:权重回来了,Apache没回来

阿里 Qwen 团队 2026-09-20 开源 Qwen-Image-2.1:把文生图、图像编辑、原生 RGBA 透明输出塞进一个 7B checkpoint——32 层单流 DiT(混合粒度注意力+prefix KV 复用)+ Qwen3-VL 8B 文本编码器(兼任参考图编码)+ 64 通道 RGBA VAE,BF16 全套约 33GB,Comfy-Org 量化 repack 可压到约 14GB。能力:原生 2048×2048(七种比例至 2752×1536)、40 步推理、单次最多 10 张参考图、圆圈/蒙版局部编辑、透明 PNG 直出(官方给推荐提示词句式),另附两个 9B 提示词重写器。实测口径:vLLM-Omni 1024² 40 步 BF16 峰值 34GB、3.3-4.5 秒/图(单源);官方称 3090 可跑(offload)。零日生态:Diffusers、ComfyUI、vLLM-Omni、SGLang、LightX2V,首日 14 个微调、18 个量化。核真重点(本篇主轴):历代 Qwen-Image 全是 Apache 2.0,2.1 首次改用 Qwen Research License——仅限非商用(research/evaluation),商用需单独向阿里申请,衍生微调继承限制且须标 "Built with Qwen";社区「license trap」争议与 HF 席「License renders this model useless」如实呈现。Qwen-Image-Bench 60.28 第七为厂商自设自测口径。谱系专节:3.0 是纯 API 分叉,2.1 才是可下载线——权重回来了,Apache 没回来。

B站下场做翻译模型:150种语言,35B只激活3B

B站 Index LLM 团队 2026-09-30 开源 Index-Translate 翻译模型家族(HF/ModelScope 权重,Apache-2.0):2B/9B/35B-A3B-preview 三档文本模型,基于 Qwen3.5,覆盖 150 种语言(官方自报口径),35B 总参仅激活约 3B,262,144 token 上下文。三分支各管一摊:Index-Echo 配音保留说话人音色(中↔英/西/日);Index-Homura 音节数控制(9B 在 SandGlass 测试 81.92% 落在目标 ±10% 内,配音对轨用);Index-NativeLong(又称 Index-Nailong)长文档跨段一致(3.2 万 token 幻想文本中人名/王衔双关全程一致,逐块翻译会漂移)。受控翻译 instTrans:硬约束=术语表强制(如 碳纤维:carbon fiber)+ JSON/CSV/代码/占位符结构保留;软约束=语气/领域消歧(plant→工厂)/跨句一致/LaTeX 保留。本地部署一行命令:官方 GGUF(Q4_K_M 21.71GB)+ llama.cpp serve,另附浏览器扩展与视频配音 pipeline。诚实点:全部分数官方自报、暂无第三方独立复现(FLORES COMET-22 0.8794、WMT26 Judge 76.76、低资源 off-target 2.4%),且同一官方表里 DeepSeek-V4.1-Flash 的 WMT26 Judge 83.55 更高——不是全表第一。

NVIDIA给AIagent上锁:运行时开源,看门狗进芯片

NVIDIA Open Agent Safety Platform 深拆(官方资料与多源报道,2026-10-05 口径):核心主张「agent 安全不能只靠模型自己听话」——当 agent 本身就是试图绕过护栏的软件时,应用层护栏失效;agent drift(因提示模糊/工具缺失/策略冲突渐进偏离意图)不触发任何告警。两层结构:OpenShell(Apache 2.0 开源,内核级沙箱安全运行时,策略覆盖文件/进程/凭证/工具/网络/数据库六域,执行前意图对齐+执行中 drift 监控,跑 Vera CPU 可扩展 Arm/Intel);NVIDIA Sentry(BlueField-4 DPU 带外看门狗,基于 DOCA 验身份/出可证明遥测/执行细粒度策略,agent 越界毫秒级隔离叫停,参考设计非开源硬件)。三层分离:应用/运行时/基础设施。100+ 组织参与(Anthropic 集成 Claude Managed Agents、Salesforce 用于 Slack、SpaceXAI 用于 Cursor agent),隶属 Linux Foundation 旗下 Open Secure AI Alliance。批评口径如实写入:Gartner 指出 OpenAI/Amazon/Google 缺席;IDC 估计覆盖企业 agentic 安全问题可能不到 25%;Control Risks 指出只管自家基础设施上的已知 agent(影子/SaaS 内嵌/攻击者投递三类管不到);供应商锁定讨论。与开放模型权重的 Kimi K3 恰为 agent 安全图谱两端。

LTX-2开源:22B权重66GB,画面声音一个模型全包

LTX-2 开源深拆(2026-10-02 GitHub 实核):Lightricks/LTX-2 9,569 星、Python、推送停在 10 月 2 日;官方定位首个 DiT 架构的音视频一体基础模型,画面与同步音频一次生成。LTX-2.5 组成:22B 蒸馏 transformer(bf16)+ Gemma 4 12B 定制文本编码器(与 Google 原版不通用)+ 视频/音频双 VAE + 空间与时间上采样器,全套约 66GiB;DistilledPipeline 仅 8 个预设 sigma(阶段 1 八步 + 阶段 2 四步)最快出片,FP8 量化与 CPU/磁盘 offload 降显存,4K 为 3840x2176(README 特别注明非 2160);12 条管线含 DFR 生产级、DubIt 保口型换词配音、Retake 局部重生成、SDR 转 HDR(BT.2020/HLG + ACEScct EXR);ltx-trainer 支持 LoRA/全量微调/IC-LoRA,ComfyUI 有官方插件。许可证核真:GitHub License 栏 NOASSERTION,实为自定义 LTX Community License(2026-08-11 起 LTX-2.5 适用),非 OSI 开源——个人非商业免费,年收入 1000 万美元及以上实体任何商用须购买 Commercial Use Agreement,衍生品定义含蒸馏,分发须随附完整协议。自部署唯一解的价值:数据不出内网、批量边际成本趋近电费、LoRA 风格资产独占。

开源 Dots 三天 2400 星:浏览器归它管

feder-cr/dots 深拆(2026-10-02 GitHub API 快照):2,416★、421 forks、MIT、Python,2026-09-29 创建——OpenAI 闭源 Dots 发布次日就冲出的开源同位素。核心论点「模型一参可换,浏览器才是网站看到的东西」:真 Firefox 引擎打 C++ 补丁、指纹在引擎内部决定而非页面 JS 涂层(页面无法用 JS 检出);一个 seed 一个身份(屏幕/字体/GPU/时区/语言互相一致、可复现);页面无可检物(无 WebDriver 标志、无 DevTools 协议、无自动化全局变量);指针先移动再点击、逐键受信事件;--profile-dir 跨次保留登录与 Cookie;--proxy 出口即时区语言跟身份走。模型走 OpenRouter 任意模型、--model 一键换;伴侣仓 invisible_playwright_mcp 把同一浏览器以 MCP server 形式接给 Claude Code/Codex/Gemini CLI。README 明确「与 OpenAI 无关、MIT 许可」。附合规边界:遵守目标网站服务条款与当地法规,不用于欺诈/抢票/批量注册。

410 TFlops 只算 95 分:DeepSeek 昇腾算子栈全拆

DeepSeek 昇腾算子栈四仓逐项拆解(2026-10-01 GitHub API 快照):TileKernels 1883 星 MIT(TileLang DSL 数十个算子:MoE 路由、FP8/FP4 量化、Engram 门控、流形超连接,09-30 新增昇腾后端,鸣谢华为技术支持);DeepGEMM-Ascend 418 星 MIT(API 完全兼容主仓,Ascend 950 首发,CANN 9.20 + torch_npu + Python 3.10+,昇腾 scaling factor 打包格式与英伟达不同);DeepEP-Ascend 190 星(EPBuffer V2.5 兼容、验证栈 950DT + CANN 9.2.0 + torch_npu 2.13.0rc1,截至快照根目录无 LICENSE 文件,商用合规待观察);FlashMLA 13015 星 MIT(昇腾稀疏注意力 prefill 410 TFlops / 95% 峰值、decoding 360 TFlops / 83%,B200 侧对照 1460/950 TFlops,融合 kernel 仅 CUDA)。与英伟达侧对应仓(DeepGEMM 7907 星、DeepEP 10231 星)一一对照;许可证一律以仓库 LICENSE 原文为最终口径。

听得清译得准说得出:有道开源语音三件套

网易有道开源子曰 Live 实时语音三件套(2026-09-29 GitHub API 快照:Confucius4-R2T2 680 星、Confucius4-T3PO 110 星、Confucius4-TTS 821 星,三仓 LICENSE 原文均为标准 Apache-2.0 全文,主代理逐字核验)。R2T2 是真流式 ASR:append-only 输出不回改、平均延迟 200-600ms、解码块 80ms 至 2s 可配,基于 Qwen3-ASR 加 LSP 最长稳定前缀范式,vLLM/transformers/llama.cpp 三后端加 WebSocket 服务。T3PO 是 14B 文本到文本同传模型:READ/WRITE 流式决策、interleaved history 复用 KV-cache、Pareto 感知强化学习做质量-延迟联优,与 R2T2 级联成语音到译文管线。TTS 覆盖 14 语种零样本克隆与跨语声色保持(arXiv 2608.11650)。R2T2 与 T3PO 双双登顶 HF ASR、Translation Trending(官方新闻稿口径);权重 HF 与 ModelScope 双渠道开放。

小米开源训出MiMo-V2.6的RL基建:verl五套环境拆解

XiaomiMiMo/verl 仓库实核(2026-09-27 GitHub API 快照:465 星、49 fork、Python、Apache-2.0、created 2026-09-21、pushed 2026-09-26)。它是训出 MiMo-V2.6 的 Agentic RL 训练代码,fork 自 23,650 星的 verl-project/verl(HybridFlow),基于 verl 0.9.0.dev 增加五套 RL 环境复现代码:Code 软件工程(可执行测试)、Cyber 漏洞复现(规则检查)、General 知识工作(Rubric 评审)、Visual 网页开发(视觉评分)、Music 符号作曲(规则检查),各配启动脚本。训练数据集 HF MiMo-V2.6-RL-oss 与技术报告 PDF 一并开放;同日还有 uni-agent(14 星)与 mimoagent(30 星、MIT)构成全家桶。分叉度无从核实,正文只写 README 可证事实;许可证以仓库 LICENSE 原文为最终口径。

438 星的终端 agent:阶跃 Step-Code 开源深拆

stepfun-ai/Step-Code 仓库实核(2026-09-27 GitHub API 快照:438 星、41 fork、TypeScript、license 字段 MIT、created 2026-06-01、pushed 2026-09-26、44 open issues)。终端编程智能体,覆盖读代码、改代码、跑测试的完整任务环;与 Step provider 配套绑定(登录自动发现 Step 模型,与 MiniMax Code 的 BYOK 多提供商路线相反);开箱支持 MCP servers、Agent Skills、多智能体编排;/goal 命令委派长时任务;StepPage 一键把本地页面发布为可访问静态站。官方自报 Terminal Bench 2.1 通过率 80.9% 并列第一、自建 Multi-Frame 基准 73.3% 居首、平均 5.09M tokens 最低——全部标厂商自报口径,未独立复测。