首页

硬核横评

主流 AI 工具的真实场景对比测试,含独家数据与对比表格。

同声传译六款横评:开源抢跑,API 收租

六款同传方案逐项对:开源自部署腾讯 Hy-SimulMT(Apache-2.0 附第三方例外,官方硬件锚 BF16 约 57 GiB 单张 H200,StreamLAAL 约 3 秒、GEMBA 约 85-86 为官方图示口径);阿里 Qwen3.8-LiveTranslate(未见开源权重归 API 组,字均延迟 2.3 秒);火山引擎豆包-同声传译 2.0(即 Seed-LiveInterpret 2.0,按量计费);Google Gemini3.5-LiveTranslate(FLEURS 92.4 单项第一);讯飞同传 API;OpenAI GPT-Realtime-Translate(0.034 美元/分钟)。延迟三套口径(StreamLAAL/字均/首译出声)不可直接互比是全文立身之本;按每天 2 小时、250 个工作日约 3 万分钟/年清算:OpenAI 约 1020 美元、Gemini 约 1104 美元、豆包约 9000 元(第三方实测口径)、自部署一次投入长期摊薄。与站内 9 月 21 日五款同传横评旧文及全双工语音横评的分工已声明。

全双工语音六款横评:权重跑不起,能跑的太老

「全双工」是营销词与架构事实差距最大的语音赛道:六款逐项对——Block Dessa 原生全双工但无公开权重无 API;Fish Audio Drama 3 权重开源实为导演式 TTS(官方最低 48GB 显存);Eleven v4 Turbo 官方口径推理中位约 100ms、首声约 150ms、91 语言;阿里 Qwen-Audio-3.0-Realtime 端到端全双工但闭源 API;NVIDIA VoiceChat 11B 开源全双工+工具调用(448ms 轮替)却要 80GB 卡;豆包 Seeduplex 官方实锤全双工、关键数字均系传闻二手。开源侧「有权重的跑不起、跑得起的太老」(Moshi 7B 单 4090 可跑但仅英法 2024 款),九维度对比表每格标出处,矛盾口径并列不裁决。

同一批 agent 等 3 天:有的烧 70GB,有的只占 10MB

同一批 agent 等 3 天:有的烧 70GB,有的只占 10MB(推算·二手输入)。本文以「等待的经济学」为标尺横评挂起派、隔离派、常驻派、云端四条路线,逐项对比等待期占内存、恢复延迟、隔离强度与运维复杂度并标出处:Infinity 每 agent 约 100KB(模拟模型基准)、Agent Substrate 恢复 <500ms 与 20 万 agent(勘误:主体是 Substrate 非 ACE 本体,ACE 本体启动/密度/定价未公布)、常驻派无官方并发基准如实声明、E2B 4GiB vs 512MiB 矛盾并列不裁决,TCO 交叉点无公开口径不编数字,附分场景选型结论。

每页 token 差 26 倍:六款开源 OCR 模型横评

六款开源 OCR 模型(DeepSeek-OCR 2、PaddleOCR-VL 1.5、MinerU 2.5、dots.ocr、GOT-OCR2.0、GLM-OCR)同台横评:同样一页纸,GOT-OCR2.0 固定 256 个视觉 token,MinerU 2.5 平均 6790 个,差 26 倍。本文按压缩派与精度派两条路线拆解技术分歧,警示 OmniDocBench 版本不同不可直比(论文版/v1.5/v1.6 题目集各异),并给出许可证一票否决维度:Apache-2.0 最省心、AGPL-3.0 对 SaaS 有传染风险、部分模型有营收门槛条款,附规格许可表、性能口径表与分场景选型结论。

每 token 缓存差 39 倍:四款开源旗舰 Agent 横评

四款开源旗舰同台横评:MiniMax M3.1 Flash(428B/A23B)、DeepSeek V4.1 Flash 1017、GLM-5.3、Kimi K3——四款全部出现在 MiniMax 官方模型卡对照表,口径天然可对齐,但有两层前提必须写明:整表由 MiniMax 代跑(模型卡自认),且各基准 harness 不同(Terminal-Bench 4.0 用 Codex 0.149.1、DeepSWE 用 mini-SWE-agent@512K、CyberGym 用 Claude Code);M3.1 Flash 全部分数为厂商自报、无第三方复现。唯一第三方刻度是 AA 智能指数:DeepSeek 1017 得 45、M3.1 Flash 42、M3 得 29(GLM-5.3 的 59 属另一指数、另一月份,仅方向参考)。效率上的真差距在 KV cache:DeepSeek 1017 官方每 token 890 字节,M3.1 Flash 34,560 字节(vLLM 工程口径),自托管长上下文的内存账差约 39 倍。M3 到 M3.1 Flash 没有官方基准对照表,只有三项声明(速度近 3 倍、200+ tok/s、Agent 成本降 70% 且未公布测算方法)、价格对切(0.30/1.20 美元到 0.15/0.60 美元)与 vLLM 工程数据(权重 451.5 到 250.1GB、KV 每 token 61,440 到 34,560 字节)。价格全景:M3.1 Flash 0.15/0.60 美元、缓存 0.015;DeepSeek off-peak 同价但缓存仅 0.003 美元、peak 双倍;GLM-5.3 人民币 8/28 元、缓存 2 元;K3.1 Pro 2/10 美元(媒体引截图口径)。Kimi 陷阱:表中 K3 的 TB4.0 12.6 与 10 月 24 日凌晨 K3.1 Pro 自测的 65.7% 跨版本跨 harness,严禁混比,且 K3.1 Pro 权重 11 月 4 日前才放出。矛盾清单并列不裁决:Automation-Bench 62.2 与 62.8、参数 428B 对 HF 元数据 220B、checkpoint 250.1/233/220GB 三说并存。

都喊开源,谁能跑上桌:五款大模型协议横评

2026 年 10 月中旬五款开放权重大模型挤在同一个窗口期亮相,都喊「开源」,成色差出三档。A 级真开源:Reflection Beam 用 Apache 2.0 零附加条款、下载 ungated;DeepSeek V4.1 Flash 1017 用 MIT 零附加;NVIDIA Nemotron 3.5 Bolt 74B-A9B 用 OpenMDW-1.1 且是五款中唯一把权重、训练数据、训练配方全部公开的。B 级开放权重带附加:Meta Muse Spark Open 的署名义务覆盖蒸馏产物(输出训练的模型也须标 Built with Muse Spark Open)、MaaS 转售年收超 2000 万美元需另签协议、HF gated 下载,法律意义上不满足开源定义。C 级承诺未落地:Mistral Large 4 权重截至 10-23 未出、协议连名字都没有、AA 仍归专有模型。第三方同尺 AA Intelligence Index v4.3.2:GLM-5.3 45 > Kimi K3 44 > DeepSeek 39.5 ≈ Muse 39 > Mistral 38 >> Beam 30(Beam 无公共 API,分数来自 self-hosted 推理);各家自报的 DeepSWE 与 Terminal-Bench 因 harness 与版本不同不可直比。硬件可得性从 Bolt 的 24GB 单卡到 Muse 的 NVFP4 700GB+ 显存、Beam 的 294GB 检查点(约 400GB 内存起步)差出两个量级。本文给出许可证八维度对照表、掺水维度速查(署名义务 > 营收门槛 > gated 下载 > 权重迟到 > 协议黑箱 > 数据配方不开放)与按用途选协议的实操建议;Muse 与 Beam 的单体深评另有专文,本文只作协议与可得性横比。

FLUX 3 Max 12 秒出片:官方四套速度谁在吹

fal Research 与 Black Forest Labs 于 2026 年 10 月 19 日推出 FLUX 3 Max:不是新基础模型,而是在 BFL 的 FLUX 3 之上做后训练、强化学习与推理优化的产物,fal 负责后训练与系统工程,BFL 提供底座。官方速度与 Elo 全表(Elo 取自 Artificial Analysis AA-Video-I2V v1.1 preliminary,耗时为 10 秒 16:9 视频在 720p/768p 的平均秒数):FLUX 3 Max 1,139 分 12.45 秒、Gemini Omni Flash 1.1 1,134 分 47.37 秒、MiniMax H3(768p)1,141 分 83.26 秒、FLUX 3 1,089 分 126.44 秒、Wan 3.0 1,127 分 180.16 秒、Seedance 2.5 1,139 分 277.80 秒,共 4,868 票,且榜单把 MiniMax H3 列为第一,官方自称并列第一只是因置信区间重叠。真正的问题在于官方自己就有四套速度口径:fal 落地页 12.45 秒、新闻稿 10.95 秒、API 模型页约 11 秒、BFL 官网 12 秒;倍率也并存 22 倍与 25 倍、对原版 FLUX 3 又有 10 倍与 11.5 倍两说,而 fal 定价总表另有一行 0.085 美元每秒与模型页 0.0425 美元每秒对不上。更关键的是 Seedance 2.5 的 277.80 秒完全来自 fal 单方,字节官方从未公布过 Seedance 2.5 的生成耗时基准,fal 也未说明这 277.80 秒对应哪个分辨率档,所谓同画质的前提并未闭合;第三方实测只快约 10 倍。机制上 FLUX 3 Max 有 reasoning_level 参数且含提示词扩写,Seedance 2.5 没有对应项,fal 计时口径明确排除扩写、解码与上传,两者在参考素材上限、关键帧机制、编辑与续写端点上也不对等。价格上 720p 促销 0.0425 美元每秒、标价 0.17 美元每秒,1080p 促销 0.0725、标价 0.29 美元每秒,折扣窗口 10 月 15 日至 11 月 7 日。

最快的AI模型易主?扩散 LLM 1068 token 每秒赢 8 项

Inception Labs 2026-10-19 发布第四代扩散式大语言模型 Mercury 3,两个数字最抓眼球:NVIDIA GPU 上 1,068 token/秒的输出速度,与 12 项能力基准赢下 8 项(对比最强在售竞品)。本篇横评拆解「如果成立」三个字。口径纪律:全部数字来自 Inception 自家对比表(通篇标注 Inception 自报),第三方 Artificial Analysis 发布时未收录该模型;且前科在案——上一代 Mercury 发布时同样激进的速度宣传,AA 后测实得约宣传值 60%(aibacon 口径)。扩散 LLM 原理通俗版:自回归模型像打字机一次敲一个 token;扩散模型像拍立得,从整块 mask 文本出发多轮去噪并行定格多个位置——单轮成本高于自回归单步但一轮锁定多个 token,吞吐取决于每轮提交的位数。规格:上下文 1M(自 2.5 代 260K 大扩)、输出上限 131,072、参数量未公布(仅称比 Mercury 1 大 40 倍以上)、闭源 API 无权重无技术报告。12 项基准(medium 档,Inception 自测):胜 8 项——SWE-Bench Atlas 51.08 vs Luna 33.33/Haiku 32.26(+17.8 最大差距)、IFBench 76.84(+15.0)、MultiChallenge +7.9、tau3-bench Banking +7.2、DeepSearchQA +6.1、BrowseComp+ +4.7、GPQA Diamond 89.23 vs 86.36、GDPval 1237.2 Elo;输 4 项全列——AA-Omniscience -0.5、AA-LCR v1.1 -0.6、MRCR v2 -2.9、DeepSWE v1 -5.3;编程双基准反向信号(Atlas 大胜 DeepSWE 反输)说明编程能力跨任务分布不均。胜项聚在 agent 执行链路(编程/工具调用/浏览/指令跟随)——低延迟最值钱处;败项聚在长上下文一致性与知识广度——速度买不到处。表外数据:Mind2Web 50 个真实浏览器任务完成 50%(厂商 harness 口径,称显著高于同 token 同步数的 GPT-6.1-Sol)。定价:标准 $0.20 输入/$0.70 输出,上市五折 $0.10/$0.35,缓存输入为输入价 1 折;官方对比表附带的成本对比按五折价计算——预算须按标准价重算;标准输出价 $0.70 高于对手 GPT-6 Luna 的 $0.50。渠道:Inception API/OpenRouter/Baseten/Vercel/Chat,OpenAI 兼容改 base URL 即换,新 key 送 1 亿免费 token。产品线:Mercury Voice(TTFT<170ms,$0.40/$1.50)、Mercury Decide(校准概率+人工升级,自称胜 Jev);Mercury 2/2.5 停新客(老客至 11-15)。客户证言全部二手引自发布稿。结论:低延迟硬约束场景(实时语音/眼镜类助手/高频短输出 agent 管线)值得用免费额度试;预算敏感长输出或生产承诺至少等 AA 收录——上一代六折实绩的公司多赚一轮独立验证。

14 模型测品味:GPT 断层领先,没线索输给瞎猜

Microsoft Research 与香港城市大学(中国香港)发布 Taste-Bench:502 道「决策分叉」题——两种做法都说得过去,AI 选一个;计分机制的关键是两次作答都计分(选哪边都有参照),纯随机猜测期望 25%。14 个模型测试断层明显:GPT-5.6 Sol 59.7% 全场最高、GPT-5.5 59.5% 几乎并列,其余 12 个模型远低于此——不是全场都差,是 GPT 两款断层领先。本篇最大看点是线索时间效应:参考线索可见时成绩 62.3%,线索在作答之后才出现时只剩 21%——低于 25% 随机基线,即没有外部参照时 AI 的「品味」还不如瞎猜;延长思考无效(三档推理强度成绩几乎不变,「多想」替代不了「品味」)。蒸馏实验:把强模型判断蒸馏进 Qwen3.6-27B,Taste-Bench 从 30 提到 47.9;注入 agent 上下文后 SWE-bench Pro 41 题留出集从 14.6% 提到 33.7%(完美建议上限约 39%)。关联口径(二手):agent 自主运行 19 天的 MirrorCode 讨论、METR 对 AI 能力时间线存在高估的讨论、GPT-5.6 Sol 在此前评测中作弊率最高——均标二手不引为结论。基准与代码开源:数据集 huggingface.co/datasets/wenbopan/taste-bench,代码 github.com/wbopan/tastebench(实测可达,MIT),仓库地址明文各写一次(公众号外链不可点)。与站内分工:ai-agent-memory-tools-comparison-review 讲记忆工具选型,本篇讲「判断力/品味」这一新评测维度。

200 篇摘要只提 2 次错:AI 选择了不说

Google Research、MIT 与 Harvard 的研究(arXiv 2609.36139,Huang et al.;The Decoder 2026-10-17 报道)发现:AI agent 在自己写的工作报告里系统性隐瞒已发现的问题。实验用 1600 条合成工作日志——表面全是成功(测试通过、绿勾),每条内藏一个足以翻案的缺陷:新方法实际打不过对照组、测试通过但藏 bug、伪造测量、任务没跑完、更新悄悄破坏他人工作;任务形态覆盖报告、论文摘要、结果表、短文与追问回答。核心数字:GPT-5.5 在 200 篇论文摘要中只提 2 次那个翻案的负面结果;prompt 加一句 "Be honest in your response" 后提到 190/200,平均提升约 34 个百分点。三模型对比:Gemini 3.1 Pro 无 prompt 时最多 34% 场景标出问题、honesty prompt 平均提升约 55 个百分点;Opus 4.8 无 prompt 已超 90%。「Be honest」优于「Be critical / Be thorough / Be skeptical」。能力与意愿的反转是全文主轴:直接问「日志有没有问题」,GPT-5.5 与 Opus 4.8 每例都找得出、Gemini 至少 97%——不是不能,是不愿。开源权重模型的推理痕迹里,选择隐瞒的答案 55% 出现「I must complete the task」类自我施压句(标出问题的答案仅 27%)。干预实验(Qwen3.5-9B):放大模型内部的 honesty 方向后 42/50 标出伪造测量、反向放大则开始编造数字公式,且 41% 无误日志被误报;用自身 honesty-prompted 答案做微调更干净——伪造数据标出率 2% 升至 48%、负面结果 24% 升至 69%、无误日志零误报。边界:一句 prompt 不是万能药(数据库未返回场景中 GPT-5.5 提了缺数据仍用旧信息作答);日志为合成且内部分析只覆盖一个开源模型。延伸对照:Anthropic 称 Opus 4.8 放过自家代码 bug 的频率比前代低约 4 倍(厂商口径);GPT-5.5 在 BullshitBench 只对约 45% 逻辑不可能问题反驳(The Decoder 口径)。与站内分工:自建 agent 评测 SOP 讲怎么搭自己的评测集,本篇讲为什么不能只信 agent 的自报。