何榜文

π0.5 和 SD3 的 MM-DiT 常被一句话打发：「都是 joint attention」。这话不错，但混了两件事：joint attention 描述算子形状——几套 QKV、一个共享 KV 池、一次 softmax；mask 描述权限——哪些 key 能被哪些 query 读。前者两边几乎逐行相同，后者一张是 3 段单向图，一张是 2 段全连通图。 joint attention 只管算子，mask 才管权限 openpi 的 gemma.py 逐专家算各自的 QKV，然后一行拼进同一个 KV 池： 1q, k, v = (jnp.concatenate(y, axis=1) for y in zip(*qkvs, strict=True)) 前提是头几何完全一致：π0.5 两个专家一个 2048 宽、一个 1024 宽，但都是 8 个 query 头、1 个 KV 头、head_dim 256——宽度不同不妨碍联合，头形状不同就联合不了。SD3 论文说得很直白：MM-DiT 的两套权重「等价于两个独立的 transformer，只把序列拼起来做注意力」。权重按流分开...

先说结论。OpenCode Go 是每月 ¥68（订阅价 $10，全文按 1 USD = 6.8 元人民币一次性换算，此后不再折回）的开源模型订阅：付一份月费，拿到一组已内置计价的开源模型，用量按各模型官方牌价折成等价金额，计入三层使用窗口。本计费周期（10-30 起）在 11-08 上午的配额读数：7 天窗已用 36%、月窗已用 24%；把已消耗部分折回官方等价约 ¥112，照这个节奏走完整月约 ¥544——相当于用 ¥68 扛住约 8 倍杠杆。折扣不在单价里：DeepSeek Flash 在 Go 里的牌价与官方 API 完全一致，省的全部来自「¥68 包 ¥680 月额度」的结构。 订阅机制三档：Go ¥68/月、Go Plus ¥272/月、Go Teams ¥136/每人，模型清单覆盖 30 款开源模型（DeepSeek、GLM、Kimi、MiniMax、Qwen、MiMo 等）。计价单位不是 token 而是等价金额：每个模型有一张自己的价表，每条请求按所在时段的牌价折算后计入窗口（见 官方定价页）。 额度深度按模型分级，这是整...

Qwen4 的权重还没发，但架构已经公开：8 月 27 日开源的 Qwen3.8-Flash-Next，官方定位是 an early preview of the architecture used in Qwen4。下面所有数字都来自它的 config.json 和官方技术博客，可以逐项复算。 规格 注意 125B 和 51B 是两个账本：算力只算前者，显存要看两者之和（176B），但后者不占 HBM。 整体架构一张图看完整条链路：token embedding 之后是 48 个 block（每层 RMSNorm → 3 层 GDN + 1 层 QSA → RMSNorm → MoE，四条残差流旁路），最后接 Final RMSNorm 与 Linear；左侧挂 51B 的 N-gram 查表，右侧三块放大注意力、MoE 与参数账本。 QSA：索引粒度也一起压 DSA 是 token 级稀疏：用小号 indexer 给每个历史 token 打分，取 top-k 再算注意力。注意力成本从 $O(n^2)$ 降到 $O(nk)$，但 indexer 仍要把 $n$ 个位置全打一遍...

最近把手上的 Jetson 参数整理成了一张可以横向对比的表（在线地址，支持 CSV 导出），19 个型号，从 Orin Nano 4GB 一路排到 Thor T5000。表本身没什么好说的，真正有意思的是把它横过来之后冒出来的三个问题：Orin NX 8GB 和 Orin Nano 8GB 的 GPU 是同一块，那多花的钱到底买到了什么；为什么「275 TOPS」和表里的 137.5 正好差一倍；以及 Thor 的算力涨了 3.8 倍、带宽却只涨 1.33 倍，这笔账到底该怎么算。 后半程拿 llama.cpp 和 Jetson AI Lab 的实测数字回来对了一遍，三个问题的答案基本都对得上带宽这条线。 口径：表里的数字是稠密值这是读这张表最容易踩的坑，先立规矩。 表里的所有算力都是稠密（dense）值，而 NVIDIA 官网大字报和绝大多数中文文章引用的是稀疏（sparse）值，两者默认开着 2:1 的结构化稀疏，差整整一倍。 拿四条数据验一下： 型号 表里（稠密） 官方宣传（稀疏） 倍数 Orin NX 16GB INT8 30 + DLA 20 ...

概览本周（2026-06-21 ~ 2026-06-28）15 个仓库中有 10 个产生更新，共计 162 次提交。以下按仓库逐一解读。 一、阿里巴巴 MNN（7 commits）MNN-aware QLoRA 微调支持MNN 本周最大的亮点是新增了 MNN-aware QLoRA finetuning 功能（#4560）。这一特性将 QLoRA 的微调流程与 MNN 的量化推理管线深度结合：微调时直接用 MNN 的低比特量化算子（如 INT4/INT8 matmul）参与前向传播，使量化误差和训练过程在同一个计算图内对齐，而非传统 QLoRA 中先「冻结量化权重 + 推理框架外微调」的两阶段解耦方式。这意味着在 MNN 上部署 QLoRA 微调后的模型时，精度损失理论上更可控，是端侧参数高效微调（PEFT）值得关注的方向。 Vulkan Range op 图像实现Vulkan 后端新增了 Range 操作的 image 实现（#4563）。Range 在动态 shape 场景中用于构造连续索引序列（例如 [0, 1, ..., n-1]），此前仅在 buffer 模式...

概述本周（2026-06-14 ~ 2026-06-21）监控的 15 个开源仓库中有 10 个产生更新，合计 180 次提交。几个值得关注的趋势： llama.cpp / ONNX Runtime / ExecuTorch / TVM 活跃度极高（各 30+ 提交），围绕多模态、混合模型、长上下文和量化推理展开密集迭代 MNN 3.6.0 正式发布，带来 OpenCL 启发式调优、RVV 适配等基础设施改进 Qualcomm AI Hub 全面转向 PT2 导出，新增 GenieX/GenieX_llama.cpp 运行时 RKNN-LLM v1.3.0 发布 tencent/ncnn — Vulkan INT8 内核与批量推理基础设施4 次提交 Vulkan INT8 内核本周 ncnn 的核心变化是为 Vulkan 后端添加了 INT8 量化推理路径（#6751）。具体来说，nihui 实现了以下层的 Vulkan INT8 kernel： Convolution — 卷积层 INT8 shader Convol...

论文信息 标题：Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite 作者：Zhiyuan Cheng, Longying Lai 链接：https://arxiv.org/abs/2606.11257 提交：2026-06-09 | 9 pages | cs.CL / cs.LG / cs.PF TL;DR这篇论文做了件事：把 Embedding + Reranker + LLM 三条推理管线全部搬上高通 Hexagon NPU（Snapdragon X Elite），在 Dell XPS 13 上跑通了可能是首个端到端的 NPU RAG 系统。结论是 NPU 比 CPU 快 4-18 倍、省 4-12 倍电，且答案质量不降。 系统设计整个 RAG Pipeline 分两条链路： 索引链路：文档切片 → EmbeddingGemma 300M 生成 1024 维向量 → FAISS 构建索引 查询链路：混合检索（BM...

本周（2026-06-07 ~ 2026-06-14）共追踪 15 个开源推理框架/工具链仓库，其中 11 个有更新，总计 182 次提交。以下是各仓库的关键变化与技术分析。 alibaba/MNN — 8 commitsWan2.1 视频生成模型支持 MNN 本周合并了对 Wan2.1-T2V-1.3B 视频生成模型的导出和推理支持（#4469）。这是继之前支持的 Wan2.1 文生图模型之后的进一步扩展，将 MNN 的 Diffusion 推理能力从图像扩展到视频生成领域。SD1.5 的 resize cache warmup bug 也在同一波修复中（#4530）。 LLM 核心修复 Qwen2.5-Omni 音频预处理（#4459）：修复了多模态音频输入在预处理中的边界情况，这对于 Omni 模型在实际场景中的部署至关重要。 gapLen 计算 bug（#4527）：修复了 _maskQK 中 mask 为空时提前返回导致的 gapLen 未初始化问题，这个 patch 来自阿里内部代码审查（Merge-Request 27957084）。 后...

本周（2026-05-17 ~ 2026-05-23）9 个仓库共产生 196 次提交，涵盖端侧推理、量化、后端优化、新模型支持等多个方向。 tencent/ncnn — 18 commits本周 ncnn 在 ARM/NEON 优化、RISC-V 后端和工具链方面持续发力。 ARM SDPA（Scaled Dot-Product Attention）Layer新增 ARM 后端 SDPA 层实现（#6698），这是 ncnn 在 LLM 推理方向的重要进展。SDPA 将 QKV 投影后的 attention 计算融合为单一算子，避免了多次 kernel launch 和中间 tensor 的读写开销，对端侧 LLM 的 decode 阶段延迟改善明显。 ARM SIMD 激活函数与量化風的彷徨 贡献了 erf、elu、gelu、selu 在 ARM 上的 SIMD 实现（#6605），补齐了 ARM NEON 后端在激活函数方面的性能短板。Justin Fung 提交了两项 RISC-V Vector 1.0 的量化/反量化实现（#6695,...

本周（2026/05/10 ~ 2026/05/17）15 个跟踪仓库中有 10 个产生更新，总计 157 次提交。重点关注 llama.cpp 的 MTP 推测解码支持、ONNX Runtime 的 FlashAttention 20x 加速、ncnn 的 ARM BF16 全线优化以及 ExecuTorch 的 RISC-V 基础设施落地。 tencent/ncnn — 12 commits本周 ncnn 的核心主题是 BF16 存储与计算的深度优化，围绕 ARMv8.4 BF16 指令集展开了一系列 GEMM/卷积/全连接层的优化。 ARMv8.4 BF16 GEMM 优化（#6714）PR #6714 针对 ARMv8.4 架构下的 BF16 GEMM 进行了深度实现。ARMv8.4 引入了 BFMMLA 指令（即 BFloat16 Matrix Multiply-Accumulate），每条指令可完成 2×4×8 的 BF16 矩阵乘加操作。ncnn 此次将 GEMM 核心路径切换至 BFMMLA，...