何榜文

Qwen4 的权重还没发，但架构已经公开：8 月 27 日开源的 Qwen3.8-Flash-Next，官方定位是 an early preview of the architecture used in Qwen4。下面所有数字都来自它的 config.json 和官方技术博客，可以逐项复算。 规格 项 Qwen3.8-Flash-Next 主模型参数 125B N-gram 查表参数 51B（不入矩阵乘） 每 token 激活 6B 层数 48 注意力布局 36 层 GDN + 12 层 QSA（3:1） Hidden / Head dim 2560 / 256 Q 头 / KV 头 24 / 2（GQA 12:1） RoPE 部分旋转 25%（64 维），$\theta=10^7$，mRoPE 交错 MoE 512 专家，top-10，专家中间维 640，共享专家 1 个 残差 Gated Residual，4 分支（HC4） 原生上下文 262,144，YaRN 可扩到 1...

最近把手上的 Jetson 参数整理成了一张可以横向对比的表（在线地址，支持 CSV 导出），19 个型号，从 Orin Nano 4GB 一路排到 Thor T5000。表本身没什么好说的，真正有意思的是把它横过来之后冒出来的三个问题：Orin NX 8GB 和 Orin Nano 8GB 的 GPU 是同一块，那多花的钱到底买到了什么；为什么「275 TOPS」和表里的 137.5 正好差一倍；以及 Thor 的算力涨了 3.8 倍、带宽却只涨 1.33 倍，这笔账到底该怎么算。 后半程拿 llama.cpp 和 Jetson AI Lab 的实测数字回来对了一遍，三个问题的答案基本都对得上带宽这条线。 口径：表里的数字是稠密值这是读这张表最容易踩的坑，先立规矩。 表里的所有算力都是稠密（dense）值，而 NVIDIA 官网大字报和绝大多数中文文章引用的是稀疏（sparse）值，两者默认开着 2:1 的结构化稀疏，差整整一倍。 拿四条数据验一下： 型号 表里（稠密） 官方宣传（稀疏） 倍数 Orin NX 16GB INT8 30 + DLA 20 ...

概览本周（2026-06-21 ~ 2026-06-28）15 个仓库中有 10 个产生更新，共计 162 次提交。以下按仓库逐一解读。 一、阿里巴巴 MNN（7 commits）MNN-aware QLoRA 微调支持MNN 本周最大的亮点是新增了 MNN-aware QLoRA finetuning 功能（#4560）。这一特性将 QLoRA 的微调流程与 MNN 的量化推理管线深度结合：微调时直接用 MNN 的低比特量化算子（如 INT4/INT8 matmul）参与前向传播，使量化误差和训练过程在同一个计算图内对齐，而非传统 QLoRA 中先「冻结量化权重 + 推理框架外微调」的两阶段解耦方式。这意味着在 MNN 上部署 QLoRA 微调后的模型时，精度损失理论上更可控，是端侧参数高效微调（PEFT）值得关注的方向。 Vulkan Range op 图像实现Vulkan 后端新增了 Range 操作的 image 实现（#4563）。Range 在动态 shape 场景中用于构造连续索引序列（例如 [0, 1, ..., n-1]），此前仅在 buffer 模式...

概述本周（2026-06-14 ~ 2026-06-21）监控的 15 个开源仓库中有 10 个产生更新，合计 180 次提交。几个值得关注的趋势： llama.cpp / ONNX Runtime / ExecuTorch / TVM 活跃度极高（各 30+ 提交），围绕多模态、混合模型、长上下文和量化推理展开密集迭代 MNN 3.6.0 正式发布，带来 OpenCL 启发式调优、RVV 适配等基础设施改进 Qualcomm AI Hub 全面转向 PT2 导出，新增 GenieX/GenieX_llama.cpp 运行时 RKNN-LLM v1.3.0 发布 tencent/ncnn — Vulkan INT8 内核与批量推理基础设施4 次提交 Vulkan INT8 内核本周 ncnn 的核心变化是为 Vulkan 后端添加了 INT8 量化推理路径（#6751）。具体来说，nihui 实现了以下层的 Vulkan INT8 kernel： Convolution — 卷积层 INT8 shader Convol...

论文信息 标题：Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite 作者：Zhiyuan Cheng, Longying Lai 链接：https://arxiv.org/abs/2606.11257 提交：2026-06-09 | 9 pages | cs.CL / cs.LG / cs.PF TL;DR这篇论文做了件事：把 Embedding + Reranker + LLM 三条推理管线全部搬上高通 Hexagon NPU（Snapdragon X Elite），在 Dell XPS 13 上跑通了可能是首个端到端的 NPU RAG 系统。结论是 NPU 比 CPU 快 4-18 倍、省 4-12 倍电，且答案质量不降。 系统设计整个 RAG Pipeline 分两条链路： 索引链路：文档切片 → EmbeddingGemma 300M 生成 1024 维向量 → FAISS 构建索引 查询链路：混合检索（BM...

本周（2026-06-07 ~ 2026-06-14）共追踪 15 个开源推理框架/工具链仓库，其中 11 个有更新，总计 182 次提交。以下是各仓库的关键变化与技术分析。 alibaba/MNN — 8 commitsWan2.1 视频生成模型支持 MNN 本周合并了对 Wan2.1-T2V-1.3B 视频生成模型的导出和推理支持（#4469）。这是继之前支持的 Wan2.1 文生图模型之后的进一步扩展，将 MNN 的 Diffusion 推理能力从图像扩展到视频生成领域。SD1.5 的 resize cache warmup bug 也在同一波修复中（#4530）。 LLM 核心修复 Qwen2.5-Omni 音频预处理（#4459）：修复了多模态音频输入在预处理中的边界情况，这对于 Omni 模型在实际场景中的部署至关重要。 gapLen 计算 bug（#4527）：修复了 _maskQK 中 mask 为空时提前返回导致的 gapLen 未初始化问题，这个 patch 来自阿里内部代码审查（Merge-Request 27957084）。 后...

本周（2026-05-17 ~ 2026-05-23）9 个仓库共产生 196 次提交，涵盖端侧推理、量化、后端优化、新模型支持等多个方向。 tencent/ncnn — 18 commits本周 ncnn 在 ARM/NEON 优化、RISC-V 后端和工具链方面持续发力。 ARM SDPA（Scaled Dot-Product Attention）Layer新增 ARM 后端 SDPA 层实现（#6698），这是 ncnn 在 LLM 推理方向的重要进展。SDPA 将 QKV 投影后的 attention 计算融合为单一算子，避免了多次 kernel launch 和中间 tensor 的读写开销，对端侧 LLM 的 decode 阶段延迟改善明显。 ARM SIMD 激活函数与量化風的彷徨 贡献了 erf、elu、gelu、selu 在 ARM 上的 SIMD 实现（#6605），补齐了 ARM NEON 后端在激活函数方面的性能短板。Justin Fung 提交了两项 RISC-V Vector 1.0 的量化/反量化实现（#6695,...

本周（2026/05/10 ~ 2026/05/17）15 个跟踪仓库中有 10 个产生更新，总计 157 次提交。重点关注 llama.cpp 的 MTP 推测解码支持、ONNX Runtime 的 FlashAttention 20x 加速、ncnn 的 ARM BF16 全线优化以及 ExecuTorch 的 RISC-V 基础设施落地。 tencent/ncnn — 12 commits本周 ncnn 的核心主题是 BF16 存储与计算的深度优化，围绕 ARMv8.4 BF16 指令集展开了一系列 GEMM/卷积/全连接层的优化。 ARMv8.4 BF16 GEMM 优化（#6714）PR #6714 针对 ARMv8.4 架构下的 BF16 GEMM 进行了深度实现。ARMv8.4 引入了 BFMMLA 指令（即 BFloat16 Matrix Multiply-Accumulate），每条指令可完成 2×4×8 的 BF16 矩阵乘加操作。ncnn 此次将 GEMM 核心路径切换至 BFMMLA，...

问题背景在 MNN LLM 的 multimodal 推理场景中，当多次调用视觉编码器（vision encoder）时，观察到两个严重问题： 推理延迟随调用次数持续增长（内存泄漏 + 延迟增加） OpenCL 后端下延迟增长尤其严重，15 次调用后延迟膨胀 2.6 倍 本文详细分析三个根因及修复方案，并给出修复前后的真实性能对比数据。 根因一：Vision Encoder 错误共享 LLM 的 KVCache问题分析MNN 的 multimodal 架构中，LLM backbone 和 vision/audio processor 各自维护独立的 RuntimeManager。然而在 Omni::load() 中，processor 的 runtime manager 会调用 setRuntimeHint()，该方法设置了 KVCACHE_INFO hint 指向 LLM 的 KVMeta： 123456// llm.cpp - setRuntimeHintvoid Llm::setRuntimeHint(std::shared_ptr<RuntimeM...

真相：DEEPSEEK 的 T9 九宫格编码33377335 在九宫格手机键盘上对应 DEEPSEEK 这 8 个字母。 在传统 T9 手机键盘（九键输入法）上，字母与数字的映射为： 按键 字母 2 ABC 3 DEF 4 GHI 5 JKL 6 MNO 7 PQRS 8 TUV 9 WXYZ 逐字母解码： 字母 按键 在按键上的位置 D 3 第 1 个（DEF → D） E 3 第 2 个（DEF → E） E 3 第 2 个 P 7 第 1 个（PQRS → P） S 7 第 4 个（PQRS → S） E 3 第 2 个 E 3 第 2 个 K 5 第 2 个（JKL → K） 所以 D-E-E-P-S-E-E-K = 3-3-3-7-7-3-3-5 = 33377335 ✅ 这不是一个 IEEE 754 浮点数常量，不是 GPU 工作组大小，而是一个彩蛋数字 🥚 （不过说回来，这个数字的质因数分解 5 × 1931 × 3457 倒是货真价实的——就跟你把 DE...