何榜文

CoRL 2026 的最佳论文 SuperMimic（UC Berkeley，Qiayuan Liao 等）做的事一句话能说清：人形机器人的动作千差万别，但执行动作的是同一具身体——把这套共享的刚体动力学学成一个可微世界模型，让策略梯度直接从模型里流出来。结果是：在 129,514 段动作的基准上，此前最强的动作跟踪器 SONIC 用 128 张 L40 训 7 天（约 21,000 GPU 小时），发布的 checkpoint 归一化回报 0.90、失败 179 段；SuperMimic 一张 H100 训 3 小时就超过这个回报（失败 25 段），双卡 9.8 小时后零失败，GPU 小时数降了 1000 倍以上，策略还能直接迁到真机 Unitree G1。省下的一千倍来自一个替换：把策略梯度从「黑盒采样估计」换成「穿过学出来的模型反向传播」。 背景：动作跟踪的算力墙Physics-based motion imitation（物理动作模仿）是人形全身控制的主流路线：RL 策略跟踪 mocap 参考动作，从 DeepMimic（2018）一路走到今天。参考动作告诉机器人接下来该...

Magpie 把每个请求都记了账。这个 DeepSeek Harness 插件把它摊到侧栏：点开图标，今天花了多少、哪个订阅窗口快满，一眼看完。 功能 五个数字块：调用次数、成本（按 1 USD = 6.8 折成人民币）、输入 / 输出 token、缓存读取，副行带错误数与缓存命中率 成本柱状图：今天按小时，7 天 / 30 天按天；点一根柱子，下方立刻给出这一桶的金额、调用数与 token 流量，再点收起 额度卡片：各 provider 余额、5 小时 / 7 天 / 月度窗口进度条与重置倒计时，读不到会写明原因 模型消耗 Top 6 与最近请求流水 一键打码：金额、余额与账号尾号换成 •，截图不用担心露数字 三栏瀑布流：卡片按自身高度排布，下一张填进空当，不留洞 停用的供应商会自动腾位：额度卡移出列流，其余卡片回流填满；单张卡也能 × 收起，底部可一键恢复 随窗口高度收缩：窗口矮时收紧图表、行数与留白，一屏就能看到重点 自动刷新可选 5 / 10 / 30 / 60 秒，页面切到后台自动暂停 附...

π0.5 和 SD3 的 MM-DiT 常被一句话打发：「都是 joint attention」。这话不错，但混了两件事：joint attention 描述算子形状——几套 QKV、一个共享 KV 池、一次 softmax；mask 描述权限——哪些 key 能被哪些 query 读。前者两边几乎逐行相同，后者一张是 3 段单向图，一张是 2 段全连通图。 joint attention 只管算子，mask 才管权限 openpi 的 gemma.py 逐专家算各自的 QKV，然后一行拼进同一个 KV 池： 1q, k, v = (jnp.concatenate(y, axis=1) for y in zip(*qkvs, strict=True)) 前提是头几何完全一致：π0.5 两个专家一个 2048 宽、一个 1024 宽，但都是 8 个 query 头、1 个 KV 头、head_dim 256——宽度不同不妨碍联合，头形状不同就联合不了。SD3 论文说得很直白：MM-DiT 的两套权重「等价于两个独立的 transformer，只把序列拼起来做注意力」。权重按流分开...

Qwen4 的权重还没发，但架构已经公开：8 月 27 日开源的 Qwen3.8-Flash-Next，官方定位是 an early preview of the architecture used in Qwen4。四个数字先立住骨架：125B 总参只激活 6B；1M 上下文的 KV cache 只有 24.6 GB，是同规模全注意力的四分之一；48 层里 36 层的历史状态合计 113 MB，且是常数——1K 和 1M 上下文一样大；另有 51B 参数干脆放在主机内存里查表。这一代所有改动的目标是一件事：把「模型容量」和「HBM 容量」解耦。下面所有数字都来自它的 config.json 和官方技术博客，可以逐项复算。 背景：加法卡在两面墙LLM 想加长上下文、加大容量，撞的是同一面墙的两面。KV cache 随上下文线性增长：全注意力下每 token 每层都要存 K 和 V，上下文到 1M，几十 GB 的 KV cache 把 batch 压死，推理成本跟着上下文线性走。模型容量被 HBM 容量限死：参数必须放显存，想加大模型就要加卡，查表型参数（大词表这类低算力高容量）尤...

最近把手上的 Jetson 参数整理成了一张可以横向对比的表（在线地址，支持 CSV 导出），19 个型号，从 Orin Nano 4GB 一路排到 Thor T5000。表本身没什么好说的，真正有意思的是把它横过来之后冒出来的三个问题：Orin NX 8GB 和 Orin Nano 8GB 的 GPU 是同一块，那多花的钱到底买到了什么；为什么「275 TOPS」和表里的 137.5 正好差一倍；以及 Thor 的算力涨了 3.8 倍、带宽却只涨 1.33 倍，这笔账到底该怎么算。 后半程拿 llama.cpp 和 Jetson AI Lab 的实测数字回来对了一遍，三个问题的答案基本都对得上带宽这条线。 口径：表里的数字是稠密值这是读这张表最容易踩的坑，先立规矩。 表里的所有算力都是稠密（dense）值，而 NVIDIA 官网大字报和绝大多数中文文章引用的是稀疏（sparse）值，两者默认开着 2:1 的结构化稀疏，差整整一倍。 拿四条数据验一下： 型号 表里（稠密） 官方宣传（稀疏） 倍数 Orin NX 16GB INT8 30 + DLA 20 ...

概览本周（2026-06-21 ~ 2026-06-28）15 个仓库中有 10 个产生更新，共计 162 次提交。以下按仓库逐一解读。 一、阿里巴巴 MNN（7 commits）MNN-aware QLoRA 微调支持MNN 本周最大的亮点是新增了 MNN-aware QLoRA finetuning 功能（#4560）。这一特性将 QLoRA 的微调流程与 MNN 的量化推理管线深度结合：微调时直接用 MNN 的低比特量化算子（如 INT4/INT8 matmul）参与前向传播，使量化误差和训练过程在同一个计算图内对齐，而非传统 QLoRA 中先「冻结量化权重 + 推理框架外微调」的两阶段解耦方式。这意味着在 MNN 上部署 QLoRA 微调后的模型时，精度损失理论上更可控，是端侧参数高效微调（PEFT）值得关注的方向。 Vulkan Range op 图像实现Vulkan 后端新增了 Range 操作的 image 实现（#4563）。Range 在动态 shape 场景中用于构造连续索引序列（例如 [0, 1, ..., n-1]），此前仅在 buffer 模式...

概述本周（2026-06-14 ~ 2026-06-21）监控的 15 个开源仓库中有 10 个产生更新，合计 180 次提交。几个值得关注的趋势： llama.cpp / ONNX Runtime / ExecuTorch / TVM 活跃度极高（各 30+ 提交），围绕多模态、混合模型、长上下文和量化推理展开密集迭代 MNN 3.6.0 正式发布，带来 OpenCL 启发式调优、RVV 适配等基础设施改进 Qualcomm AI Hub 全面转向 PT2 导出，新增 GenieX/GenieX_llama.cpp 运行时 RKNN-LLM v1.3.0 发布 tencent/ncnn — Vulkan INT8 内核与批量推理基础设施4 次提交 Vulkan INT8 内核本周 ncnn 的核心变化是为 Vulkan 后端添加了 INT8 量化推理路径（#6751）。具体来说，nihui 实现了以下层的 Vulkan INT8 kernel： Convolution — 卷积层 INT8 shader Convol...

论文信息 标题：Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite 作者：Zhiyuan Cheng, Longying Lai 链接：https://arxiv.org/abs/2606.11257 提交：2026-06-09 | 9 pages | cs.CL / cs.LG / cs.PF TL;DR这篇论文做了件事：把 Embedding + Reranker + LLM 三条推理管线全部搬上高通 Hexagon NPU（Snapdragon X Elite），在 Dell XPS 13 上跑通了可能是首个端到端的 NPU RAG 系统。结论是 NPU 比 CPU 快 4-18 倍、省 4-12 倍电，且答案质量不降。 系统设计整个 RAG Pipeline 分两条链路： 索引链路：文档切片 → EmbeddingGemma 300M 生成 1024 维向量 → FAISS 构建索引 查询链路：混合检索（BM...

本周（2026-06-07 ~ 2026-06-14）共追踪 15 个开源推理框架/工具链仓库，其中 11 个有更新，总计 182 次提交。以下是各仓库的关键变化与技术分析。 alibaba/MNN — 8 commitsWan2.1 视频生成模型支持 MNN 本周合并了对 Wan2.1-T2V-1.3B 视频生成模型的导出和推理支持（#4469）。这是继之前支持的 Wan2.1 文生图模型之后的进一步扩展，将 MNN 的 Diffusion 推理能力从图像扩展到视频生成领域。SD1.5 的 resize cache warmup bug 也在同一波修复中（#4530）。 LLM 核心修复 Qwen2.5-Omni 音频预处理（#4459）：修复了多模态音频输入在预处理中的边界情况，这对于 Omni 模型在实际场景中的部署至关重要。 gapLen 计算 bug（#4527）：修复了 _maskQK 中 mask 为空时提前返回导致的 gapLen 未初始化问题，这个 patch 来自阿里内部代码审查（Merge-Request 27957084）。 后...

本周（2026-05-17 ~ 2026-05-23）9 个仓库共产生 196 次提交，涵盖端侧推理、量化、后端优化、新模型支持等多个方向。 tencent/ncnn — 18 commits本周 ncnn 在 ARM/NEON 优化、RISC-V 后端和工具链方面持续发力。 ARM SDPA（Scaled Dot-Product Attention）Layer新增 ARM 后端 SDPA 层实现（#6698），这是 ncnn 在 LLM 推理方向的重要进展。SDPA 将 QKV 投影后的 attention 计算融合为单一算子，避免了多次 kernel launch 和中间 tensor 的读写开销，对端侧 LLM 的 decode 阶段延迟改善明显。 ARM SIMD 激活函数与量化風的彷徨 贡献了 erf、elu、gelu、selu 在 ARM 上的 SIMD 实现（#6605），补齐了 ARM NEON 后端在激活函数方面的性能短板。Justin Fung 提交了两项 RISC-V Vector 1.0 的量化/反量化实现（#6695,...