推理框架

avatar
何榜文
端侧 AI 推理、算子优化与论文细读的记录。
文章
54
标签
98
分类
9
Follow Me
公告
One week is 2% of a year
最新文章
Qwen4 架构全解：把参数从显存里搬出去
Jetson 全系参数横评：从 Orin Nano 到 Thor T5000
端侧 AI 推理框架周报（2026-06-21 ~ 2026-06-28）
端侧 AI 推理框架周报（2026-06-14 ~ 2026-06-21）
论文速读：在移动 NPU 上跑通端到端 RAG——高通 Hexagon 的 Benchmark 答卷
分类
标签
Iterator Whisper 大模型 周报 Python tpu-mlir 多模态大模型 std::threads MNN LayerNorm Qualcomm 动态链接 Vision Transformer Benchmark TPU-MLIR llama.cpp ONNX clip MoE STL Transformers ExecuTorch Jetson cosplay VLM DeepSeek executorch TVM MLX onnxruntime software engineer RMSNorm 交叉编译 Functor opencl 内存泄漏 魔法数字 self-attention video summarization 端侧推理
归档
网站信息