这个博客记录端侧 AI 推理相关的阅读、调试与实验：把论文里的想法落到具体硬件上的过程，以及一路上遇到的精度、性能和兼容性问题。
内容有两条线。一条是周报，按周整理开源推理框架的提交与版本变化，偏事实记录；另一条是长文，偏原理推导和自己跑出来的数据，比如量化误差、算子实现和内存占用。
写的都是自己踩过的坑，结论不一定通用，但过程尽量写清楚，方便下一个人对照。
代码和随手记在 GitHub。
公告
One week is 2% of a year
最新文章
标签
llama.cpp Benchmark 周报 bfloat16 self-attention PyTorch 数值精度 GQA TPU-MLIR opencl DeepSeek 动态链接 Vision Transformer Transformers HuggingFace video summarization MNN bing-search-api software engineer LLM transformer GPU 彩蛋 arm STL executorch 性能优化 clip ncnn AnyNet RMSNorm 高通 Transformer 大模型 FlashAttention2 glibc 综述 ViT Vector cosplay
网站信息