Qwen2.5-VL 中视觉模型的窗口注意力机制

背景

在算能的 LLM-TPU 里有对 Qwen2.5-VL 视觉模型的导出，但是并没有增加对窗口注意力的支持，因此跟 Qwen2.5-VL 原生相比，性能下降较大。

解决方案

窗口注意力是全局注意力的一种特例

从 qwen2.5-vl 的全局注意力到窗口注意力

测试