Yet Another 何榜文's Blog
  • 首页
  • 标签
  • 归档
  • 分类
  • 标签
  • 友链
  • 待办事项
  • 联系我

ORT 模型部署

Deploy ORT modelonnxruntime-inference-examples/mobilenet.ipynb at main · microsoft/onnxruntime-inference-examples 详细记录YOLACT实例分割ncnn实现 真正部署模型,不应该把后处理包括在模型推理中,这会影响模型在GPU上的部署,性能也不一定会好。这里的后处理,不
2024-03-12

MNN GPU float16 使用原理

我观察到 MNN 在使用 GPU OpenCL 时,会默认使用 float16 的格式,导致模型评测时时间不同,如图。因此查看了 MNN 的源码,发现了一些有趣的东西。 MNN 使用 MNN::BackendConfig::Precision_Low 时,会根据 GPU 的实际情况判断是否使用 float16 的数据格式。代码随附。 当导出的模型可以使用 float32 或者 float16 保
2024-03-11
1234

搜索

Hexo Fluid
总访问量 次 总访客数 人