太极平台高效支持MKLDNN动态shape推理

太极平台高效支持MKLDNN动态shape推理

太极平台确实高效支持MKLDNN动态shape推理。具体来说：

MKLDNN作为计算库：太极机器学习平台的TIMO方案采用MKLDNN作为计算库，该库是Intel专为X86CPU设计的高性能神经网络计算库，支持多种框架和CPU型号。

解决动态shape推理性能问题：针对MKLDNN在动态shape推理方面的性能不佳问题，TIMO进行了优化。通过扩展MKLDNN，优化适配OpenVINO，并开发了一套支持动态shape推理的kernel库，实现了无需重新编译即可进行即时推理。

动态shape推理框架：该框架在视觉计算场景中进行了优化，支持动态Batch和动态分辨率两种动态shape场景。在线推理流程中，重点包括shape推断、primitive descriptor更新、最优核函数选择和primitive kernel重置等步骤。

动态shape kernel的实现：核心思想是使用寄存器替代立即数存储形状变化相关的算法参数，避免了重新编译。实现方法包括使用寄存器装载和遍历整数。这一优化显著减小了jit编译时间开销，同时保持了卷积推理执行的时间和精度不变。

业务验证与性能提升：该方案已在多个业务场景中验证，包括人脸识别和视频相似度分析等，取得了良好的效果。特别是在人脸识别业务中，与Onnxruntime相比，实现了50%的性能提升。

人工智能平台有哪些

阿里云、华为云、腾讯云、百度AI和谷歌AI是一些常见的人工智能平台。

人工智能平台是为机器学习开发人员、数据科学家和数据工程师提供便利的工具，使他们能够快速、高效地将机器学习项目从构思到实际应用。这些平台提供了丰富的功能和工具，使用户能够构建、训练和部署自己的机器学习应用。