跳转至

首页

1. 概述

IPU Toolchain可以帮助用户快速的将 AI 模型部署到 IPU 芯片上。 IPU Toolchain为用户提供在计算机上进行模型转换、推理和性能评估的开发套件。

OpenDLAModel是基于IPU Toolchain提供的开源参考算法。 OpenDLAModel封装了IPU Toolchain的转换命令，提供了从开源框架修改到部署IPU板端的全套代码。

IPU Toolchain

2. 目的

通过IPU Toolchain提供的工具以及 Python 接口可以便捷地完成以下功能：

  1. 模型转换：支持 ONNX、TensorFlow、TensorFlow Lite、Caffe等模型转为 IPU 模型。

  2. 量化功能：支持将浮点模型量化为定点模型，并支持混合量化。

  3. 模型推理：将 IPU 模型分发到指定的设备上进行推理并获取推理结果；或在计算机上仿真运行模型并获取推理结果。

  4. 量化精度分析：该功能将给出模型量化后每一层推理结果与浮点模型推理结果的指标，以便于分析量化误差是如何出现的，为提高量化模型的精度提供思路。