Benchmark demo介绍

1 Benchmark demo介绍¶

Benchmark demo 是为用户提供在SGS平台部署模型时快速查看模型Benchmark的工具。可以跑出开源模型在板端的运行开销，包括：ipu推理速度、带宽、flash和模型运行内存。

2 工具获取方式¶

该工具存放在Linux SDK-alkaid中，存放目录为：

Linux_SDK/sdk/verify/opendla/source/benchmark

3 板端部署¶

3.1 程序编译¶

Benchmark 工具编译之前需要先根据板子（nand/nor/emmc, ddr型号等）选择deconfig进行sdk整包编译, 具体可以参考alkaid sdk sigdoc《开发环境搭建》文档。

编译方式。

$cd sdk/verify/opendla
$make clean && make source/benchmark -j8

最终生成的可执行文件地址

sdk/verify/opendla/out/${AARCH}/app/prog_benchmark

3.2 运行文件¶

运行程序时, 需要先将以下几个文件拷贝到板端

prog_benchmark
需要测试的offline模型

4 运行说明¶

Usage: ./prog_benchmark -p models/（执行文件使用命令）
Required Input:
- -p: 存放offline模型的文件夹路径

Typical Output:

./prog_benchmark -p models/

    modelPath = models/
    model                          invoke time(ms)   bandwidth(KB)    bandwidth(KB)/s   ROM(KB)    RAM(KB)
    clip_image_encode.img          36.832            84300            2.28877e+06       38630      40626
    clip_text_encode.img           27.333            99330            3.6341e+06        89952      90468
    conformer_400x80.img           95.837            270181           2.81918e+06       84638      90780
    yolov8n_pose_640x640.img       40.616            95014            2.33934e+06       4432       7959
    yolov8n_seg_640x640.img        50.328            112223           2.22984e+06       4538       12097
    yolov8_world_image_encode.img  101.662           189103           1.86012e+06       16241      23877
    yolov8_world_text_encode.img   25.703            87787            3.41544e+06       89422      89904