LLM 模型支持列表¶
下面将总结当前版本 LLM converter 工具已支持的HuggingFace模型列表及对应的运行指令（LLM converter将持续扩展适配范围）。
说明
以下模型均需使用官方发布的预训练或量化权重。
--all_fp16 参数用于非 AWQ/GPTQ 模型的全 FP16 转换，不走量化库，可直接生成离线模型，但运行速度和效率较低。
建议优先选用 AWQ/GPTQ 等量化权重，以保证转换后的模型性能与效率。
⚠️【版本依赖规范】
| 组件 | 要求版本 |
|---|---|
| LLM_Converter | 基于transformers 4.57.3 |
| 输入模型 | 必须为transformer 4.57.3 版本训练的HF模型 |
📊 已支持模型列表¶
更新时间: 2025-01-09
总模型数: 34
📋 模型分类¶
DeepSeek_R1¶
✅ 1.5B
实践建议
- 转换命令参考:
python3 convert_hf_to_sim.py \
-d /path/to/model/ \
-o /path/to/output_model/ \
--inputs /path/to/input.json \
--visual_input_formats YUV_NV12 \
--soc_version CHIP
-
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \
-d /path/to/output_model/ \
--prompt "Give me a short introduction to large language model." \
--soc_version CHIP
DeepSeek Janus Pro¶
✅ 1B
⚠️ 目前仅支持**图生文**（Image-to-Text）的量化转换，文生图（Text-to-Image）暂不支持。
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ -t /path/to/model/ \ --image /path/to/jpg/ \ --no_streamer \ --prompt "请描述下这张图片" \ --soc_version CHIP
Qwen2.5¶
✅ 0.5B
✅ 1.5B
✅ 1.5B-Int4
✅ 1.5B-Int4
✅ 1.5B-Int8
✅ 3B
实践建议
-
转换命令参考（AWQ/GPTQ 量化模型无需
--inputs参数）:python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --soc_version CHIP -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Qwen3¶
✅ 0.6B
✅ 1.7B
✅ 4B
实践建议
- 转换命令参考:
python3 convert_hf_to_sim.py \
-d /path/to/model/ \
-o /path/to/output_model/ \
--inputs /path/to/input.json \
--visual_input_formats YUV_NV12 \
--soc_version CHIP
-
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Qwen2.5-VL¶
✅ 3B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --imgsz 672 392 \ --n_tokens 512 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --image /path/to/jpg/ \ --processor_decode --no_streamer \ --prompt "请描述下这张图片" \ --soc_version CHIP
Qwen2.5-Omni¶
✅ 3B
⚠️ 暂不支持 SGS 量化。
实践建议
-
转换命令参考:
python3 ./convert_hf_to_sim.py \ -d /path/to/model/ --n_tokens 64 \ --imgsz 224 224 \ --videosz 8 3 308 308 \ --soc_version CHIP -
运行命令参考:
python3 ./run_llm.py \ -d /path/to/output_model/ \ --prompt "描述输入" \ --image /path/to/image/ \ --video /path/to/video/ \ --wav_file /path/to/wav/ \ --use_audio_in_video \ --soc_version CHIP
Qwen3-VL¶
✅ 2B
实践建议
-
转换命令参考:
python3 ../Tool/Scripts/LLM_Converter/convert_hf_to_sim.py \ -d /path/to/Qwen/Qwen3-VL-2B-Instruct/ \ -o output_models \ --visual_input_formats YUV_NV12 \ --imgsz 384 384 \ --videosz 8 3 384 384 \ --inputs inputs.json -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg", "video": "/path/to/video.mp4" } ] -
运行命令参考: 推理图像
推理视频 推理视频的帧数取决于转的模型，转换输入是8帧的模型，推理的时候就需要给8帧的视频python3 ../Tool/Scripts/LLM_Converter/run_llm.py \ -t /path/to/Qwen/Qwen3-VL-2B-Instruct/ \ -d output_models \ --prompt "简单描述下这张图片" \ --image /path/to/image.jpg \ --soc_version CHIPpython3 ../Tool/Scripts/LLM_Converter/run_llm.py \ -t /path/to/Qwen/Qwen3-VL-2B-Instruct/ \ -d output_models \ --prompt "描述输入" \ --image /path/to/video.mp4 \ --soc_version CHIP
opus-mt-zh-en¶
✅ 140M
实践建议
-
转换命令:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs input.json \ -q Q15 Q10 Q25 \ --max_length 512 \ --encoder_tokens 128 \ --soc_version CHIP -
input.json 构造格式示例：
[ {"prompt": "中国四大名著有哪些？"}, {"prompt": "请生成一段科技方面的文本，512个字。"}, {"prompt": "5+8*10的结果是？"}, {"prompt": "请将如下中文翻译为英文：有朋自远方来，不亦乐乎。"} ] -
运行命令:
python3 run_llm.py \ -d /path/to/output_model/ \ --no_streamer \ --prompt "你好，我是中国人!" \ --soc_version CHIP
InternVL2.5-MP0¶
✅ 1B
实践建议
-
转换命令:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令:
python3 run_llm.py \ -d /path/to/output_model/ \ --image /path/to/jpg/ \ --prompt "请描述下这张图片" \ --soc_version CHIP
✅ 2B
实践建议
-
转换命令:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令:
python3 run_llm.py \ -d /path/to/output_model/ \ --image /path/to/jpg/ \ --prompt "请描述下这张图片" \ --soc_version CHIP
InternVL2.5¶
✅ 1B
✅ 2B
实践建议
-
转换命令:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令:
python3 run_llm.py \ -d /path/to/output_model/ \ --image /path/to/jpg/ \ --prompt "请描述下这张图片" \ --soc_version CHIP
Gemma¶
✅ 2B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Gemma 2¶
✅ 2B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Gemma 3¶
✅ 1B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Llama 3.2¶
✅ 1B
✅ 3B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --soc_version CHIP -
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Phi 3 Mini¶
✅ 3.8B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --soc_version CHIP -
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Phi 4 Mini¶
✅ 3.8B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
MiniMind2¶
✅ 104M
实践建议
-
转换命令参考:
bash python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --soc_version CHIP -
input.json 构造方法请参考 快速上手 中 "SGS量化模型转换" 章节的 构造量化校准数据 部分。
-
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
MiniMind2-V¶
✅ 104M
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model/ \ -o /path/to/output_model/ \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model/ \ --prompt "Give me a short introduction to large language model." \ --soc_version CHIP
Florence-2-base¶
✅ 0.2B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model \ -o /path/to/output_model \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ -q Q15 Q10 Q25 Q25 \ --soc_version CHIP -
input.json 构造格式示例：
[ {"prompt": "<OD>", "image": "/path/to/image.jpg"}, {"prompt": "<CAPTION>", "image": "/path/to/image.jpg"} ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model \ --prompt "<OD>" \ --image /path/to/image \ --no_streamer \ --processor_postprocess_generate \ --processor_decode \ --soc_version CHIP
SmolVLM-256M¶
✅ 256M
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model \ -o /path/to/output_model \ --n_tokens 2048 \ --inputs /path/to/input/json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model \ -t /path/to/model \ --image /path/to/demo.jpg \ --prompt "Describe this image shortly." \ --no_streamer \ --soc_version CHIP
SmolVLM2-500M¶
✅ 500M
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model \ -o /path/to/output_model \ --n_tokens 2048 \ --inputs /path/to/input/json \ --visual_input_formats YUV_NV12 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model \ -t /path/to/model \ --image /path/to/demo.jpg \ --prompt "Describe this image shortly." \ --no_streamer \ --soc_version CHIP
FastVLM¶
✅ 0.5B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model \ -o /path/to/output_model \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --max_length 512 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model \ -t /path/to/model \ --image /path/to/demo.jpg \ --prompt "Describe this image shortly." \ --no_streamer \ --soc_version CHIP
✅ 1.5B
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model \ -o /path/to/output_model \ --inputs /path/to/input.json \ --visual_input_formats YUV_NV12 \ --max_length 512 \ --soc_version CHIP -
input.json 构造格式示例：
[ { "prompt": "简单描述下这张图片", "image": "/path/to/image.jpg" } ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model \ -t /path/to/model \ --image /path/to/demo.jpg \ --prompt "Describe this image shortly." \ --no_streamer \ --soc_version CHIP
whisper-tiny¶
✅ 37.8M
实践建议
-
转换命令参考:
python3 convert_hf_to_sim.py \ -d /path/to/model \ -o /path/to/output_model \ --inputs /path/to/input.json \ -q Q15 Q10 Q25 \ --max_length 512 \ --soc_version CHIP -
input.json 构造格式示例：
[ {"prompt": null, "wav_file": ["/path/to/new.wav"]}, {"prompt": null, "wav_file": ["/path/to/take_photo.wav"]} ] -
运行命令参考:
python3 run_llm.py \ -d /path/to/output_model \ --wav_file /path/to/wav \ --no_streamer \ --host 10.44.16.18 \ --port 3333 \ --model_onboard_dir /path/to/board \ --soc_version CHIP