README.md

Python例程

目录

• Python例程
  • 目录
  • 1. 环境准备
    • 1.1 x86/arm PCIe平台
    • 1.2 SoC平台
  • 2. 推理测试
    • 2.1 参数说明
    • 2.2 使用方式

序号	Python例程	说明
1	internv2_sail.py	使用SAIL推理的例程

1. 环境准备

1.1 x86/arm PCIe平台

如果您在x86/arm平台安装了PCIe加速卡（如SC系列加速卡），并使用它测试本例程，您需要安装libsophon，具体请参考x86-pcie平台的开发和运行环境搭建或arm-pcie平台的开发和运行环境搭建。

您还需要安装sophon-sail，现在可以直接通过dfss安装：

pip3 install dfss --upgrade
python3 -m dfss --install sail

此外您可能还需要安装其他第三方库：

pip3 install -r python/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

1.2 SoC平台

如果您使用SoC平台（如SE、SM系列边缘设备），在/opt/sophon/下已经预装了相应的libsophon、sophon-opencv和sophon-ffmpeg运行库包。若使用默认的python3.8.2环境，可直接安装编译好的sophon-sail包，指令如下：

pip3 install dfss --upgrade

python3 -m dfss --install sail

此外您可能还需要安装其他第三方库：

pip3 install -r python/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果想要自己编译sophon-sail的whl包，具体可参考交叉编译安装sophon-sail。

2. 推理测试

python例程不需要编译，可以直接运行，PCIe平台和SoC平台的测试参数和运行方式是相同的。

2.1 参数说明

usage: internvl2_sail.py [-h] -m MODEL_PATH [-t TOKENIZER] [-d DEVID]

optional arguments:
  -h, --help            show this help message and exit
  -m MODEL_PATH, --model_path MODEL_PATH
                        path to the bmodel file
  -t TOKENIZER, --tokenizer TOKENIZER
                        path to the tokenizer file
  -d DEVID, --devid DEVID
                        device ID to use

2.2 使用方式

cd python
python3 internvl2_sail.py --model_path internvl2-4b_bm1684x_int4.bmodel --tokenizer token_config_4b --devid 0

注意，如果跑4b模型，使用4b的tokenizer。同理，2b模型使用2b的tokenizer。

效果图：