Skip to content

MiniCPM3_Export_Guide.md

Latest commit

 

History

History
executable file
·
123 lines (91 loc) · 4.75 KB

MiniCPM3_Export_Guide.md

File metadata and controls

executable file
·
123 lines (91 loc) · 4.75 KB
Raw

MiniCPM3模型导出与编译

1. 准备工作

MiniCPM3模型导出需要依赖MiniCPM3官方仓库。onnx模型导出和转bmodel模型推荐在mlir部分提供的docker中完成。

注意：

  • 编译模型需要在x86主机完成。
  • MiniCPM3-4B官方库50G左右，转模型需要保证运行内存至少40G以上，导出onnx模型需要存储空间100G以上，请确保有足够的硬件空间完成对应的操作。

2. 主要步骤

模型编译前需要安装TPU-MLIR。安装好后需在TPU-MLIR环境中进入例程目录。先导出onnx，然后使用TPU-MLIR将onnx模型编译为BModel。编译的具体方法可参考《TPU-MLIR快速入门手册》的“3. 编译ONNX模型”(请从算能官网相应版本的SDK中获取)。

2.1 TPU-MLIR环境搭建

2.1.1 安装docker

若已安装docker，请跳过本节。

# 安装docker
sudo apt-get install docker.io
# docker命令免root权限执行
# 创建docker用户组，若已有docker组会报错，没关系可忽略
sudo groupadd docker
# 将当前用户加入docker组
sudo usermod -aG docker $USER
# 切换当前会话到新group或重新登录重启X会话
newgrp docker​

提示：需要logout系统然后重新登录，再使用docker就不需要sudo了。

2.1.2. 下载并解压TPU-MLIR

从sftp上获取TPU-MLIR压缩包

pip3 install dfss --upgrade
python3 -m dfss --url=open@sophgo.com:sophon-demo/MiniCPM3/tpu-mlir_latest.tar.gz
tar -xf tpu-mlir_latest.tar.gz

2.1.3. 创建并进入docker

TPU-MLIR使用的docker是sophgo/tpuc_dev:latest, docker镜像和tpu-mlir有绑定关系，少数情况下有可能更新了tpu-mlir，需要新的镜像。

docker pull sophgo/tpuc_dev:latest
# 这里将本级目录映射到docker内的/workspace目录,用户需要根据实际情况将demo的目录映射到docker里面
# myname只是举个名字的例子, 请指定成自己想要的容器的名字
docker run --name myname -v $PWD:/workspace -it sophgo/tpuc_dev:latest
# 此时已经进入docker，并在/workspace目录下
# 初始化软件环境
cd /workspace/tpu-mlir_vx.y.z-<hash>-<date>
source ./envsetup.sh

此镜像仅onnx模型导出和编译量化模型，程序编译和运行请在开发和运行环境中进行。更多TPU-MLIR的教程请参考算能官网的《TPU-MLIR快速入门手册》和《TPU-MLIR开发参考手册》。

2.2 获取onnx

2.2.1 下载MiniCPM3官方代码

注：

  • MiniCPM3-4B官方库50G左右，在下载之前，要确认自己有huggingface官网的access token或者SSH key。
git lfs install
git clone https://huggingface.co/openbmb/MiniCPM3-4B

如果git clone完代码之后出现卡住，可以尝试ctrl+c中断，然后进入仓库运行git lfs pull。

如果您的网络在下载的时候有问题，也可以使用下面的方法下载我们上传的源码模型包：

pip3 install dfss --upgrade
python3 -m dfss --url=open@sophgo.com:sophon-demo/MiniCPM3/MiniCPM3-4B.zip

2.1.2 修改官方代码：

本例程的tools目录下提供了修改好之后的config.json和modeling_minicpm.py。可以直接替换掉原仓库的文件：

MiniCPM3-4B

cp tools/MiniCPM3-4B-Chat/config.json MiniCPM3-4B/
cp tools/MiniCPM3-4B-Chat/modeling_minicpm.py MiniCPM3-4B/

2.1.3 导出onnx

  • 导出所有onnx模型，如果过程中提示缺少某些组件，直接pip install组件即可

MiniCPM3

# bm1684x 单芯
cd tools
python3 export_onnx.py --model_path your_torch_model --seq_length 512 --device cpu

your_torch_model是你模型下载的位置，比如 MiniCPM3-4B/

  • 风险点：注意，如果使用--device cpu在cpu上导出，使用的精度是float32，与训练精度bfloat16不一致，可能导致精度问题
  • 如果有cuda，建议使用cuda导出

此时有大量onnx模型被导出到本例程中MiniCPM3/models/onnx的目录。

2.2 bmodel编译

首先需要下载本模型编译所需的特定版本mlir，并在mlir工具下激活环境，可以参考mlir下载地址可参考

目前TPU-MLIR支持1684x对MiniCPM3进行INT8和INT4量化，使用如下命令生成bmodel。

使用io_alone, int4精度

# bm1684x
cd scripts
./gen_bmodel.sh --mode int4 --name minicpm3-4b --addr_mode io_alone --seq_length 512 --target bm1684x

使用io_alone, int8精度

cd scripts
./gen_bmodel.sh --mode int8 --name minicpm3-4b --addr_mode io_alone --seq_length 512 --target bm1684x

其中，mode可以指定int8/int4，编译成功之后，BM1684X模型将会存放在models/BM1684X目录下。