Skip to content

Commit ef08af9

Browse files
ownialuotao1
andauthored
Update CIX PaddleOCR-VL-1.5 deployment tasks and guidelines (#1249)
* Update CIX PaddleOCR-VL-1.5 deployment tasks and guidelines Signed-off-by: Weizhao Ouyang <weizhao.ouyang@arm.com> * Update 【Hackathon_10th】硬件生态任务合集.md * Update 【Hackathon_10th】硬件生态任务合集.md * Update 【Hackathon_10th】硬件生态任务合集.md --------- Signed-off-by: Weizhao Ouyang <weizhao.ouyang@arm.com> Co-authored-by: Tao Luo <luotao02@baidu.com>
1 parent 511a3d1 commit ef08af9

1 file changed

Lines changed: 16 additions & 17 deletions

File tree

hackathon/hackathon_10th/【Hackathon_10th】硬件生态任务合集.md

Lines changed: 16 additions & 17 deletions
Original file line numberDiff line numberDiff line change
@@ -213,18 +213,18 @@
213213

214214
### 此芯:PaddleOCR-VL-1.5 在此芯 P1 芯片上的端侧部署与优化
215215

216-
* 详细描述:本任务旨在将 PaddleOCR-VL-1.5 模型移植到此芯P1芯片平台,充分利用其 CPU+GPU+NPU 异构算力,实现文档解析的端侧高效推理,推动国产 AI 芯片在文档智能领域的应用落地。开发者只要完成了任意一项任务,即视为成功。
217-
* (任务1)**实现 PaddleOCR-VL-1.5 的 Pipeline**:将 PaddleOCR-VL-1.5 模型(0.9B 参数)移植到此芯 P1 芯片,实现其在 CPU/GPU 上的基础推理 & Layout(版面分析)推理
218-
* (任务2)**量化加速**:使用 llama.cpp 或者 MNN 等推理框架,对 PaddleOCR-VL-1.5 在 CPU/GPU 上完成加速推理,主要是 Q4_0 的量化和推理。
219-
* (任务3)**实现基于此芯 P1 的 CPU + NPU 异构推理**:基于此芯 P1 的异构架构(Armv9 CPU + Arm Immortalis GPU + 周易 NPU),对 Layout 模块使用 NPU SDK 进行量化,以降低内存占用,实现模型算子的最优分配与调度
220-
* 环境准备:
221-
1. 搭建此芯 P1 开发环境,配置交叉编译工具链。
222-
2. 安装此芯科技推理 NOE SDK
223-
3. 将 Hugging Face 的 PaddleOCR-VL-1.5 转换为 Paddle/ONNX 格式
216+
* 技术标签:CIX P1,Armv9 CPU,CIX NOE SDK,PaddleOCR-VL-1.5,模型移植优化,异构算力调度
217+
* 详细描述:本任务旨在将 PaddleOCR-VL-1.5 模型移植到此芯 P1 芯片平台,充分利用其 CPU+GPU+NPU 异构算力,实现文档解析的端侧高效推理,推动国产 AI 芯片在文档智能领域的应用落地。开发者只要完成任意一项任务,即视为成功
218+
* **任务1:实现基于此芯 P1 的 CPU / GPU 的异构推理**
219+
* 实现 PaddleOCR-VL-1.5 的 Pipeline:实现 PaddleOCR-VL-1.5 在 CPU/GPU 上的基础推理
220+
* 量化加速:使用 llama.cpp 或者 MNN 等推理框架,建议使用 int4 量化,对 PaddleOCR-VL-1.5 在 CPU/GPU 上完成加速推理。
221+
* **任务2 :实现基于此芯 P1 的 CPU + NPU 异构推理**
222+
* 实现 PaddleOCR-VL-1.5 的 Pipeline:1)实现 Layout(版面分析)推理。 2)实现 PaddleOCR-VL-1.5 模型在 CPU + NPU 上的推理
223+
* 量化加速:对 PaddleOCR-VL-1.5 模型进行 Q4_0 的量化和推理
224224
* 提交内容:
225-
1. PaddleOCR-VL-1.5 在此芯 P1 上的详细部署步骤。
226-
2. 此芯 P1 推理引擎的使用说明。
227-
3. 示例应用(命令行工具或 GUI 演示)。
225+
1. PaddleOCR-VL-1.5 在此芯 P1 上的详细部署步骤。
226+
2. 此芯 P1 推理引擎的使用说明。
227+
3. 示例应用(命令行工具或 GUI 演示)。
228228
* 提交方式:
229229
1. 项目提交:提交使用案例到 [AI Studio](https://aistudio.baidu.com/projectoverview) 的项目并公开,请提交全部源码。
230230
2. 标题规范:标题处打上【PaddlePaddle Hackathon 10】。
@@ -234,14 +234,13 @@
234234
2. 该示例的流程逻辑是否清晰。
235235
3. 运行结果是否符合预期。
236236
5. 验收标准(需全部满足):部署流程清晰, 推理结果准确。具体包括:
237-
1. 完善相关代码, 成功地将模型运行在目标硬件平台上。请提供每步的完整的模型部署过程技术文档/报告,同时提供配套的完整测试代码(需符合开源代码的代码规范)。确保他人可根据该技术文档和代码复现该部署流程。
238-
2. 确保模型推理结果正确且稳定:请使用至少5张PaddleOCR-VL 代码库中提供的官方 OCR 测试图片进行结果测试验证, 确保其结构化输出结果正确。请将相关测试图片和结果截图添加至上述技术文档/报告中。
239-
* 精度可接受:端侧推理的文档解析结果与原始文档图像,推理结果对比,文本识别准确率损失不超过 8 %
240-
* 推理性能稳定:请使用指定的 210mm*297mm 大小文档图像(此芯提供),要求batch =1 的完整pipeline 推理时间应小于 60 s。
237+
1. 完善相关代码, 成功地将模型运行在目标硬件平台上。请提供一步一步的完整的模型部署过程技术文档/报告,同时提供配套的完整测试代码(需符合开源代码的代码规范)。确保他人可根据该技术文档和代码复现该部署流程。
238+
2. 确保模型推理结果正确且稳定:请使用至少 3 张 PaddleOCR-VL 代码库中提供的官方 OCR 测试图片进行结果测试验证, 确保其结构化输出结果正确。请将相关测试图片和结果截图添加至上述技术文档/报告中。
239+
* 精度可接受:端侧推理的文档解析结果与原始文档图像,推理结果对比,文本识别准确率损失不超过 8 %
240+
* 推理性能稳定:请使用此芯提供的指定文档图像,要求 batch=1 的完整 pipeline 推理时间应小于 60 s。
241241
* 参考示例:考虑到通用性,选取的应用场景需要严格符合实时解析文档(发票、合同、表格等)的要求。
242242
* 技术要求:模型架构理解、此芯 P1 硬件特性了解、开发工具链(推理框架,量化工具,编程语言 Python & C++)。
243-
* 参考文档:[CIX AI Model Hub](https://modelscope.cn/models/cix/ai_model_hub/files?version=25_Q4)[CIX NOE SDK](https://developer.cixtech.com/) (在此芯开发者中心找到 NeuralONE AI SDK,注册并下载), [PaddleOCR-VL-1.5 模型](https://huggingface.com/PaddlePaddle/PaddleOCR-VL-1.5), [Paddle 主仓库](https://github.com/PaddlePaddle/Paddle), [PaddleX 仓库](https://github.com/PaddlePaddle/PaddleX)
244-
243+
* 参考文档:[CIX AI Model Hub](https://modelscope.cn/models/cix/ai_model_hub/files?version=25_Q4)[CIX NOE SDK](https://developer.cixtech.com/) (在此芯开发者中心找到 NeuralONE AI SDK,注册并下载),[PaddleOCR-VL-1.5 模型](https://huggingface.com/PaddlePaddle/PaddleOCR-VL-1.5)[Paddle 主仓库](https://github.com/PaddlePaddle/Paddle)[PaddleX 仓库](https://github.com/PaddlePaddle/PaddleX)[Paddle OCR使用教程](https://www.paddleocr.ai/main/version3.x/pipeline_usage/PaddleOCR-VL.html)
245244

246245
### 请 瑞芯微 填写
247246

0 commit comments

Comments
 (0)