|
213 | 213 |
|
214 | 214 | ### 此芯:PaddleOCR-VL-1.5 在此芯 P1 芯片上的端侧部署与优化 |
215 | 215 |
|
216 | | -* 详细描述:本任务旨在将 PaddleOCR-VL-1.5 模型移植到此芯P1芯片平台,充分利用其 CPU+GPU+NPU 异构算力,实现文档解析的端侧高效推理,推动国产 AI 芯片在文档智能领域的应用落地。开发者只要完成了任意一项任务,即视为成功。 |
217 | | - * (任务1)**实现 PaddleOCR-VL-1.5 的 Pipeline**:将 PaddleOCR-VL-1.5 模型(0.9B 参数)移植到此芯 P1 芯片,实现其在 CPU/GPU 上的基础推理 & Layout(版面分析)推理。 |
218 | | - * (任务2)**量化加速**:使用 llama.cpp 或者 MNN 等推理框架,对 PaddleOCR-VL-1.5 在 CPU/GPU 上完成加速推理,主要是 Q4_0 的量化和推理。 |
219 | | - * (任务3)**实现基于此芯 P1 的 CPU + NPU 异构推理**:基于此芯 P1 的异构架构(Armv9 CPU + Arm Immortalis GPU + 周易 NPU),对 Layout 模块使用 NPU SDK 进行量化,以降低内存占用,实现模型算子的最优分配与调度。 |
220 | | -* 环境准备: |
221 | | - 1. 搭建此芯 P1 开发环境,配置交叉编译工具链。 |
222 | | - 2. 安装此芯科技推理 NOE SDK。 |
223 | | - 3. 将 Hugging Face 的 PaddleOCR-VL-1.5 转换为 Paddle/ONNX 格式。 |
| 216 | +* 技术标签:CIX P1,Armv9 CPU,CIX NOE SDK,PaddleOCR-VL-1.5,模型移植优化,异构算力调度 |
| 217 | +* 详细描述:本任务旨在将 PaddleOCR-VL-1.5 模型移植到此芯 P1 芯片平台,充分利用其 CPU+GPU+NPU 异构算力,实现文档解析的端侧高效推理,推动国产 AI 芯片在文档智能领域的应用落地。开发者只要完成任意一项任务,即视为成功。 |
| 218 | + * **任务1:实现基于此芯 P1 的 CPU / GPU 的异构推理** |
| 219 | + * 实现 PaddleOCR-VL-1.5 的 Pipeline:实现 PaddleOCR-VL-1.5 在 CPU/GPU 上的基础推理。 |
| 220 | + * 量化加速:使用 llama.cpp 或者 MNN 等推理框架,建议使用 int4 量化,对 PaddleOCR-VL-1.5 在 CPU/GPU 上完成加速推理。 |
| 221 | + * **任务2 :实现基于此芯 P1 的 CPU + NPU 异构推理** |
| 222 | + * 实现 PaddleOCR-VL-1.5 的 Pipeline:1)实现 Layout(版面分析)推理。 2)实现 PaddleOCR-VL-1.5 模型在 CPU + NPU 上的推理。 |
| 223 | + * 量化加速:对 PaddleOCR-VL-1.5 模型进行 Q4_0 的量化和推理。 |
224 | 224 | * 提交内容: |
225 | | - 1. PaddleOCR-VL-1.5 在此芯 P1 上的详细部署步骤。 |
226 | | - 2. 此芯 P1 推理引擎的使用说明。 |
227 | | - 3. 示例应用(命令行工具或 GUI 演示)。 |
| 225 | + 1. PaddleOCR-VL-1.5 在此芯 P1 上的详细部署步骤。 |
| 226 | + 2. 此芯 P1 推理引擎的使用说明。 |
| 227 | + 3. 示例应用(命令行工具或 GUI 演示)。 |
228 | 228 | * 提交方式: |
229 | 229 | 1. 项目提交:提交使用案例到 [AI Studio](https://aistudio.baidu.com/projectoverview) 的项目并公开,请提交全部源码。 |
230 | 230 | 2. 标题规范:标题处打上【PaddlePaddle Hackathon 10】。 |
|
234 | 234 | 2. 该示例的流程逻辑是否清晰。 |
235 | 235 | 3. 运行结果是否符合预期。 |
236 | 236 | 5. 验收标准(需全部满足):部署流程清晰, 推理结果准确。具体包括: |
237 | | - 1. 完善相关代码, 成功地将模型运行在目标硬件平台上。请提供每步的完整的模型部署过程技术文档/报告,同时提供配套的完整测试代码(需符合开源代码的代码规范)。确保他人可根据该技术文档和代码复现该部署流程。 |
238 | | - 2. 确保模型推理结果正确且稳定:请使用至少5张PaddleOCR-VL 代码库中提供的官方 OCR 测试图片进行结果测试验证, 确保其结构化输出结果正确。请将相关测试图片和结果截图添加至上述技术文档/报告中。 |
239 | | - * 精度可接受:端侧推理的文档解析结果与原始文档图像,推理结果对比,文本识别准确率损失不超过 8 % |
240 | | - * 推理性能稳定:请使用指定的 210mm*297mm 大小文档图像(此芯提供),要求batch =1 的完整pipeline 推理时间应小于 60 s。 |
| 237 | + 1. 完善相关代码, 成功地将模型运行在目标硬件平台上。请提供一步一步的完整的模型部署过程技术文档/报告,同时提供配套的完整测试代码(需符合开源代码的代码规范)。确保他人可根据该技术文档和代码复现该部署流程。 |
| 238 | + 2. 确保模型推理结果正确且稳定:请使用至少 3 张 PaddleOCR-VL 代码库中提供的官方 OCR 测试图片进行结果测试验证, 确保其结构化输出结果正确。请将相关测试图片和结果截图添加至上述技术文档/报告中。 |
| 239 | + * 精度可接受:端侧推理的文档解析结果与原始文档图像,推理结果对比,文本识别准确率损失不超过 8 %。 |
| 240 | + * 推理性能稳定:请使用此芯提供的指定文档图像,要求 batch=1 的完整 pipeline 推理时间应小于 60 s。 |
241 | 241 | * 参考示例:考虑到通用性,选取的应用场景需要严格符合实时解析文档(发票、合同、表格等)的要求。 |
242 | 242 | * 技术要求:模型架构理解、此芯 P1 硬件特性了解、开发工具链(推理框架,量化工具,编程语言 Python & C++)。 |
243 | | -* 参考文档:[CIX AI Model Hub](https://modelscope.cn/models/cix/ai_model_hub/files?version=25_Q4),[CIX NOE SDK](https://developer.cixtech.com/) (在此芯开发者中心找到 NeuralONE AI SDK,注册并下载), [PaddleOCR-VL-1.5 模型](https://huggingface.com/PaddlePaddle/PaddleOCR-VL-1.5), [Paddle 主仓库](https://github.com/PaddlePaddle/Paddle), [PaddleX 仓库](https://github.com/PaddlePaddle/PaddleX) |
244 | | - |
| 243 | +* 参考文档:[CIX AI Model Hub](https://modelscope.cn/models/cix/ai_model_hub/files?version=25_Q4),[CIX NOE SDK](https://developer.cixtech.com/) (在此芯开发者中心找到 NeuralONE AI SDK,注册并下载),[PaddleOCR-VL-1.5 模型](https://huggingface.com/PaddlePaddle/PaddleOCR-VL-1.5),[Paddle 主仓库](https://github.com/PaddlePaddle/Paddle),[PaddleX 仓库](https://github.com/PaddlePaddle/PaddleX),[Paddle OCR使用教程](https://www.paddleocr.ai/main/version3.x/pipeline_usage/PaddleOCR-VL.html) |
245 | 244 |
|
246 | 245 | ### 请 瑞芯微 填写 |
247 | 246 |
|
|
0 commit comments