【MetaCLIP】添加MetaCLIP模型paddle版本#3403
Conversation
- 添加MetaCLIP PaddlePaddle实现 - 包含前向对齐验证 - 包含可训练性验证 - 包含性能验证
|
Thanks for your contribution! |
|
|
- 添加前向对齐验证脚本 - 添加可训练性验证脚本 - 添加性能验证脚本
- 移动模型文件到 model_zoo 目录 - 移动验证脚本到 model_zoo 目录 - 添加模型文档
| @@ -0,0 +1,10 @@ | |||
| Arch: | |||
There was a problem hiding this comment.
配置文件需要写完整，包括数据部分，学习率部分，支持完整的训练流程。
There was a problem hiding this comment.
已补全 metaclip_base.yaml，增加 Global、AMP、Loss、Optimizer、DataLoader、Infer、Metric 等完整训练/验证/推理配置，并补充预训练权重和数据路径说明。
| @@ -0,0 +1,108 @@ | |||
| import paddle | |||
There was a problem hiding this comment.
该模型权重链接需要添加，把权重发给负责人，负责人上传后提供链接
There was a problem hiding this comment.
已将权重上传至 AI Studio 星河社区：
https://aistudio.baidu.com/modelsdetail/51427/space
其中包含转换后的 PaddlePaddle 权重 metaclip_b16.pdparams 和原始 PyTorch/timm 权重 metaclip_b16.safetensors。
| import paddle.nn.functional as F | ||
| from functools import partial | ||
|
|
||
| print("🔍 metaclip_paddle.py is being loaded...") |
There was a problem hiding this comment.
已清理 metaclip.py 中不必要的调试输出、无用 import 和注释。
| @@ -0,0 +1,228 @@ | |||
| import torch | |||
There was a problem hiding this comment.
metaclip_verify文件夹可以额外提供，但是不要提交pr
There was a problem hiding this comment.
已移除 metaclip_verify 验证脚本目录，不再提交到 PR。
3 participants
【MetaCLIP】添加MetaCLIP模型复现
模型介绍
添加 MetaCLIP 模型的 PaddlePaddle 实现。
MetaCLIP 是基于 CLIP 的视觉编码器，通过元数据驱动的数据管理策略，在 CLIP 训练中实现了更好的数据质量和模型性能。
权重文件
MetaCLIP权重已上传至 AI Studio 星河社区：
https://aistudio.baidu.com/modelsdetail/51427/space
其中包括：
metaclip_b16.pdparams：转换后的 PaddlePaddle 权重，可用于 PaddleClas 加载。metaclip_b16.safetensors：原始 PyTorch/timm 权重，用于转换参考。验证内容
复现精度
前向对齐验证
可训练性验证
性能验证
验证结果的截图：
文件变更
ppcls/arch/backbone/model_zoo/metaclip.pyppcls/configs/MetaCLIP/metaclip_base.yamldocs/zh_CN/models/MetaCLIP/metaclip_base.md