Skip to content

README_ZH.md

Latest commit

 

History

History
330 lines (246 loc) · 18.6 KB

README_ZH.md

File metadata and controls

330 lines (246 loc) · 18.6 KB
Raw

ModelScope
AI Studio version Feishu: Join license

English | 中文

MOSS-Video-Preview: 迈向基于 Cross-Attention 的实时视频理解

MOSS-Video-Preview 是一款专为实时视频理解打造的多模态视觉基础模型。基于 Llama-3.2-Vision 架构，我们全面提升了模型原生处理视频的能力，使其具备了卓越的实时多模态推理表现。

Important

💡 项目说明：

本项目目前处于探索性阶段，旨在利用高质量开源数据集，验证 Cross-Attention 架构在原生实时视频理解任务中的潜力。这仅仅是一个起点，我们已制定了覆盖数据规模（Data Scaling）、参数规模（Parameter Scaling）和上下文长度（Context Scaling）三个维度的完整演进路线图，致力于打造更稳健、更通用的视频智能模型。

我们诚挚邀请在表征学习（Representation Learning）、模型压缩（Model Compression）及推理加速（Inference Acceleration）领域有深厚积累的开发者加入我们。无论您是致力于优化推理延迟，还是希望探索高效的架构设计，我们都欢迎您基于本框架进行实验与创新。让我们共同突破视频智能的边界，推动开源社区的进步！

🌟 核心亮点

  • 🧩 图像-视频 Cross-Attention 架构： 打破现有主流架构局限，MOSS-Video-Preview 原生支持图视统一理解。通过 Cross-Attention 机制实现视觉与语言的深度解耦，支持超长时序内容的连续、流畅解析。

  • 🔄 低延迟实时交互与动态自纠错： 系统支持在“静默”与“发言”模式之间无缝切换。凭借强大的上下文感知能力，模型允许用户在视频场景演变时进行实时打断，从而动态调整或修正反馈，提供真正具备响应式、全双工特性的交互体验。

  • ⚡ 极致推理性能与算子加速： 通过针对 CUDA 和 NPU 平台深度优化 Cross-Attention 算子并集成 Flash Attention 2 加速，MOSS-Video-Preview 专为长视频流处理而生。在显著降低显存开销的同时，实现了极低的推理延迟。

  • 📊 精细化数据合成流水线： 我们构建了一套基于SOTA视觉理解模型驱动的精细化视频理解数据合成流水线。我们承诺在不久的将来开源这些数据集，旨在服务研究社区，并共同推动实时视频感知技术的前沿发展。

📌 目录

🔥 新闻

  • 2026/06/01: 📄 技术报告已发布至 arXiv——MOSS-Video-Preview: Toward Real-Time Video Understanding via Cross-Attention！
  • 2026/06/01: 📦 开源全新实时视频理解数据集 Realtime-QA-100K（10 万条实时视频问答样本）！
  • 2026/04/08: 🎉 MOSS-VL 正式开源！发布了 MOSS-VL-Base-0408 和 MOSS-VL-Instruct-0408。
  • 2026/03/04: 🚀 MOSS-Video-Preview 源代码和架构细节发布！
  • 2025/10/18: 🧭 对当前问题进行复盘，并启动 MOSS-VL 项目。
  • 2025/10/08: 🎬 在实验室与学院内部完成 Demo 展示。
  • 2025/09: 🌟 moss-video-preview-realtime-sft 训练完成。
  • 2025/08: ✅ moss-video-preview-sft 训练完成。

🏗️ 模型架构

MOSS-Video-Preview 基于 原生实时时序架构 构建，通过将视觉感知与语言推理解耦，极大降低了计算延迟。这使得模型能够实现低延迟的流式处理性能，为连续视频流提供极高响应速度和流畅的交互体验。

语言主干共 40 个解码层，其中 8 层为门控 Cross-Attention 层，负责将每帧的视觉特征作为 key/value 取用——视觉 token 始终不进入自回归序列。整模约 10.7B 参数（通常称「11B」）。

Model Structure
图 1: MOSS-Video-Preview 总体架构。

🌊 实时推理流程

MOSS-Video-Preview 的核心优势在于其原生的实时处理架构，能够以极低延迟、连续地解析动态视频流，实现真正意义上的实时视频理解。

Streaming Inference Process
图 2: 实时推理流程。

⚙️ 推理机制 (Inference Mechanism)

  • 异步逐帧 实时输入 视频帧以稳定频率持续注入模型，实现高频实时视觉感知。输入链路与文本输出链路完全解耦（Decoupled），确保视觉捕捉的连续性不受生成逻辑的中断或阻塞。
  • 长程状态保持 依托 Cross-Attention KV Cache 与时序位置编码 (Temporal Positional Encoding)，模型能够在连续视频流中维持稳健的长程上下文关联，实现跨帧的信息沉淀与时序对齐。
  • 实时响应 支持在视频流推进的同时同步进行自回归文本生成。无需等待完整片段缓存，显著降低端到端延迟，实现“边看边说”的极致交互体验。

🧩 核心组件 (Core Components)

  • 跨模态投影器 (Cross-Modal Projector) 内置专有的 VideoMllamaTextCrossAttention 机制。通过深度双向交叉注意力计算，实现视觉时序特征与语言语境的高效融合，确保模态间语义的高精度对齐。
  • 流式因果解码器 (Streaming Causal Decoder) 负责基于动态视觉流的自回归文本生成。该模块具备动态自适应能力，能够根据最新捕获的视觉输入实时调整并修正生成策略，确保输出内容与实时画面高度同步。

🎬 演示 (Demo)

实时视频 (Real-Time Video)

streaming_demo.mp4

离线视频 (Offline Video)

video_demo.mp4

离线图像 (Offline Image)

image_demo.mp4

📊 训练阶段与数据组成

MOSS-Video-Preview 采用四阶段渐进式训练策略，通过从模态对齐到实时流式任务的演进，构建强大的视频理解能力。

阶段 核心目标 可训练参数 数据混合 (T / I / V) 训练样本数
PT-Stage 1 跨模态对齐 Vision 编码器、Projector 与 Cross-Attention 层（主干冻结） 0% / 79% / 21% 15.1 M
PT-Stage 2 时序与长视频感知 全参数 0% / 26% / 74% 1.8 M
Offline SFT 指令遵循与推理 全参数 14% / 44% / 42% 8.6 M
Real-Time SFT 实时理解与推理 全参数 11% / 29% / 60% 836 K

📊 评测结果

MOSS-Video-Preview 与各基线模型的评测结果对比

  • Realtime 版本性能的“无损”保持： 实验数据表明，MOSS-Video-Preview-Realtime-SFT 实现了几乎“无损”的性能保持。在 MMBench、AI2D 以及大部分视频指标上，其表现与标准 SFT 版本高度一致，甚至在部分时序理解任务（如 TempCompass）中表现更优。这验证了该模型在实际落地场景中，能够兼顾实时响应需求与极高的感知精度。

  • 视觉逻辑推理能力： 在 Multimodal Reasoning 类别中，MOSS 系列展现了稳健的逻辑推导性能。特别是在 VisuLogic 榜单上，MOSS 的两个版本（28.60 / 28.70）均优于 LLaVA-OneVision (27.00) 和 Qwen2.5-VL (25.90)。这反映出模型在处理具有逻辑挑战的视觉规律、空间推理等任务时，具备更强的稳定性。

  • 细粒度视频细节洞察： 在视频理解维度，MOSS 系列在处理细粒度动作逻辑和时空感知上具有显著竞争力。在 Video-Holmes 基准测试中，MOSS 系列取得了 39.30 / 39.50 的高分，Qwen2.5-VL 为 33.00；评测结果显示，MOSS 在捕捉视频长序列中的细微动作和复杂时空变化方面，相比同量级开源模型具备更深层的感知能力。

MOSS-Video-Preview 的核心优化在于兼顾高质量推理与低延迟的实时流式处理；下方的速度对比将进一步说明这一点。

📈 流式推理解码速度

我们在相同的硬件与解码配置下，对比了 MOSS-Video-Preview 与另一款开源视频模型在流式推理场景下的速度表现（这是单一配置下的速度对比，并非标准化基准测试套件）。

  • 硬件：单卡 NVIDIA H200
  • 视频抽帧数：256 帧
  • 输入视频参数：
    • 路径：data/example_video.mp4
    • 分辨率：1920×1080
    • 时长：97.56 秒
    • 码率：2223.33 kbps（约）

速度对比（TPS 越高、时延越低越好）：

模型 抽帧数 参数规模 平均 TTFT (s) 平均 TPS (tokens/s) 平均总时延 (s) P95 TTFT (s)
MOSS-Video-Preview 256 11B 1.9537 38.41 28.5104 1.9573
Qwen2.5-VL-7B 256 7B 9.9402 14.26 52.7624 9.9564

在该设置下，MOSS-Video-Preview（11B）相比 Qwen2.5-VL-7B（7B）实现了约 5× 的 TTFT 加速、约 2.7× 的解码吞吐提升（TPS），并显著降低了端到端总时延；在更大参数量配置下依然保持明显优势，在大参数量场景中展现出巨大的速度提升空间，更适合实时视频理解场景。

🚀 快速开始

环境搭建

conda create -n moss-video python=3.12.4 -y
conda activate moss-video
pip install -e .

示例数据

本仓库已提供少量示例文件：

  • 视频：data/example_video.mp4
  • 图片：data/example_image.jpg

可选：安装 PyTorch 与 FlashAttention2（CUDA GPU 推荐）

经验证可正常运行的环境：Python 3.12.4 + PyTorch 2.4.0（CUDA 12.1）+ DeepSpeed 0.16.1。

请先安装 PyTorch（根据你的 CUDA/CPU 环境选择正确的版本），再安装 FlashAttention2 与 DeepSpeed：

# CUDA 12.1（推荐）
pip install --index-url https://download.pytorch.org/whl/cu121 "torch==2.4.0"

# 仅 CPU（兜底）
# pip install --index-url https://download.pytorch.org/whl/cpu "torch==2.4.0"

pip install -e ".[flash-attn,deepspeed]" --no-build-isolation

推理示例

MOSS-Video-Preview 支持离线（Offline）推理、实时 SFT 离线（Real-Time SFT Offline）推理和流式（Streaming）推理三种推理模式。

1. 离线推理（Base/SFT 模型）

离线推理一次性处理整个视频，适用于批处理或分析预录制的视频文件。

# 运行离线推理示例
python -m inference.offline_infer \
  --checkpoint models/moss-video-sft \
  --video_path data/example_video.mp4 \
  --prompt "Describe the video." \
  --max_new_tokens 512

2. 实时 SFT 离线推理（仅适用于 Real-Time SFT 模型）

该模式仅支持 Real-Time SFT 模型：以离线方式对整段视频进行推理，不支持 base 或非实时的普通 SFT 模型。

# 运行实时 SFT 离线推理示例
python -m inference.realtime_offline_infer \
  --checkpoint models/moss-video-realtime-sft \
  --video_path data/example_video.mp4 \
  --prompt "Describe the video." \
  --max_new_tokens 512

3. 流式推理（仅适用于 Real-Time SFT 模型）

流式推理会在接收到视频帧时同步处理，非常适合直播流或低延迟应用场景，同样仅支持 Real-Time SFT 模型，不适用于 base 或普通 SFT（非实时）模型。

# 运行流式推理示例
python -m inference.realtime_streaming_infer \
  --checkpoint models/moss-video-realtime-sft \
  --video_path data/example_video.mp4 \
  --prompt "Describe the video." \
  --max_new_tokens 512

流式推理采用统一的流水线，视频帧被送入 image_queue，生成的 Token 则通过 token_queue 实时读取。

🛠️ 训练与微调

MOSS-Video-Preview 通过 LlamaFactory 集成支持多种训练模式。

模式 显存 (GB/GPU) 硬件 配置文件
PT（预训练） ≈80GB H100/H200 mllm_pretrain_1node.yaml
SFT（离线） ≈80GB H100/H200 mllm_offline_sft_1node.yaml
SFT (实时) ≈80GB H100/H200 mllm_realtime_sft_1node.yaml

开始训练，请使用以下命令：

FORCE_TORCHRUN=1 llamafactory-cli train train_config/mllm_pretrain_1node.yaml

你可以根据训练阶段从 train_config 目录中选择不同的配置文件：

  • pretrain: train_config/mllm_pretrain_1node.yaml
  • sft-offline: train_config/mllm_offline_sft_1node.yaml
  • sft-realtime: train_config/mllm_realtime_sft_1node.yaml

📥 模型下载

模型 🤗 下载链接 🤖ModelScope 链接
moss-video-preview-base HuggingFace ModelScope
moss-video-preview-sft HuggingFace ModelScope
moss-video-preview-realtime-sft HuggingFace ModelScope

💡 局限和展望

  • 性能基准对齐：虽然模型已验证了卓越的实时理解能力，但在基础通用性能上与业界顶尖的半开源模型（如 Qwen2.5-VL）相比仍有提升空间。缩小这一差距、对齐 SOTA 表现是我们后续迭代的核心目标。
  • 分布式训练扩展：目前的训练流程主要用于架构验证。我们计划在后续版本中迁移至 Megatron-LM 框架，利用其成熟的 3D 并行（张量、流水线、数据并行） 技术，以支撑更大规模的预训练与全参数微调。同时，我们将在下一个主要版本中正式向社区开源完整的训练代码、模型权重及实验配置。
  • 数据规模与多样性：当前训练高度依赖公开数据集。未来我们将持续构建更高质量、更多元化的多模态数据集，通过扩大数据体量与覆盖面，进一步强化模型的泛化能力与综合鲁棒性。

📑 待办事项 (TODO)

  • 统一位置编码
  • NPU/CUDA Flash Attention 2 集成
  • 流式视觉编码器
  • LlamaFactory 训练支持
  • Technical Report
  • Open-source Moss-VL

引用

@misc{wang2026mossvideopreview,
  title         = {{MOSS-Video-Preview: Toward Real-Time Video Understanding via Cross-Attention}},
  author        = {Pengyu Wang and Chenkun Tan and Shaojun Zhou and Wei Huang and Qirui Zhou and Zhan Huang and Zhen Ye and Jijun Cheng and Xiaomeng Qian and Yanxin Chen and Xingyang He and Huazheng Zeng and Chenghao Wang and Pengfei Wang and Hongkai Wang and Shanqing Gao and Yixian Tian and Chenghao Liu and Xinghao Wang and Botian Jiang and Xipeng Qiu},
  year          = {2026},
  eprint        = {2606.07639},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2606.07639}
}

贡献者

  • 核心贡献者: Pengyu Wang*, Chenkun Tan, Shaojun Zhou, Wei Huang, Qirui Zhou, Zhan Huang, Zhen Ye, Jijun Cheng
  • 贡献者: Xiaomeng Qian, Yanxin Chen, Xingyang He, Huazheng Zeng, Chenghao Wang, Pengfei Wang, Hongkai Wang, Shanqing Gao, Yixian Tian, Chenghao Liu, Xinghao Wang, Botian Jiang, Xipeng Qiu†

注: * 项目Leader；† 通讯作者

致谢

我们向 LlamaFactory、Transformers 的贡献者以及 OpenMOSS 社区的宝贵支持表示感谢。

Star History

Star History Chart