Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术
来源： 作者：聖光之護 人气： 发布时间：2025-12-12
摘要：Omni-Inferv0.7.0正式上线，带来面向超大规模混合专家（MoE）模型的高效推理加速能力。v0.7.0核心亮点OmniCache新增对MLA（Multi-HeadLatentAttention）与GQA（Grouped-QueryAttention）架构的支持引入chunkprefill混合调度机制，实现更优的计算图融合与内存
|
Omni-Infer v0.7.0 正式上线，带来面向超大规模混合专家（MoE）模型的高效推理加速能力。 v0.7.0 核心亮点 - Omni Cache 新增对 MLA（Multi-Head Latent Attention）与 GQA（Grouped-Query Attention）架构的支持
- 引入 chunk prefill 混合调度机制，实现更优的计算图融合与内存复用
- 全面兼容 SGLang 接口协议，提升复杂推理流程的灵活性与易用性
性能提升 - 在 2P8-1D32@A3 硬件配置下，支持 3.5K 1K 输入长度场景，Deepseek R1 实测 QPM 达 186，首字延迟（TTFT）显著优化
- 在 2P2-1D4@A3 配置下，openPangu-72B 单卡解码吞吐峰值达 1560 TPS，平均单 Token 延迟（TPOT）表现优异
已验证模型清单 | 模型 | 硬件平台 | 量化精度 | 部署模式 | | openPangu-Ultra-MoE-718B | A3 | INT8 | PD分离 | | openPangu-Ultra-MoE-718B | A2 | INT8 | PD分离 | | openPangu-72B | A3 | INT8 | PD分离 | | openPangu-38B | A3 | INT8 | 混布 | | openPangu-38B | A2 | INT8 | 混布 | | openPangu-7B | A3 | BF16 | 混布 | | openPangu-7B | A2 | BF16 | 混布 | | openPangu-7BVL | A3 | BF16 | 混布 | | DeepSeek-R1 | A3 | INT8 | PD分离 | | DeepSeek-R1 | A3 | W4A8C16 | PD分离 | | DeepSeek-R1 | A3 | BF16 | PD分离 | | DeepSeek-R1 | A2 | INT8 | PD分离 | | DeepSeek-V3.1 | A3 | INT8 | PD分离 | | DeepSeek-V3.2 | A3 | INT8 | PD分离 | | DeepSeek-OCR | A2 | BF16 | 混布 | | Qwen2.5-7B | A3 | INT8 | 混布（TP>=1 DP=1） | | Qwen2.5-7B | A2 | INT8 | 混布（TP>=1 DP=1） | | QwQ | A3 | BF16 | PD分离 | | QwQ | A2 | BF16 | PD分离 | | Qwen3-235B | A3 | INT8 | PD分离 | | Qwen3-235B | A2 | BF16 | PD分离 | | Qwen3-32B | A3 | BF16 | PD分离 | | Qwen3-32B | A3 | INT8 | PD分离 | | Qwen3-30B | A3 | BF16 | PD分离 | | Kimi-K2 | A3 | W4A8C16 | PD分离 | | Kimi-K2 Thinking | A3 | W4A8C16 | PD分离 | | Longcat-flash | A3 | BF16 | PD分离 | | Ling-1T | A3 | BF16 | PD分离 | | GPT-OSS120B | A3 | INT8 | PD分离 | | GPT-OSS120B | A2 | INT8 | PD分离 | | GPT-OSS20B | A3 | INT8 | PD分离 | | GPT-OSS20B | A2 | INT8 | PD分离 | 安装方式 | 硬件平台 | CPU架构 | Docker镜像地址 | Tar包名称 | | A3 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a3-arm:release_v0.7.0-vllm | omni_infer-a3-arm:v0.7.0_vllm | | A3 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a3-x86:release_v0.7.0-vllm | omni_infer-a3-x86:v0.7.0_vllm | | A2 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a2-arm:release_v0.7.0-vllm | omni_infer-a2-arm:v0.7.0_vllm | | A2 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a2-x86:release_v0.7.0-vllm | omni_infer-a2-x86:v0.7.0_vllm | 更多详情请参阅：https://www.php.cn/link/9f78e8aa1530b26c85f555017d89e745  Bardeen AI 使用AI自动执行人工任务 下载 源码获取：点击下载
|
2026年车险公司推荐选哪家？首选平安财...
