Hugging Face Blog·· 13 小时前精选AI 评分60
PyTorch 2.15 发布:MPS 支持 FP8,MoE 解码提速 5–6.5 倍
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 发布,MPS 后端新增 FP8 支持,MoE 模型解码速度提升 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升至 61.3 tokens/s。线性层和 softmax 也获得加速,Wan2.2 视频 VAE 解码峰值内存从 270 GiB 降至 8 GiB。
推荐理由
给出了 MPS 后端在 FP8、MoE 解码和视频内存占用上的具体变化,Mac 用户可据此判断本地推理体验的提升幅度。
来源:Hugging Face Blog · huggingface.co