昇腾社区首页
中文
注册
开发者
下载

产品堆栈

业务系统
MindSpeed
训练加速库
大模型套件
MindSpeed LLM
MindSpeed MM
MindSpeed RL
加速模块
MindSpeed Core
昇腾系列硬件
MindSpeed LLM
针对昇腾硬件推出的大语言模型套件。提供了开箱即用的主流开源大模型,支持预训练全参微调低参微调等算法,完备的数据预处理、权重转换多样评估方式的工具链支持。提升用户在昇腾硬件上高效、便捷地开发与使用大型语言模型的能力
获取源码

关键特性

长序列分布式训练加速
MindSpeed多维优化,支持百万级长序列训练
并行优化
同时支持三种上下文并行算法兼容MoE专家并行
计算优化
支持Flash Attenting
内存优化
ALiBi、Reset Attention Mask压缩
通信优化
P2P分流并发