华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
昇腾社区首页
中文
注册
登录
开发者
主页
开发
文档
活动
学习
论坛
博客
开发者计划
更多
0
/100
下载
支持
积分兑换
NEW
MindSpeed
暂无评分
我要评分
该页面对您有帮助吗?
我要评分
立即下载
查看文档
产品堆栈
业务系统
MindSpeed
训练加速库
大模型套件
MindSpeed LLM
MindSpeed MM
MindSpeed RL
加速模块
MindSpeed Core
AI 框架
MindSpore 昇思
PyTorch
硬件使能
CANN 异构计算架构
昇腾系列硬件
MindSpeed LLM
针对昇腾硬件推出的大语言模型套件。提供了开箱即用的主流开源大模型,支持
预训练
、
全参微调
、
低参微调
等算法,完备的数据预处理、
权重转换
、
多样评估方式
的工具链支持。提升用户在昇腾硬件上高效、便捷地开发与使用大型语言模型的能力
获取源码
关键特性
长序列分布式训练加速
MindSpeed多维优化,支持百万级长序列训练
并行优化
同时支持三种上下文并行算法兼容MoE专家并行
计算优化
支持Flash Attenting
内存优化
ALiBi、Reset Attention Mask压缩
通信优化
P2P分流并发
支持与帮助
昇腾论坛 (应用使能专区)
问题求助,技术探讨,大咖在线答疑解惑
支持与服务
为您提供多样化的自助查询途径、专业高效的人工服务支持