天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修

  • 
  • 首页
  • 奇趣事
  • 潮科技
  • 会生活
  • 美奇迹

青岛商祺代理记账有限公司 | 网站地图
当前位置:天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修 > 潮科技 > 中国电信天翼云完成首个国产GPU万卡训练!4000亿参数大模型

中国电信天翼云完成首个国产GPU万卡训练!4000亿参数大模型

  • 澄丰 发布于 2025-07-25 13:48
  • 分类:潮科技
  • 来源: 小米漫画屋
  • 阅读(4895)
  • 评论(0)

中国电信天翼云完成首个国产GPU万卡训练!4000亿参数大模型

快科技9月20日消息,中国电信宣布,天翼云自研的国内首个单集群万卡国产化全功能预训练云服务平台,已经正式发布上线,基于华为昇腾芯片,并完成了万卡规模Llama3.1-405B大模型训练。

Llama3.1-405B作为4000亿参数规模的大模型,在息壤训推服务平台的支持下,经过多轮优化,MFU(算力利用率)达到国内领先水平。

另外,700亿参数大模型Llama2-70B在万卡规模下完成训练,MFU也处于业界领先水平。

据悉,天翼云的这套平台具备万卡纳管和并行训练能力,基于HPFS PB级并行文件系统、CTCCL RDMA高速卡间互联技术、Gang策略与拓扑感知的智算容器调度,以及慧聚自研分布式训练框架TeleFormers和平台,实现万卡资源纳管、万卡规模并行训练。

其中,天翼云自研了AI框架Teleformers,对算子、通信、数据处理进行优化,还有并行策略的自适应调整,显著提升了大模型训练的训练效率。

在目前业内最大参数规模开源单体稠密模型Llama3.1-405B大模型训练测试中,性能表现达到国际同等水平。

算子优化方面,针对昇腾芯片的特性,在网络结构层面对诸多高频算子进行了定制化改造,构建了高性能算子集。

比如matmul算子,利用昇腾芯片的计算亲和性,将算子输入padding到特定的维度,大幅提升执行效率,从而明显缩短了训练时间。

数据处理和流水线方面,通过设置合理的数据分片策略和HPFS条带化优化,结合数据预取与数据下沉技术,大幅提升数据流的处理效率和稳定性;对预处理后的数据集进行了二次分片并提供就近缓存能力,减少GPU空闲时间。

自适应并行策略方面,基于对3D并行中各类计算单元的分析,天翼云设计了多种自适应的3D并行策略,依据模型规模和硬件资源的不同可以自动选择合适的并行策略,充分利用计算资源和显存资源,缩短模型训练中每轮的迭代时间。

天翼云国产化万卡智算中心还有多项技术突破——

天翼云息壤训练服务平台基于软硬件协同设计,提供全链路故障监控、基于主动感知的全链路故障监控和定位、CheckPoint秒级多级高速存储系统、容错优雅调度和模型编译缓存等系统,将万卡规模故障发现和解决问题缩短到业内前沿的分钟级,大幅提升有效训练时间。

自动断点续训系统:

建设丰富的故障库,基于此构建了多维故障感知系统,能够快速主动感知相关故障事件和潜在的故障风险;

通过精准的故障隔离和调度手段,快速隔离处理故障节点并重新调度新节点接手任务继续训练,实现无人干预式断点续训,有效减少GPU闲置时间。

高速多级CheckPoint系统:

天翼云设计基于多级存储的高速CheckPoint系统,通过两阶段异步存储,实现高速写入内存,并最终异步写入远端系统;

针对断点恢复场景,提供进程级故障原地快恢和远端快速恢复能力,最终实现对CheckPoint的秒级读写能力,大幅降低断点恢复时间、提升训练效率。

全链路检测工具链:

天翼云开发了全链路故障监控工具链,能够基于主动感知实现全链路的故障监控和定位。

该工具链可以主动发现设备故障,并降低训练中断的频次,确保训练过程的连续性和稳定性。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:上方文Q

未经允许不得转载:天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修 中国电信天翼云完成首个国产GPU万卡训练!4000亿参数大模型

赞 (185) 打赏
分享到
标签智能充电移动电源移动设备

作者:澄丰

Hi,天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修
上一篇谁在疯狂入手QDII?但斌“梭哈”纳指,有地方国资买成纳指100ETF第一大持有人 下一篇高新发展今日涨停 深股通买入1.74亿元并卖出1.23亿元

相关推荐

  • ChatGPT一天“吃”50万度电 美国企业各显神通 上演电力“抢夺战”
  • 央行:8月三大政策性银行净归还抵押补充贷款778亿元
  • 领克纯电争议中出炉,考验吉利多品牌“平衡术”

热门推荐

  • 华帝股份2023年度分配预案:拟10派3元
  • 浙商银行行长助理侯波:禁止手工补息对于浙商银行存贷款的增长都没有太大影响
  • 招商轮船:一季度净利润13.75亿元 同比增长22.62%
  • 美国贸易代表办公室:加拿大最近实施的数字服务税具有歧视性
  • 【盘中播报】35只个股跨越牛熊分界线
  • 华为余承东:问界 M9 销量远远超越预期,五座版车型开启先行者计划

评论点击这里取消回复。

5+2=
域名正在出售

tjfhjx.com

通过聚名网(juming.com) 中介交易

聚名网(juming.com)是全球领先的域名交易服务机构,同时也是Icann认证的注册商,拥有多年域名交易经验!安全有保障

如有意愿 请联系我购买>>

网站简介

天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修

天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修是一部内容开放,自由的网络百科全书,旨在创造一个涵盖所有领域知识,服务有需要的互联网用户,及时便捷的获得知识与信息。

随机推荐

  • 东方环宇最新股东户数环比下降8.18% 筹码趋向集中2025年07月25
  • 近1100家、覆盖市值约25万亿元!沪市公司“提质增效重回报”行动落地见效2025年07月25
  • 工业金属概念盘中拉升 华钰矿业涨超8%2025年07月25
  • 25日北向资金净买入3.49亿元2025年07月25
  • 今天,亚太股市巨震!A股调整,两板块大涨!2025年07月25
  • 威创股份退市,股民索赔案已被广州中院受理,受损股民可起诉维权2025年07月25
  • 万安科技:一季度净利润2116.66万元 同比增长1890.93%2025年07月25
  • 收盘:道指创历史新高 市场等待联储利率决定2025年07月25
  • 医疗险“秒赔”规模化背后:大模型技术解决了哪些理赔痛点?2025年07月25
  • 国防军工行业资金流入榜:中兵红箭、七一二等净流入资金居前2025年07月25

热门标签

  • 裙子
  • 潜水
  • 古巴
  • 打底裤
  • 手机套
  • 卡通
  • iPhone
  • 原木
  • 鼠标
  • 鳄鱼
  • 灯泡
  • 减肥
  • 沙丁鱼
  • 迁徙
  • 雕塑
  • 艺术家
  • 交通工具
  • 废物利用
  • 工艺品
  • 最壮观
  • 岛国
  • 移动电源
  • 全球第一
  • 3D打印

最新评论

  • admin 4年前 (2019-08-21)说:
    非常不错
  • 大哥大 4年前 (2019-08-03)说:
    测试评论
  • admin 8年前 (2016-02-19)说:
    是吗
  • admin 8年前 (2016-02-19)说:
    真的吗
  • seo 8年前 (2015-10-16)说:
    哇,还是漂亮呢,如果这留言板做的再文艺一些就好了
  • 小峰 8年前 (2015-10-15)说:
    感觉真的不错啊
  • 天涯海角 8年前 (2024-10-02)说:
    文章内容是真的好呀。。。。。。
  • 摘俩网 8年前 (2024-09-28)说:
    呵呵,感觉废话挺多的
友情链接
  • 山东皓轩有限公司
  • 太仓顶极冷暖设备有限公司
© 2023 本站主题由 天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修 提供   网站地图