微软推出ZeRO++技术，可显著减少AI大模型训练时间和成本
2023-06-28 11:02:30 来源：DoNews
(资料图片)
据微软官方消息，微软研究人员日前推出了名为 ZeRO++ 的新技术，可显著减少大模型训练时间和成本。
ZeRO++ 建立在 ZeRO 传输技术基础上，提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始 Zero 传输技术更快更准确。
微软研究人员表示，与 ZeRO 相比，ZeRO++ 减少了高达 4 倍的通信量，提高了训练吞吐量和效率。
关键词：
[责任编辑：xwzkw]
相关阅读
- (2023-06-28)微软推出ZeRO++技术，可显著减少AI大模型训练时间和成本
- (2023-06-28)海南文昌：“上楼”养殖的产业园丨高质量发展调研行_天天亮点
- (2023-06-28)iQOO 11S官宣7月4日发布：骁龙8 Gen2 200W快充 全球百事通
- (2023-06-28)软通动力：6月26日融券卖出金额221.13万元，占当日流出金额的0.65%
- (2023-06-28)每日信息：停息挂账协商实例有成功的吗？停息挂账容易申请吗？
- (2023-06-28)【共同缔造安全江夏㉚ 】减少灾害风险，建设安全之城
- (2023-06-28)中贝通信不超5.2亿可转债获上交所通过 海通证券建功
- (2023-06-28)天天热议:45亿参数科学大模型一天训完
- (2023-06-28)全球热头条丨民勤：蜜瓜产业促振兴 甜蜜生活种出来
- (2023-06-28)红宇股份（836291）：拟10送7.5转2.5股，共转增800万股
- (2023-06-28)利用人类心肌细胞，3D打印心腔能自主跳动数月|总编辑圈点 环球快看
- (2023-06-28)陕西省志丹县发布冰雹橙色预警
- (2023-06-28)第六届全国肉牛产业技术研讨会在江西召开_世界观热点
- (2023-06-28)世界球精选！硬核科技论 | 保时捷918继任者纯电化！全新Mission X这些技术值得了解
- (2023-06-28)焦作万方：6月26日融券卖出金额40.53万元，占当日流出金额的2.87%_当前简讯
- (2023-06-28)《男孩的19岁生日礼物》：用心托起成长路上的每一个关键节点
- (2023-06-28)环球即时看！嘉峪关：打造文旅特色小镇 激活乡村节日经济
- (2023-06-28)宝宝流鼻血较为常见 家长切忌毫无根据就认为是白血病|全球快播
- (2023-06-28)拒绝4000万！索要2.72亿美金，狮子大开口，又一小托马斯悲剧诞生
- (2023-06-28)川渝卫健携手中铁成都局 打造“健康中国川渝号”系列健康列车
- (2023-06-28)每日关注!新巨丰：张婧女士因个人原因申请辞去公司证券事务代表的职务
- (2023-06-28)区环境监测站2022年度青年科研项目顺利通过验收
- (2023-06-28)经济日报：多措并举拓宽毕业生就业路 天天热资讯
- (2023-06-28)华海药业最新公告：获得盐酸艾司洛尔注射液药品注册证书
- (2023-06-28)中信证券：降息有望拉开政策“组合拳”序幕，并带动经济基本面触底回升，进而支撑人民币汇率企稳甚至重回升值通道
- (2023-06-28)什么样的朋友不可交(什么样的朋友不能交?)
- (2023-06-28)天天热点！受加拿大野火浓烟影响 美国芝加哥空气质量恶化
- (2023-06-28)世界快看：请注意！6月27日起 天元区这三座桥梁进行维护维修
- (2023-06-28)天天新动态：6月26日讯，Economies.com的分析师今日最新观点：CBOT玉米价格成功达到我们等待的下跌目标589.20
- (2023-06-28)精彩看点：三五天就涨一轮价！经销商疯狂抢货！什么这么火？
