腾讯云AI超级底座新升级:训练效率提升幅度达到3倍
2023-09-08 17:51:26 来源:每经网
大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方面提出了更高要求。在9月7日举行的2023腾讯全球数字生态大会“AI超级底座专场”上,腾讯云介绍异构计算全新产品矩阵“AI超级底座”及其新能力。
【资料图】
腾讯云副总裁王亚晨在开场致辞中表示,AI大模型就像是一场F1比赛,腾讯云专门设计了星脉高性能算力网络“赛道”,并自研了TiTa和TCCL网络协议作为“车载导航和道路控制系统”,共同让“HCC GPU服务器”这台马力强大的F1赛车发挥最大的算力性能,助力客户在AI大模型的竞争中遥遥领先。
腾讯云全新异构计算产品矩阵“AI超级底座”亮相
随着AI应用走向全领域,模型参数发展到千亿、万亿级规模,对云计算的基础设施提出了全新的挑战。腾讯云异构计算产品总监宋丹丹表示,AI超级底座可以从底层算力基础设施到上层应用对接提供整套完整服务,方便模型生产厂商和AI开发者快速开发、验证。
腾讯云AI超级底座具有海量算力、极致性能、灵活取用等优势,结合了腾讯云的海量多元算力、高性能网络和存储集群,并以云原生产品作为入口供开发者灵活调用。在软硬结合层,腾讯云还可以通过GPU虚拟化、容器等,以及高性能应用服务HAI给开发者提供简易的开发体验,并让底层的高性能算力无损直达开发者,真正实现“高性能易上手”。
基础设施再进化,取之AI,赋能于AI
作为AIGC时代的重要核心,大模型需要庞大的算力来支撑。腾讯云高性能计算集群产品HCC采用腾讯云星星海自研服务器,提供高性能、高带宽和低延迟的集群算力。目前,HCC已全面升级至2.0,性能、效率和稳定性实现全面提升,相比上代训练效率提升幅度达到3倍,将几十天的训练周期缩短至一周内。
此外,腾讯云还推出了性价比更高的冷存储产品、COS加速器,以及数据湖多级加速体系,可面向AIGC等多种业务场景提供多级缓存加速方案,进一步提升训练效率并降低资源成本。腾讯云存储产品总监崔剑指出,腾讯云通过提供近存储侧的一站式数据处理智能平台,为以AIGC为代表的业务提供内容处理、内容审核等服务,帮助用户挖掘数据价值,从而实现了“取之AI,助力AI”。
腾讯云公网产品负责人俞圆圆指出,对于参数达到千亿、万亿级别的AI大模型来说,大带宽、低延时、广覆盖、少抖动的网络是实现高效训练的关键因素之一。腾讯云星脉高性能计算网络具备业界最高的3.2T通信带宽,可为AI大模型的训练提供高速公路级别的网络通道。
软硬件结合,提升极致性能
底层基础设施以外,AI大模型的落地也需要上层软件的支持。腾讯云异构计算AI研发专家工程师叶帆表示,随着集群规模的增加,无论训练还是推理对硬件性能的利用均呈现指数难度上升,需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术,提高吞吐的同时,也降低了客户端延迟,并全面兼容hugging face主流大语言模型,可保障复杂多变的公有云应用场景。
针对GPU算力资源浪费的问题,腾讯云TencentOS高级产品架构师杜震表示,qGPU容器产品可以支持多个容器共享GPU卡,具备了各容器间算力、显存的精细隔离和灵活配置,将GPU的利用率提升至极致,最终帮助客户大幅节约GPU资源成本。同时,腾讯云还基于RUE内核全场景混部,统一调度分配CPU、IO、网络、内存等资源,提升资源利用率,进一步降低运营成本。
向量数据库加速企业AI化进程
在大模型时代,通过向量数据库将数据高效接入AI大模型,并深度挖掘数据价值,成为最重要的事。
腾讯云数据库产品副总经理罗云指出,腾讯云向量数据库同时具备的性能和规模优势,支持高达10亿级的向量检索规模,延迟则控制在毫秒级,比传统单机插件式数据库检索规模提升了10倍。同时,腾讯云向量数据库还具备百万级每秒查询(QPS)的峰值能力,经腾讯内部海量场景实践,数据接入AI的效率比传统方案提升10倍,运行稳定性高达99.99%。
从底层到上层,腾讯云AI超级底座通过大模型高性能计算集群、计算网络以及向量数据库等大模型生态工具,助力AI大模型应用落地。
关键词:
[责任编辑:xwzkw]
相关阅读
- (2023-09-08)腾讯云AI超级底座新升级:训练效率提升幅度达到3倍
- (2023-09-08)这个夏天超5亿人次走进电影院!暑期档总票房超过去三年总和
- (2023-09-08)红军名宿:利物浦要重点关注弗格森 范迪克仍是最佳之一
- (2023-09-08)欧洲航空安全局:一家波音及空客的零部件供货商存在造假行为
- (2023-09-08)医药板块早盘逆势上涨,荣昌生物涨超3%,创新药ETF(159992)份额突破105亿份丨ETF观察
- (2023-09-08)第十二届酒博会|“酿”造千亿级产业
- (2023-09-08)光速切割?GEN官方:和旗下内容创作者Mystic的合约即时解除!
- (2023-09-08)Epic游戏平台送免费游戏 这周是《咒语漂移者》下周是《911接线员》
- (2023-09-08)被骗2100 跟我说游戏售卖 然后转钱了 给他发信息打电话不
- (2023-09-08)有信云提交美股IPO申请
- (2023-09-08)百果园在港举办国际供应商大会,同期战略签约18家世界级水果企业
- (2023-09-08)和佳医疗2023年半年报披露股民索赔案最新信息
- (2023-09-08)国家移民管理局:依法拦阻涉赌诈人员2.1万人
- (2023-09-08)英伟达 RTX 4060 在 Steam 显卡统计中首次亮相,份额 0.23%
- (2023-09-08)鲜食玉米成助农增收“金棒棒”
- (2023-09-08)长沙老师打碎学生头骨,脑浆溢出,监控离奇消失!态度拒不承认
- (2023-09-08)安徽省宿州市埇桥区市场监管局举办海外知识产权维权援助指导培训会
- (2023-09-08)博鳌报告:要直面能源安全困难 防止因绿色技术推广盲目乐观
- (2023-09-08)硅宝科技董秘回复:公司产品可以应用BC电池
- (2023-09-08)长春市计生协启动家庭健康指导员培训班活动
- (2023-09-08)富士康供应商优邦科技冲刺IPO,锡膏产品市占率5.4%居前三
- (2023-09-08)昆明治疗白癜风的医院-小女孩得了白癜风怎么办
- (2023-09-08)中国海警局新闻发言人就菲律宾非法侵闯仁爱礁发表谈话
- (2023-09-08)强降雨致广州机场昨夜40架航班备降外站 今日计划补班60班
- (2023-09-08)《绝世好武功》吐纳法怎么学习
- (2023-09-08)寻道大千击晕流搭配攻略
- (2023-09-08)巴西各地举行庆祝独立日活动
- (2023-09-08)9月8日 14:24分 易华录(300212)股价快速拉升
- (2023-09-08)看新城崛起 探科创活力中央媒体“高质量发展调研行”走进西安高新区
- (2023-09-08)男童手指被卡地漏 松江消防破拆解救