腾讯云TI平台的大模型精调解决方案-23页.docx

国0G国大模型落地痛点行业知识、模型训练稳定性、资源利用率、国产化适配TI大模型精调解决方案大模型精调全生命周期的方法论与全流程陪跑Tl精调的核心优势自研大模型、大规模预训练、自研加速、国产化适配案例分享大模型摘要;大模型问答（2）腾讯云智慧传媒.hIll需提高资源利用率需国产化适配分布式训练需要高效的资源调度管理系统，减少节点资源碎片提高调度成功率；支持虚拟GPU调度提高容器资源利用率响应国家政策，摆脱国外资源限制，需要从硬件服务器芯片、操作系统、模型等多个层面完成国产化适配大模型落地业务场景的痛点模型欠缺行业知识通用领域大模型百花齐放，但都不具备特定行业的独有知识，欠缺行业属性导致无法落地实际业务大模型训练需耗费大量GPU资源且训练周期长，对训练平台的稳定性、故障隔离性、自动容错性等底座能力，以及断点续训能力考验极大客户专属大模型传媒行业大模型情调解决方案Tl-DataTrUt微据标注平台Tl-ONE训练平台太极Angel加速组件Tl-Matrix应用平台传媒大模型政务大模型文旅大模型金融大模型教育大段里高性能计算集群HCC1.-I.-向瞰据库高性能网络：自研星脉讨算网络架构11对大模型开发全生命周期的一体化方法论（2）腾讯云智慧传媒应用场景资源采购模型选型数据评估资源评估训练共建脱敏合规部署应用性能评测效果评测环境搭建服务开通知识挖泥+增强数据清洗+切块向量库建设+维护训练平台搭建碰督训练有监督训练人工反馈强化学习训练框架加速模型注册模型发布推理框架加速推理务部署应用联调rrj:Tl精调的核心优势四大核心能力多轮对话知识增强逻辑推理内容创作创新大模型训练预训练超2万亿token语料优化预训练算法及策略改进注意力机制开发思维链新算法自研机器学习框架AngeIPTM训练框架相比业界主流框架提升1倍训练速度AngeIHCF推理框架推理速度相比业界主流框架提升1.3倍超千亿参数规模（蒸谣出百亿级模型）,全链路自主研发，从零训练自主创新信通院测评应用场景评测HUrn,nEva吩数模型开发共测试29个能力项综合评级级当前最高分模型能力共测试37个能力项综合评级级IIIIIIhlhlHlCtmlMKUMmalAGT*三AO<V<三元GE755YCevaISUM当前最高分核心优势1一自研模型：行业大模型（2）腾讯云智慧传媒大规模通用数据无监督：数T文本有监督：数亿条数据通用,pT&SF行业大模型,；?SF大模型媒旅融疗传文金医大规模行业数据无监督：百G文本有监督：数百万条数据降低不同行业数据彼此干扰提升垂类任务性能应用层舆情助手写作助手营销助手访谈助手客服助手金融行业大模型医疗行业大模型文旅行业大模型大模型层基础大模型平台层自研行业大模型训隐支撑：11-ONE训练平台（2）腾讯云智慧传媒APl调用核l1.'优势1自研模型：亍业大模型在有行业数据精调的情况下：行业大模型（10亿参数）可以比通用大模型（千亿参数）用小得多的训练资源，训练后得到差不多性能的应用BaiCbuanZ78-8iOuan2138一1.hma270BB1.OOM1768新闻摘要7onum一BAiChUMa7B7787一Bai6uan213876871.hma2707088B100M17688288（2）腾讯云智慧传媒3.任务管理模型评估任力。任务臾田WVAmtcQPOOtocmV三11ftN目可见supora<lw¼ZgMorc海任务/由日可见tupernc(BEPwartC治任务/演自可见supcac>w(s最快仅需5步即可完成大模型精调落地（2）腾讯云智慧传媒现点容移动蔽闻障主屏自故NodeTaskMangerTrainOperatorNode网络/系统等异常时：任翁管理自动重启训缴任免恢发历史CheCkPOIn窗蝮训练节点/磁盘等突发故障时：,训练OPeratOr感知POd运行状态将异常Pod距新调度到耳他节点恢复训练任务云原生监控核心优势2大规模训练：稳定自底向上3层机制保障大模型稳定训练（2）腾讯云智慧传媒核心优势2大规模训练：高效1 .提高容器对资源的利用率GPU任务使"拓扑感知调度，提OO支持虚拟GPU调度（O.l1.0卡）U(D2 .减少资源碎片，提高调度成功率,'.:J.".二.".'- AI批林任务使用gang调度策曙"（要么都成功.要么都失败） GPU任务使用binpack峭度？6B8（优先踊一节点，避免多卡任务启动失效）支持任务排队，合理分配调度簪,33<ff擒Q1Vmy.一_A核l1.'优势3自研加速：Angel三重优化（2）腾讯云智慧传媒2.显存优化Attention及M1.PBIoCk块算子融合优化CPU&GPU异步调用提高吞吐缓存定长+池化，提升参数支持规模AddFusedAddNorm1.ayernormQGemmKGemmTensorFusedBatchGemmVGemm3.计算优化训练加速效果对比（系统吞吐，越大越好）ChatG1.MBloom7B1.lama246ms/token126mstokenI17.7msoken太极Angel:12.9ms/token加速比1.37行业方案30ms/tokentAngel12.5ms/token加速比2.4推理加速效果对比（输出token速度，越小越好）训练任务可运行模型服务可部署预设大模型物料可运行!I(I腾讯云Tl平台信创芯片算力可分配信创芯片算力可调度侑创容器平台信创数据薛底层软件硬件服务器信创操作系统信创CPU芯片信创A功睡卡（NPU芯片）提供大模型开发全生命周期信创支持支持以下模型在信创芯片算力上进行训练支持以下模型在信创芯片算力上进行服务部署开源大模型、自研行业大模型开源大模型、自丽亍业大模型支持在信创CPU芯片茸力上使用1.1.M训练框架支持在信创CPU芯片算力上使用1.1.M推理框架腾讯云TI平台百爰s议卡商窃港自置另芬扇而血运蝴系CPU+昇腾系NPU,融乌系CPU,飞髓系CPU,般系CPU已支持基于以下信创容器平台告曙TI平台已支持基于以下信创数据库部署Tl平台腾讯TCS,灵雀云TKE,青云容器平台腾讯TDSQ1.底层软件已支持基于以下信创操作系统部署Tl平台HBTencentOS,银河麒麟核心优势4国产化适配：获得多项信创认证海光CPU生态兼容性认证1!发FMKaftft4«1«tttt*mw*MtHAV4BQ4MlK*«*.“.人工.*.Ht.an*.AttBxtlBWM<r<AIKa6as*.Iu.v*vva.amWJa.At.»-A1.VM.<ft>«!«iFB*2IftflM<HffewtvaA.hi.m.r.«it4-力.5rr殳RR人*eA.，.*>.MMMRvv<tntraa*tt*fNafl<ft<M*<x4¼<cc4Ra*aiC.NxrfrMftm.md.rw7v*"<<a.*.<i案例分享输入完整的长篇新闻文稿内容，基于大模型对原文的理解，重新组织用词造句，生成对主题内容的概括性描述。支持输出智能标题或智能摘要不同粒度的摘要结果。新闻智能标题与关键字通过自然语言处理方式，按照新闻语言风格，智能化地概括文本内容，可以用于智能标题的拟定.新闻智能摘要智能提取文章主题信息，生成指定字数的摘要内容.可以用于导语、简讯的输出。俄罗斯国防部10号称，俄军打击了顿涅茨克地区、哈尔科夫地区的乌军指挥所以及存有美国提供的大量弹药的仓库等军事目标.好水、好土产好演.为了保沪好赤水河的生态,仁怀近年来下大力气实现了工业核心区废水收集处理全覆盖，城镇生活污水处理率达95%,赤水和水质如今常年稳定在地表二类以上.守军生态雌.在高质量发展中保障和发展民生.党的18大以来，在石漠化严里的山区，仁怀持续加大基础设痂建胭入碰耕还林力度，帮助当地群众打造农旅一体的生态观光业，以创建省级生态乡情13个，市级生态村褰127个,仁怀还下决心对城区最大的垃圾增埋场进行彻底改造和生态修免.刚刚过去的国庆假期，各地丰富消费场景，扩大市场供给，持续升级的假日消费彰显中国市场巨大潜力的同时，也让百姓的生活品质不断提升.为群众打造出一个鸟送花香的生态公园.近五年，仁怀绿化造林3峰万亩，森林覆盖率达5635%,城镇新增就业36524人,乡村两级医疗卫生机构规范化建设全厦差，公通车总里程达3961公里:仁怀:坚守生态底线提升民生福祉渐渐次（可生成多个标题）生态、保护、发展（可指定3-5个关健词）产品示例官息配置,预订修改和取i肖落地案例：某文旅客户客户诉求无需配置对话流程,大模型端到端解决业务向逸人工有限,期望知识库运M上手简单,低成本投入»>极低配Il复杂业务场景,无配置情况下无去通过机器人闭环解决向即»>精准解答方案价值任务完成率提升在无多轮画布增加的前提下，突破效果天花板聚焦场景