2024人工智能 服务能力成熟度评估.docx

人工智能服务能力成熟度评估前SII1范围12规范性引用文件13术语和定义14缩略语15概述15.1 服务能力成熟度评估模型25.2 服务能力框架25.3 成熟度等级36评估指标56.1 A1.基础服务能力56.2 A1.业务服务能力67成熟度模型评分77.1 A1.基础服务能力77.2 A1.业务服务能力12冏录A人工智能服务能力成熟度评估1葩围本文件提出了人工智使服务能力成熟度评估模型，规定了成熟度等级、使力框架、评估指标和评估方法.本文件适用于对服务提供商提供的人工智能服务能力的成熟度评估，以及服务能力成熟度模型中某项能力主域、能力子域的通项评估.2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中.注H期的引用文件.仅该H期时应的版本适用于本文件：不注I1.期的引用文件，其G新版本(包括所有的修改单)适用于本文件。G1.VT41867-2022信息技术人工智能术语3术语和定义GB/T41867-2022界定的以及下列术语和定义适用于本文件。3.1能力子I页CaPabi1.itysub-item能力子域中构成成熟度的若干特性指标单项。3.2能力子项权承factorofcaabiIitysub-item对应能力子项在所述旎力子域评估中的权重因子.3.3服务可用性serviceavai1.abi1.ity服务客户发起服务请求后极务可访问的时间占总服务时间的比例.注i可用性的计算是在系列预定义的时间段中,限务可用时间之和占预定义时间段之和的比例.即柞除允许的收务不可用时间.4缩略语AI：人工智能(Artificia1.Inte1.1.igence)5概述5.1服务镜力成熟度评估模型服务能力成熟度评估模型见图1,包括能力框架、评估指标体系和成蚣度等级.f能力根柒Mi指标体系（成熟度等级优秀拨检他爆发收嫌起的爆卓雄火IiI1人工智能股务能力成熟度评估模型能力框架由多个能力主城组成,邮个能力主域代表成熟度等被评估中主要的筑域划分，由组相关的健力子域组成.每个能力子域代表该使力主城中构成成熟度水平的若干技术能力领域,由TI相关的能力子项组成，评估指标体系由三级指标构成，分别与能力主域、能力子域和能力子项时应，越个能力子项代衣该能力子域构成成熟度的若干特性指标.在扶得各项特性指标数据后综合计W狭褥某一成熟度等s.成熟度等级是从基础服务旎力、业务眼务能力等方面对人工智能极务能力的分级评估结果.5.2 服务能力框架人工智使用务使力框架应分为AI基础服务能力、A1.业务服务使力.各能力主域的能力干城和能力千按照衡收相关能力所需的技术水平、系统性能、可扩展性、安全性等维度诳行规定，其框架见表1,表1人工智能服务能力框架能力主域能力于域能力子项A1.整砒眼务能力存站数据管理多样性分布式可拓展其他itn数据计算型擀效率8;定性可扩展性灵活性能力主域傥力干域健力子项统计览控数幅结构化处理与决抽桁定性可用性时收性可曾祥性可扩展性机学习全生存周期训练性能兼容性灵活性9Jf1.tt算法件安全与他私协议安全致M磔私和就法安全i据加率网络隔离权以管理和整权行为审计恢SI2份A1.业务服务能力智能用音陪在山别if1.音介成声效识掰自然i)理解词法'句法分析信息抽取倡息检索谓义推理情形分析知以图谱智能对话MW知IR型问答任务导向对话情aw话后发式对话多模态对话招能图像视频分析识别饯力理就使力业务拓展性取务检定性5.3成熟度等级5.3 1成熟度等级划分及判定人工智能服务能力成熟度等级分为5级：起始级、发展级、稳健级、优秀级、卓越级，并用(一、(->.(三).(四)、五表示.如图2.图2人工智能服务能力成熟度等级每个成熟度等级表明人工智能服务使力所达到的成熟度水平.人工智使眼务能力的改进和成熟度提升是通过渐进的方式来实现的，较高的成熟度等级涵萩了低于其成熟度等级的全部要求，人工智能服务能力、某项旎力主城、能力子域成熟度分级评分见表2,根据褥到的相应的成熟度得分，对照相应的服务能力成熟度评饭：袁2人工智能朋务能力成熟度分级参考规则等线特征起始统IW得分V1.5人工押能邛门徒第提供坛本的人匚智能服务.AI基岫服务能力域的评分流足M帐的要求,AI业务限务能力域的评分满足i蛙的要求.发联微1.5<m分V2.5人匚网能平台傥好提供可拓联的人工W饯服务.AIAH8暇务能力域的评分满足中呼的要求,A1.业务服务能力域的评分满足域低的要求。粒健级25至得分<3.5人工智能平台使城;提供枪定的人工当能服务，R1.珞础米务能力域的讨分满足中等的要求，AI业务故分能力域的评分满足中等的要求，优秀缓3,5W得分V4.5人工招除平台僮笏提供优为的人工智能服务.RI珞岫展分俺力城的评分法足我岛的要求.AI业务限务能力域的评分满足中等的要求.卓越统4.5W分W5人工智能中台健绯提供卓靖的人工智能服务.A1.基明服务能力域的评分谪足以高的耍求，AI业务取务能力域的评分满足收岛的要求，5.3.2成熟度分级规则服务能力成熟度分级可枭用评分用化的方式进行，服务能力成熟度等般的评分UJ参考如下公式。其中,各能力主域和能力子域的评分可分别适用相关公式进行评估：a）成熟度等级得分=以勘主城kx朴主琳重k：其中，Ife力主域k为构成成熟度评估卷考模型的能力主城。b）能力主域k成熟度得分="触子协衿种婚D其中，能力子域j为能力主域k下的能力子域.0能力子域j成熟度得分三£的“X丽三D其中.能力子项i为能力子域j下的能力子项.5.3.3能力项权重使用成熟度评估模型时，血根据不同应用场景构建不同的能力子项评估要素.基于家用智能设备场景、智能医疗诊疗场景、工业设备预测性维护场景等能力子项权重见冏录A.1。6评估指标1.1 A1.思础服务能力1.1.1 存储存储能力应包括：a）存储管理：数据存储系统的整体管理能力，包括支持的存储容麻、数抵条目数收等：b）多样性：支持多种类型数据、多种开发语言的能力：c）分布式可拓展：支持分布式架构的集群系统业务负我感知、降低运维红杂度的能力：d）其他：存储服务效率、设备故障预警和报警能力、存储数据恢复能力、接口便捷性和服务可用性等方面.1.1.2 计算计第能力应包括:8）数据计算：支持和大规模分布式计算、批献计稣、流式计算、图计匏、机器学习计籁和边缘计算等复杂计算任务的能力：b）集群效率：简单高效的提供大规模集群的部詈、调度、扩展和管理眼务的能力：C）柩定性：分布式架构部署的稳定性，包括保证故障自动恢发、快速迁移、连续运行时长等能力；d）可扩展性：计算资源扩容、提供扩展接口的旎力：e）灵活性：根据业务变化和仇我清况灵活调累的健力，以及是否能蝌供便捷易用的自动化工具，支持多种框架、控制分、应用程序携程接1.1.和软件开发包的能力：f）统计监控：数据流、数据收发状态的统计监控、报警触发的能力。1.1.3 数据结构化处理与决策数据结构化处理与决策业务服务能力应包括；a）枪定性：数据处理模型对抗噪声和数据攻击的能力：b）可用性：系统与用户的瓦协作能力：提供精碉的数据分析结果，并给出可用决策建议的能力：在维护和调整时的在线实时服芬能力等：C）时效性：提供实时性和变化国知的使力：d）可解择性：数据处理和决策过程中模里的可斛择性与流程的透明性：e）可扩屣性：鹫领域、ISifi多个场景的迁移能力和可犷展度，1.1.4 机器学习机器学习支撑能力应包括：a）全生存周期：支撑包含数据框架（采集'筛迭.僮标注、标注和脱敏等）、特征探索、模型开发（训练、评估和预测>、模型部若、模型管理、应用发布等全生存周期过程的能力：b）训练性能：支拽具备高性能的运免能力：c）兼容性：兼容其他训练模型代码的能力，包括主流的API和训练模型代码等：<0灵活性：灵活分配计算资源的能力，包括训练时灵活分型计算资源的时间颗粒度、灵活的计疑计费机制等：e）易用性：愫控人工智能服务所使用工具支持可视化的拖拽布局编程服务，祖合各种数据源、S1.件、算法、模型和评估模块的能力：f）算法库：支持提供插件式算子注入，支持多类算子及算法、时空分析、频繁项挖姐等能力.1.1.5 安全与隐私安全与隐私保护能力应包括：a）协议安全：协议使用可信通道.确保用户的猛人不能被第三方窃听的能力：b）轨则险私和算法安全：数据存储中关于川户个人限私的相关数抠乘用Ifi幺脱股存储、考虑算法安全机制,能筋避免通过统计数据反推算法逻辑的能力：C）数据加密：对他博数据进行加密存储的Ife力；d）网络隔离：对不同用途和环境的设在进行必要的网络隔离、对不同安然别的运骅环境之间的互通进行权限检查的能力：e）权限管理和鉴权：时数据和服务调用进行签权的能力：f）行为审计；对各种操作行为进行审计的使力；g）馔更备份：支拄数据恢空与备份的能力.1.2 A1.业务服务转力6. 2.1智能语音智能谱音业务服务能力应包括：a）语音识别：噪声场景中唤解词识别和将语音转换为文本的能力；b）语音合成：将文本利换为语音的能力：c）省纹识别：通过声音判别说话者身份的技术能力.7. 2.2自然语言理解自然语言理斛业务服务能力应包括：a）司法.句法分析：支挣司法分析、句法分析、语义分析的能力：b）信息抽取；从文本、音频、图像、视频等数据中抽取知识单元的能力：c）信息检索：根据用户需求，查找出所需信息的能力：d）语义推理：根据1.1.有的知识，用规则或模型，扩展相关知识或产生出新知识的能力：e）情感分析：通过对自然语言文本的分析，识别文本作青或文本所描述的个体的陆感的能力：f）知识图谱：构建知识图谱并利用知识图谱诳行知识计算和推理等方面的能力。6.2.3智能对话智能对话业务服务能力包括：)d)1/1/abCde阳麻：闲林时话中上下文衔接和提高用户粘性的能力：知识型问答：为用户提供知识内容、知识搜索等答疑解惑服务的能力：任务导向时话：响应并引导用户的益求，达成任务的能力：情博时话：马人对话，站合主题、情爆等考虑时人进行情爆支持的能力；启发式对话：在用户不知道如何做或者能做什么时.给用户提示，引导用户继续对话.考虑信息的利用程度、自主性以及学习的能力；f）多模态对话：在对话中可以同时考虑语音、视频、动作、事怖入，以及表情、动作、i吾音等多模态输出,考虑模态数收、模态选择策略、学习的施力.6.24智能图像视频分析智能图像视频分析业务服务能力应包括：a）识别能力：支持至少一项识别服务的能力,如人脸识别，物体识别、文字识别等：识别过程中防攻击的能力，例如防呈现击；b）理解能力：准确和高效埋解图像内容伯息的能力：C）业务拓展性：支持不同设备能力情况下的多种不同要求的极务业务的能力：d）服务稳定性：提供图像视频稳定性的倍力，包括容错和负我均衡等。7成熟度模型评分7.1 A1.基础服务能力7.1.1 存储存储能力子域的能力子项成熟度评估分值见表3.表3存储能力