智能算力云平台评估方法举例.docx

智能算力云平台评估方法举例A.1资源调度及管理平台功能评估A.1.1多租户管理能力子域测试目标测试内容预期结果租户创建与管理验证平台的租户创建、修改和删除功能，确保租户信息管理的准确性和完整性。租户创建：测试管理员创建新租户的功能，检查租户名称输入、管理员分配、资源配额设置等操作。平台能够成功创建租户，租户能够登录云平台。租户修改：测试租户信息（如描述、资源配额）的修改功能。所有操作均能在系统中正确反映，不影响其他租户的正常运行。资源隔离与配额管理验证系统在多租户环境下的资源隔离性和配额管理功能，确保各租户之间的资源分配合理且互不干扰。资源隔离：测试各租户之间的计算资源、存储资源和网络资源的隔离性。各租户资源使用相互独立，无资源冲突或干扰。配额管理：测试CPU、GPU、内存、存储配额的有效性，验证配额限制的提示和应对机制。配额管理有效控制资源使用，配额超限时系统能够及时发出警告。用户与权限管理验证用户与权限管理功能，确保不同用户角色的操作安全性和资源使用权限。用户角色管理：测试多级角色管理功能，验证不同角色的权限分配与操作范围。平台正确管理用户角色和权限，不同角色的用户只能访问和操作其权限范围内的资源。用户管理：测试用户的添加、删除和角色变更功能。验证用户的增删改查能力访问密钥管理：验证用户SSH公钥的配置和管理功能，确保远程访问的安全性。SSH公钥配置与管理功能安全可罪OA.1.2平台监控测试项目测试目标测试内容预期结果实时资源监控验证平台的实时资源监控功能，确保系统能够及时反馈资源使用情况，快速发现异常。GPU监控：测试对GPU资源的实时监控功能，确保系统能够准确反馈每个GPU的使用情况和性能指标。系统能够实时监控每个GPU的使用情况，准确反馈GPU负载、温度、使用率等性能指标。存储监控：测试对存储资源的实时监控功能，确保系统能够监控存储空间的使用情况及I/O性能。系统能够实时监控存储空间的使用情况和I/O性能，及时发现并报告潜在的存储瓶颈或异常。网络监控：测试对网络资源的实时监控功能，验证系统对网络负载、带宽使用和延迟的监控能力。系统能够实时监控网络资源的使用情况，准确反馈网络负载、带宽使用和延迟等性能指标。任务资源监控验证平台对任务执行过程中的资源使用情况进行监控，确保任务执行的高效性和稳定性。资源消耗监控：测试任务执行过程中对CPU、GPU、内存等资源的消耗监控功能，确保用户能够实时了解任务的资源使用情况。系统能够实时监控任务执行过程中的资源消耗情况，用户能够查看到每个任务的资源使用细节。吞吐量监控：测试任务执行中的吞吐量监控功能，确保系统能够反馈任务处理效率及其变化情况。系统能够实时监控任务的吞吐量，准确反馈任务处理效率及其变化趋势。日志监控：测试对任务执行日志的实时监控功能，确保用户能够及时查看和分析任务执行中的关键日志信息。用户能够实时查看任务执行过程中的日志信息，及时发现并处理潜在问题。多维度监控验证平台的多维度监控功能，确保系统能够从多个维度展示资源和任务的使用情况。客户维度监控：测试平台对不同客户的资源使用情况进行监控的能力，确保客户资源使用情况清晰可见。系统能够从客户维度展示资源使用情况，用户能够清晰了解各个客户的资源使用状况。资源维度监控：测试对不同资源类型（如CPU、GPU、存储、网络等）使用情况的监控，确保资源使用情况透明、直观。系统能够从资源维度展示各类资源的使用情况，用户能够清晰了解各类资源的消耗和利用情况。任务类型维度监控：测试对不同类型任务的资源消耗和执行情况进行监控的能力，确保系统能够全面反馈任务执行的效率和效果。系统能够从任务类型维度展示任务的执行情况，用户能够分析不同类型任务的资源消耗和执行效率。A.1.3镜像管理测试项目测试目标测试内容预期结果镜像管理功能测试验证平台对镜像的管理功能，确保镜像上传、下载、版本管理和编辑操作的稳定性和有效性。镜像上传：测试用户上传自定义DOCker镜像的功能，验证上传过程的稳定性及上传后镜像的可用性。用户能够顺利上传自定义镜像，上传过程无中断，上传后镜像可正常使用。镜像下载：测试用户从仓库下载镜像的功能，确保镜像下载的稳定性及下载后镜像的完整性。用户能够成功下载所需镜像，下载后镜像完整且可用。镜像版本管理：测试同一镜像的多版本管理功能，验证用户对不同版本镜像的切换、删除和回滚操作。用户能够成功管理镜像的多个版本，并能切换、删除或回滚至指定版本。镜像属性编辑：测试镜像的属性编辑功能，验证镜像名称、描述、标签等属性的修改和保存操作。用户能够成功编辑并保存镜像属性，修改后的属性在系统中正确显ZjO镜像使用场景测试验证平台在不同使用场景下对镜像的支持，确保镜工作空间启动：测试用户选择镜像作为工作空间启动镜像的功能，确保工作空间能够基于选定镜像成功创建。用户能够顺利选择镜像并启动工作空间，工作空间环境与镜像配置一致。测试项目测试目标测试内容预期结果像在任务运行中的稳定性和一致性。任务提交：测试用户在任务运行中选择镜像作为基础环境的功能，验证任务运行过程中镜像环境的稳定性。用户能够顺利选择镜像并提交任务，任务运行过程中的环境与镜像配置一致，任务执行无异常。镜像一致性验证：测试镜像在不同任务和环境中的一致性，确保同一镜像在不同使用场景下表现一致。同一镜像在不同任务和环境下表现一致，保证了环境的可复现性和任务的稳定性。A.1.4加速卡复合调用测试项目测试目标测试内容预期结果复合调用GPU中的CPU能力验证平台可以用GPU集群rHMpp÷h日台匕创建CPU任务：测试平台能够利用GPU集群中的CPU创建任务。用户能够使用GPU集群中的CPU创建任务，并且最后能顺利完成任务。nJCrU创建此方，开且目匕够在CPU利用增大时调度到其他空余CPU节点。恢复任务：测试CPU任务使用的CPU被其所在的GPU集群使用后，任务能够恢复并且调度到其他空闲GPU集群中的CPU上。GPU集群中的CPU使用率增大时，任务能够正常被调度到其他空闲集群中的CPU上并且恢复任务，顺利完成任务。A.2模型开发平台功能评估A.2.1模型训练与推理测试项目测试目标测试内容预期结果模型训练支持验证平台对不同规模和复杂度的模型训练任务的支持，确保训练任务的高效执行和稳定性。单机单卡训练：测试在单机单卡环境下的模型训练，确保训练任务能够顺利执行并达到预期性能。模型能够在单机单卡环境下顺利训练，训练过程稳定，性能达到预期。单机多卡训练：测试在单机多卡环境下的模型训练，验证多卡之间的数据同步和任务协调能力。模型在单机多卡环境下训练时，多卡之间数据同步良好，任务协调顺利，训练效率提升显著。多机多卡分布式训练：测试在多机多卡分布式环境下的模型训练，确保任务在大规模环境中的执行效果。模型在多机多卡分布式环境下训练时，各节点间任务协调良好，训练过程顺利且无明显瓶颈。预训练模型支持：测试平台对预训练模型的支持，验证常见预训练模型（如BERT、GPT等）在平台中的加载和微调能力。平台能够顺利加载和微调常见的预训练模型，微调过程高效且结果符合预期。训练监控：测试对训练过程的实时监控功能，确保用户能够实时查看训练进度、资源使用情况和性能指标。用户能够实时监控训练过程中的进度、资源使用和性能指标，确保训练按计划进行。模型推理支持验证平台对模型推理任务的支持，确保推理任务的高效执行和部署稳定性。单机推理：测试在单机环境下的模型推理任务，确保推理过程稳定且响应时间符合预期。模型在单机环境下能够顺利执行推理任务，推理过程稳定且响应时间符合预期。分布式推理：测试在分布式环境下的模型推理任务，验证系统对大规模推理任务的支持和负载均衡能力。模型在分布式环境下推理任务能够顺利执行，系统能够有效进行负载均衡，推理性能达到预期。推理框架支持：测试平台对不同推理框架（如ONNXRuntime、TenSorRT等）的支持，确保模型能够在不同推理框架下高效运行。平台能够顺利支持多种推理框架，模型在不同框架下的推理性能良好，符合预期。推理服务部署与监控：测试推理服务的部署功能，确保推理服务能够快速扩展和缩减，实时监控推理服务的状态和性能指标。推理服务能够顺利部署，并根据需求进行快速扩展和缩减，用户能够实时监控推理服务的状态和性能指标。测试项目测试目标测试内容预期结果训练容错能力验证平台训练任务容错能力支持，确保能够有效的开机自检、错误检查、任务恢复、日志输出。开机自检：测试任务开启容错后是否开机自检，验证输出日志是否正确。任务开启容错后，正常进行开机自检，并且输出对应的日志。错误检测：测试任务异常后是否检查错误并定位，输出正确日志。任务异常时正常进行错误检测，并且定位问题输出正确容错日志。任务恢复：测试任务异常后是否从上一个CheCkPoint恢复任务，确保任务能够按照配置的重启次数进行重启。任务异常后从上一个checkpoint进行恢复，正常按照配置的重启次数进行重启。容错日志：测试容错日志是否正常输出，是否可读和正确。容错日志正常显示开机自检和错误检测，并且保证可读性和正确性。A.3模型应用平台功能评估A.3.1预置大模型测试项目测试目标测试内容预期结果预置大模型验证平台预置的模型通过正确的配置可以被多种语言习惯的开发者直接调用，并获得模型返回内容大语言模型APl调用：基于平台提供的调用示例，配置有效的APlkey,输入请求内容正常获得大模型的服务返回的请求信息、文本生成结果，和token统计大语言模型参数配置：基于有效的APlKey,配置不同的systemprompt、temperature>topp、topk等参数，输入USerprompt内容模型返回结果遵循systemprompt的内容，并根据不同的模型参数采样值，返回不同的生成内容文生图模型APl调用：基于平台提供的调用示例，配置有效的APlkey,输入文本请求内容，获得生成队列信息，拉取生成结果正常获得大模型的服务返回的图像生成任务信息和图像生成结果文生图模型APl调用：基于平台提供的调用示例，配置有效的APlkey,输入图像信息，获得图像id并提交生成任务，获得生成队列信息，拉取生成结果正常获得大模型的服务返回的图像id、图像生成任务信息和图像生成结果生图大模型参数配置：基于有效的APlKey,配置不同的正向、负向PrOmPt,并配置Seed、step、分辨率、scheduler等参数，发起生成需求模型返回结果遵循正向、负向prompt的内容，并根据不同的模型参数采样值，返回不同的生成内容APIKey身份验证：基于平台提供的调用示例，配置无效的APlKey,输入调用内容服务接口返回身份验证不通过多编程语言API调用验证：基于平台提供的curl、pythonSdk调用示例，配置环境，有效的APlKey,输入调用内容多种编程语言的调用示例可正常获得大模型服务返回的结果OPenAl兼容性：基于OPenAl已有接口的开发者，更换模型调用的地址、APIKey和模型名称，其他正常输入调用可正常基于OPenAl的调用方式返回结果验证平台提供多种能力使得用户可筛选定位到需要的模型模型标签筛选：基于平台提供的模型类型、模型