银行人工智能模型风险管理的研究与思考.docx

《银行人工智能模型风险管理的研究与思考.docx》由会员分享，可在线阅读，更多相关《银行人工智能模型风险管理的研究与思考.docx（13页珍藏版）》请在优知文库上搜索。

1、银行人工智能模型风险管理的研究与思考近年来，基于机器学习、图学习等的人工智能技术在银行信贷、风控、运营等业务领域的应用取得了令人瞩目的进展。银行以其得天独厚的数据积累、充足的算力购买能力、可落地的模型推广场景以及持续可控的模型学习与反馈能力，成为人工智能技术运用的“沃土”。随着人工智能模型应用范围的日益扩大，以及人工智能模型库的不断扩展，人工智能模型对企业决策过程的支撑作用越来越大。在此背景下，基于人工智能模型的风险管理逐步进入人们的视野。一、模型风险产生的必然性模型是一种定量处理方法。一个模型一般由三个组件组成，即输入组件、处理组件和报告组件。输入组件向模型传递假设和数据；处理组件作为模型的

2、核心组件，用于将输入信息转换为定量的估计;报告组件则将定量估计转换为对业务有指导意义的决策信息。不论输入组件是定性的、定量的，还是专家的经验判断，只要输出是定量的，处理过程是数据驱动的，都可以称之为“模型”。所以，模型的本质是一种“定量的估计”。机器学习理论体系中最基本的底座之一是图灵奖得主Valiant创建的PAC理论(PrObablyApproximatelyCorrect),这一理论告诉我们，无论模型本身如何可学、如何精密，泛化能力如何出色，但相对于真实世界，也是有“缺憾”的，模型永远是对真实世界的概率(简化)表示。也就是说，模型肯定是不完美的，模型的使用总会带来风险。模型产生风险的原因

3、主要有两个：一是模型本身在样本处理、算法、特征工程、编码等方面可能存在错误，并产生不准确的输出，这是模型产生的直接风险。二是模型被误用或滥用，即一个本身可靠的模型因为各种原因在适用环境之外被使用。基于模型误用和滥用所作出的决策可能会产生不利后果，这是模型产生的间接风险。国家新一代人工智能治理专业委员会于2021年9月发布了新一代人工智能伦理规范，明确提出要提倡善意使用人工智能，禁止违规恶用，避免误用滥用，要充分了解人工智能产品与服务的适用范围和负面影响,切实尊重相关主体不使用人工智能产品或服务的权利，避免不当使用和滥用人工智能产品与服务，避免非故意造成对他人合法权益的损害。此外，模型的风险来源

4、还包括模型的集成风险，即复杂模型的集成可能会产生新的风险或放大原有风险。既然模型的风险是不可避免的，那么，对模型的风险管理和对其他风险的管理一样，是我们必须要面对的问题。二、模型在银行应用之初即用于风险管理在巴塞尔资本协议全面风险管理体系建立之初，模型的概念就被提出来，彼时的模型主要用于信用风险管理，模型在银行的应用之初即是风险管理。在银行的风险体系中，基于信用风险模型的风险管理多被视为操作风险的一部分。操作风险虽然也被纳入巴塞尔资本协议第一支柱风险类别，但巴塞尔协议HI暂不建议针对操作风险使用内部模型方式，其原因是囿于当时的人工智能发展段位及对操作风险的认知程度。如今，随着人工智能模型的迅猛

5、发展，原本用于提高决策效率和控制风险的模型，其自身可能带来的风险日益凸显，诸如模型的黑箱倾向、自迭代能力造成的不可控等问题都为人工智能模型应用带来了新的风险与挑战。与此同时，人工智能模型风险管理也取得了跨越式发展，无论在学界还是工业界，都受到大量关注，已经逐渐成为独立的、区别于一般操作风险管理的类别。在这一演变过程中，有一条线索日渐清晰，即操作风险逐渐成为风险管理的重要分支，模型风险逐渐成为操作风险的重要分支，人工智能模型风险逐渐成为模型风险的重要分支。在这一过程中，由于各国对人工智能的理解不同，人工智能模型风险管理所处的发展阶段也不相同。例如，欧洲中央银行(ECB)于2016年发起的内部模型

6、针对性审查项目(TargetReviewofInternalModels,TRIM),是欧洲监管部门基于对监测资本所需的风险敞口模型计算，以及由此产生的对模型复杂性及算法不透明性产生质疑而发起的项目，该项目涵盖了对信用风险、市场风险和交易对手风险等内部模型的审查。基于巴塞尔资本协议相关约束，TRIM中并不包括操作风险相关内容。不过，TRIM是在欧洲银行监管机构内开展的大规模监管项目，我们可以借鉴其在模型内部治理、内部验证、内部审计、模型使用等方面的方法论，为人工智能模型风险管理提供参考。三、银行人工智能模型风险及其风险管理实践美联储和美国货币监理署(OffiCeoftheComptroller

7、oftheCUrrenCy)于2011年发布了模型风险监管指南(SUPerViSoryGuidanceofModelRiskManagement,SRLetter17,以下简称指南)，较早对模型风险的监管策略和方法论进行了颇具前瞻性的详细阐述，在模型建设、验证以及治理等方面为银行实施有效的模型风险管理提供了全面指导。如同后来欧洲中央银行的TRlM项目一样，美国监管当局最初关注的模型风险也是以资本方面的风险为主，并建立了一套完整的方法论。后来随着对操作风险关注的逐渐深入，相关的模型风险管理方法论也开始在操作风险领域推广，对人工智能模型风险的管理逐渐浮出水面。指南指出，管理模型风险的原则是“有效质

8、疑(EffeCtiVeChallenge)o有效质疑取决于银行内部激励机制、能力建设与质疑本身所具备的影响力之间的化学反应。有效质疑首先需要模型风险管理与模型开发过程有效分离、相对独立，且有绩效评价与企业文化的合理支持；质疑者的能力是有效质疑的关键，模型风险管理者首先应该是一个有着丰富知识和经验的建模专家，否则一切都是纸上谈兵；再者，模型风险管理还需要来自管理层的支持，在银行内部拥有足够的权威和地位。即便如此，模型风险仍旧是不可避免的。模型风险管理的具体实践因银行而异，应基于银行内部的风险文化，参考对其他风险的管理思路来管理模型风险，尝试建立与银行规模、风险偏好、风险敞口、业务应用场景的复杂度

9、与重要性相匹配的模型使用边界。指南中模型的风险管理框架包括三个要素，即鲁棒的模型开发、实施与使用，健全的模型验证过程，有效的模型治理框架。1 .鲁棒的模型开发、实施与使用首先,模型的开发过程与传统软件开发相一致,涉及编码、调试、测试、上线、运行等阶段。与传统软件项目管理一样，要确保模型的开发与需求保持一致，确保模型各个组件能够按预期工作，并全程注意文档管理，既要验证模型的准确性、鲁棒性、稳定性，还要评估模型自身存在的局限性；同时，模型的开发不只是一个直接的、常规的软件项目，模型建设是一个跨学科的混合产物，涉及计算机、数学、经济学、金融学、统计学等多个学科；模型建设本身除了传统的开发过程以外，还

10、包括庞大的数据工程，模型建设的大量工作体现在数据处理上，纯粹的模型开发工作量占比相对较低。其次，模型建设具有相当的主观性，非常依赖开发者本身的知识结构和工作经验。模型建设过程中的特征工程、模型验证、参数调优，乃至模型部署都需要大量的、超出传统软件项目的主观判断与决策，这种主观性大大提高了模型风险管理的复杂度与迫切性。在模型的建设过程中，还要注意以下几点。一是要特别注意合理评价模型自身的优缺点和局限性。算法的发展日新月异，算法的选择可能受限于技术的发展程度及决策者主观的知识结构，要对不同模型算法进行合理的评估和选择。例如，为了提供更好的算法可解释性，算法科学家更倾向于选择类似人脑思维的树类算法，

11、这可能是带有偏见和局限性的。二是要严格把控数据清洗的质量及特征选择的关联性,投入足够的精力做好数据清洗与特征工程，要注意数据与模型算法选择的一致性，即数据与模型要互相匹配。一般来说，模型的最终用户需要在模型开发过程中深度参与，充分贡献自己的业务洞察力。模型开发者要认识到，模型用户对模型的质疑通常都是有效的、建设性的。当然，模型用户也有其局限性：通常会更关注对绩效最有影响的一面，而忽略模型的其他方面；当他们认为模型的变更可能对其业务开展有不利影响时，他们可能会选择拒绝改变;他们认为模型风险不高的隐藏动机可能是当前模型的运行结果对其有利。此外，我们要认识到，模型是现实的不完美展现，所有的模型永远都

12、会具有不同程度的不确定性和不准确性，所以我们通常要采取相对“保守”的态度去使用模型。有些时候，甚至要在确保有其他模型或方法做补充或作增信的前提下才可使用该模型。当然，这种“保守”要适度，否则过犹不及。2 .健全的模型验证过程模型验证从概念上与一般的软件验证是一致的，即判断模型是否能按照预期执行并符合业务需求。所有的模型组件，包括输入、处理和输出(报告)，以及潜在的约束和假设，都需经过验证。模型验证的强度与模型使用的复杂与重要程度以及模型运营主体的规模密切相关。模型验证的手段通常包括鲁棒性验证、敏感性分析、压力测试、基准测试等。在模型验证过程中需要关注如下几个方面。(1)软件每次运行的结果都是一

13、样的，一般软件的验证通常在版本上线前进行一次即可。而模型每次运行的结果大概率都不一样，体现出机器学习的基本特征。所以模型在投产后仍需要不断地迭代与调优，这也就意味着模型在其生命周期内需要持续地进行验证。持续验证监测活动有助于确保模型风险敞口的相对稳定，避免因不能及时发现模型性能恶化导致作出错误的决策。有效的模型验证通过识别模型错误、修正模型或减少对模型输出的依赖、增加模型使用约束条件等手段来帮助降低模型风险。模型验证通常还要基于可接受的误差水平为模型边界设定阈值，并以此来界定模型的生命周期进程。从某种意义上说，模型的最终宿命即是验证后因不再符合初衷而被放弃。另外,模型在其生命周期某些时点的验证

14、结果，不应作为模型开发质量的唯一背书。(2)为避免利益纠葛，在资源允许的前提下，一般建议有第三方参与对模型的验证工作，即模型的验证可能不应只由模型的开发与使用人员进行。第三方应被鼓励且有权对模型提出有效质疑。如前文所述，所有验证参与人员都应有足够的知识与经验，其知识结构应包括模型开发与模型使用。当使用第三方的数据、参数值乃至算法模型时,要充分考虑到给模型验证及其他模型风险管理活动带来的新问题，应按照与内部模型相同的原则将其纳入模型风险管理框架，还要特别关注第三方数据使用带来的合规风险。(3)鉴于机器学习近年来日益成为显学，其理论框架与应用边界不断取得重大突破。对模型的验证还要考虑到其日新月异的

15、发展现状,模型实践要尽量与业界成熟的研究成果保持一致，特别当算法研究取得重大进展时，评估是否需要对模型进行有针对性的调整。(4)因人工智能目前所处阶段的大数据属性，要充分关注系统集成特别是数据采集的风险，要对模型的数据来源、数据清洗、算法执行等过程进行监控与变更审计，避免发生无意或恶意的篡改。(5)客观上，我们要充分认识到模型验证的复杂性，模型的训练集难以覆盖所有真实场景。基准测试是将给定模型的输出与其他内外部(通常是外部)模型的经验值进行比较。验证者应对模型输出与基准间的差异进行调查，判断此差异是否在预期范围内。差异并不一定意味着模型是错误的，也可能是由于使用了不同的数据源和算法产生的。与此

16、同时，我们还要谨慎解释模型与基准的过度匹配，避免出现类似“过拟合”的现象，获得虚假的“舒适”。召回测试也是模型验证中经常使用的一种方式，一般使用在模型开发中对未曾使用的历史样本进行测试。3 .有效的模型治理框架当前，随着模型对业务决策支撑作用的日益增强，各行董事会和高管层越来越意识到模型风险管理的重要性。模型管理一定会从以模型建设为主发展至模型建设与模型风险管理并重的阶段，并在未来逐步发展到在风险管理框架下进行模型建设的状态。从角色分工的角度看，模型风险管理的角色通常包括模型所有者、控制者、合规管理者。管理层要预判和解决他们之间潜在的利益冲突，明确其报告路径和激励机制。业务部门作为通常意义的模型所有者，建议内嵌模型风险管理职责，履行模型风控职能;模型控制者应有权限制模型的使用，并监督对模型使用限制的执行情况；合规管理者负责模型的监管合规管理。虽然业务条线通常会有自己的模型清单，但银行应为正在开发、已