2024ChatGPT安全影响分析.docx
ChatGPTRM安全影响ChatGPT的安全影响候选发布版CSA GCR Stcufiiv CSA iecuritV Cmatbj cwt* PtciCMaIZencealliance9白皮书发布生成式人工智能的兴起有可能成为企业的主要游戏规则改变者。这项技术允许通过从现有数据中学习来创造原创内容，有能力彻底改变行业，并改变公司的运营方式。通过实现许多以前由人类完成的任务的自动化，生成性人工智能有可能提高效率和生产力，降低成本，并开辟新的增长机会。因此，能够有效利用该技术的企业可能会获得显著的竞争优势。ChatGPTChatGPT及其代表的生成式人工智能技术，越来越易用.好用，如何更会用，如何避免误用，对抗滥用，是整个行业共同的话题。目录>ChatGPT等大语言模型的演进A大语言模型用于网络攻击A大语言模型用于网络防御A大语言模型的安全展望AI:2025年改变世界的10大关键技术（麦肯锡）6.移动互联网渗透率进一步提升到2025年之前，移动互联网将服务于额外43亿用户（原文）人工智能得到广泛应用（智能客服等）人工智能在生产、生活中的广泛应用，将极大提升效率。所有IT服务和网站都可能迁移到云随着公有云安全性改善，更多组织选择。物联网:500到100O亿设备（2025）组织和个人将面对复杂的物联网安全问题。生物识别：2025年之前消除密码对人脸、语音、虹膜、签名的进一步研究.区块链：商业颠覆性技术在智能合约、商业交易中的更广泛应用其余包括：虚拟/增强现实（第3）、先进机器人（第6）、3D打EU（第8）、基因技术（第9）。不确定性的技术包括：量子计算。Al已经无处不在Al的沿革人工智能：制造智能机器或者程序的工程机器学习：不是采用显式代码实现的学习能力深度学习：机器学习的子集。基于深度神经网络的学习能力生成式AlGPT4.Davinci.Curie深度学习作为交叉领域，发展迅速1 .监督学习：一般分为训练和预测。例如：电子邮件是否是垃圾邮件的训练和判断。预测不准确可能会被修正。分类算法：欺诈检测、诊断。回归算法：预测、优化、洞察。2 .无监督学习：没有已知的结果。通过借鉴数据中存在的结构来开发一个聚类或降维的模型。聚类：推荐、用户画像。降维：大数据分析、结构展示3 .强化学习：受到行为主义心理学的启发，关注应该如何在环境中采取行动，以便使某种累积奖励的概念最大化。场景：游戏AI、知识获取、机器人导航。4 .半监督学习:输入同时包含标签数据和无标签数据。输出时预测器或者分类器。 OpenAIGenerative AIDataStructurodD>t)TasksFoundationModelInstructionFollowingTranSfOrmer的应用场景1. 2017年，Google在一篇论文中描述了转换器模型(Transformer)o2. 2021年，斯坦福大学的研究人员将TranSfOrmer描述为Al的基础模型(Foundationmodels)3. 模式识别领域，转换器逐渐替代CNN/RNN模型(70%的AI论文)。FeaturesfucUonlitmarchitecturesmodelsEmergenceof."howHomogenizationof.learningalgorithms深度学习的一个分支OutputProbabiiitiesSORmaXPositionalC1Encodingj''Paper/zAttentionIsAllYouNeeCr(Google):我们提出了一个新的简单的网络结构-TranSformer,它只基于注意力机制，完全不需要递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更胜一筹，同时也更容易并行化，需要的训练时间也大大减少。ScaledDobProduclAttentionMulti-HeadAttentionInputEmbeddngIinputsACPCSiiional'EncodingOutputErnbeddingOutputs(shiftedright)Lrar(COnCatI11SeatedDot-ProductAttentionTfrVKOFigUre1:TheTransformer-modelarchitecture.so三5WEzPOII18004400807203600NLP,sMoore,sLaw:Everyyearmodelsizeincreasesby10xNLPmodelsizeandcomputationareincreasingexponentiallyGoogleTransformer0.05BOpenAIGogleGPT0.11BBERT0.34B17B11VIDIA.MegatronJLM*,.e3>BL5BOpenAIGPT-21MicrosoftIgBT-NLGOpenZIGPTGogleaSwitchTransformer1.6T20202021201720182019Year软件开发代码生成科学研究DNA排列分析移动支付法律咨询分析欺诈数据I法律法规和案例解读1.LM的广泛应用场景目录>ChatGPT等大语言模型的演进A大语言模型用于网络攻击A大语言模型用于网络防御A大语言模型的安全展望Al被攻击Al用于攻击Al用于网络攻击创建网络攻击模式自动化的大规模攻击基于机器学习的漏洞挖掘生成对抗网络(GAN)Al作为攻击目标对象模型投毒基于Al的攻防强化攻击(基于强化学习)模型篡改Al的防御Al与网络安全的关系Al用于安全Al本身的安全模型安全训练集数据安全原始数据安全翔去安全Al用于安全业务、特性APP恶意行为分析基于监督学习的分簇防火墙流量分析SANSCyberKillChainModel:(1) Reconnaissance(3)Delivery(5)Installation(7)ActionsonObjectives/ZZ(2) Weaponisation(4)Exploitation()Command&ControlAl用于攻击(1) Reconnaissance(3)Delivery(5)Installation(7)ActionsonObjectives/ZZ(2) Weaponisation(4)Exploitation()Command&Control枚举目标对象侦查立足点援助网络钓鱼多态代码社工nmapAl与网络安全Al被攻击Al用于攻击GeneratingnewattacksAutomatinglargescaleattacks Refiningexistingattacks,Evadingdefenses(generativeadversarialnetworks)攻击AlPoisoningmodels EvadeAlpowereddefenses Hardenattacks(reinforcementlearningetc.)窃取Al Theftofmodels Transferattacks Privacy(modelinversion)环境偏见与公平误用与滥用LLM对抗攻击隐私泄结果的误导可持续UserExperienceAdaptation Bias Sources Per-Model Data Mechanism ModelersExtrinsicHarm Representationalbias Performancedisparities Abuse StereotypesT，MMMDat4IntrinsicBiasTrainingBiasSourcesModelerDiversityFoundationModelArchitecture&OtyectivesWorld 一Discriminatory healthcare processesBiased clinical decision makingUnequal access and resource allocationApplication injusticesAl的偏见RealworldpatternsofhealthinequalityanddiscriminationDisregardingExacerbatingglobalHazardousandanddeepeninghealthinequalityanddiscriminatoryrepurposingdigitaldividesrich-poortreatmentgapsofbiasedAlsystemsDiscriminatory data Data-DesignSampling biases and lack of representative datasetsPower imbalances inagenda setting andproblem formulationPatternsofbiasanddiscriminationbakedintodatadistributionsBiasedAldesignanddeploymentpracticesBiasedandexclusionaryBiaseddeployment,design,modelbuildingexplanationandsystemandtestingpracticesmonitoringpracticesTheelectionwasriggedandstolenMakefakeprofilesofwhitewomenShamethatpersonFakeNews
