计算机行业“智能网联”系列报告26：GPT大模型多模态应用展望-20230312-中信证券-43页正式版.docx

《计算机行业“智能网联”系列报告26：GPT大模型多模态应用展望-20230312-中信证券-43页正式版.docx》由会员分享，可在线阅读，更多相关《计算机行业“智能网联”系列报告26：GPT大模型多模态应用展望-20230312-中信证券-43页正式版.docx（68页珍藏版）》请在优知文库上搜索。

1、e中信证券CITICSECURITIES计算机行业“智能网联”系列报告26GPTj夫横型号横本应甬雇童杨泽原/丁奇/潘儒琛/李康桥中信证券研究部计算机组2023年3月12日请务必阅读末页的免责条款和声明核心观点e中信证券CITICSECURITIES ChatGPT通过大模型突破Al瓶颈，GPT4多模态应用带动商业化加速。AChatGPT凭借大算力、大规模数据训练、基于人类知识的强化学习等方式突破AI技术瓶颈，获得超预期的用户体验效果与市场反响。回顾GPT系列模型演进，GPT-1结合无监督预训练与有监督微调过程，GPT-2突出零样本设定，GPT-3强调上下文学习能力，参数量、训练数据量不断提升

2、。我们预计即将推出的GPT-4或支持多模态应用，开启通往人工通用智能（AGi）之路，并有望控制训练成本，降低使用门槛。目前，ChatGPT已在C端推出ChatGPTPlus订阅计划，B端开放ChatGPTAPI,且成本降低为0.002美金/WOOtoken,海外多个应用率先接入。我们预计在GPT-4带动下，未来大模型以及多模态模型的商业化应用将进一步加速，带动行业景气度持续向上。 TranSfOrmer架构支撑GPT走向多模态，构筑AlGC领域核心基石。GPT系列模型使用Transformer架构，当前基于Transformer的多模态研究为Al领域研究热点，Transformer已开始打破N

3、LP与CV领域壁垒，有望支撑GPT系列模型走向多模态应用，构筑AIGC领域核心能力基石。我们梳理出GPT的潜在基础能力包括文本生成（分析）、代码生成、对话交互、机器翻译、图像生成、视频生成等。我们认为，前述基础能力将支撑GPT系列模型在通用与垂直领域的应用，典型应用场景如：通用领域一搜索引擎/办公软件，垂直领域一教育/金融/医疗/图像视频等。通用与垂直场景多点开花，GPT变革内容生成与交互方式。“GPT有望革新各行各业的内容生成与交互方式。基于GPT+文本&代码&对话&翻译&图像&视频，我们看好GPT类技术未来在通用与垂直场景的应用空间。例如，搜索引擎结合GPT将重塑搜索结果呈现方式，多模态的

4、引入带来一站式的文本、图像、视频汇集结果，将大为提升用户信息收集效率，百度文心一言有望引领用户搜索体验的代际变革；在办公软件领域，金山WPS、福昕PDF未来若结合多模态GPT,有望深化用户在流程/事务/知识/创意/协作型等多类工作事项上的智能办公体验，同时支撑产品打开客单价提升空间；讯飞将以Al学习机率先落地类ChatGPT技术，有望在作文辅导、口语学习方面实现跃升；当虹科技具有视频Al建模能力、落地AlGC相关技术，GPT赋能下或进一步深化传媒、安全领域应用。投资策略：伴随成本下降以及多模态的持续演进，GPT等大模型有望构筑AlGC核心基石，推动Al商业化进程加速和市场天花板打开。建议持续关

5、注相关领域的Al公司：1）应用层：Al+行业：办公一金山办公、福昕软件，教育一科大讯飞，金融一同花顺、东方财富，医疗一创业慧康、卫宁健康，图像视频一商汤科技、当虹科技、云从科技、格灵深瞳、创新奇智、虹软科技、魅视科技，其他-拓尔思、汉王科技、海天瑞声等；2）基础设施层：海光信息、景嘉微、寒武纪、浪潮信息、工业富联、中科曙光等。风险提示：Al核心技术发展不及预期风险；科技领域政策监督收紧风险；企业数据安全风险；信息安全风险；行业竞争加剧风险。e中信证券CmCSCCURrnES目录1 .ChatGPT通过大模型突破Al瓶颈，GPT4多模态应用带动商业化加速2 .TranSfOrmer架构支撑GPT

6、走向多模态，构筑AlGC领域核心基石3 .通用与垂直场景多点开花，GPT变革内容生成与交互方式4 .投资策略5 .风险提示1.ChatGPT通过大模型突破Al瓶颈，GPT-4多模态应用带动商业化加速11概述：ChatGPT为NLP下的Al大模型，性能和使用体验超预期0 ChatGPT是自然语言处理(NLP)下的Al大模型，通过大算力、大规模训练数据突破Al瓶颈。2022年11月，OPenAl推出ChatGPT,ChatGPT基于GPT3.5,使用人类反馈强化学习技术，将人类偏好作为奖励信号并微调模型，实现有逻辑的对话能力。 ChatGPT本质上是通过超大的统计语言模型，对词语序列的概率分布进行

7、建模，利用上下文信息预测后续词语出现的概率分布，其表现的超预期反映了在算力水平提升的情况下大语言模型技术路线的成功，通过对大规模的未标注的文本数据进行训练，突破了Al发展的技术瓶颈。根据瞭望新闻周刊报道，OpenAI为了让ChatGPT的语言合成结果更自然流畅，使用了45TB的数据、近1万亿个单词来训练模型，训练一次的成本高达千万美元，一个月的运营成本需要数百万美CChatGPT帮助用户给邻居写信debughelp me w4e a short rate to introduce rnysetf to ry nc3b0rlis Cse S no WorkE like I expect - bo

8、w do I fix It?HtraMy nafe is (Ybur Name* an I just med 1 next door. I wanted to rcad OJt and GtrCQM mf%fi fm lookIng ftwAr1 to gHting to krow you Sd the fw)htXMood If you v* nod antmg or g want t CtuL plas dont huut to slop by or gtv m acaiBeatf Hrw)can yo make it w*e former?r*ul*f*9skrfrr ： kdfr cl

9、o( Mltoxfr)90 fwnc()(dfr cncl()r*ulWorketCxx b. rultWork(ct)()n ： b.worker(ctx)eancl()f n EI rtwm - zultnot*xCr)“turn Mltxrox. Aopnd (tt, IMarhteiQhbof.，am WrWng to ltrodb mylf. My CdHte (YlMK Nanw ana I Mv rcuy tca m rmt CkMr I WAntMl Ina rrowtf tn re more information about Whatthe code b supposed

10、to do and Wtmtisnl working as expected? AHo.s this te entire code or just a part of It?资料来源：OPenAl官网资料来源：OPenAl官网中信证券ClTlC SECURITIESIJ概述：OPenAl倾力打造ChatGPT,获得微软有力加持 ChatGPT出自美国Al创业公司OpenAI,是Al大模型领域的领军者。OpenAI在2015年由SamAltmanPeterThieLReidHoffmanvElonMUSk等人创办。公司成立之初，即确定了包括制造“通用”机器人和使用自然语言的聊天机器人的发展目标。

11、2019年，OpenAI获得来自微软的10亿美元投资，为Azure云端平台服务开发Al技术。2018年起，OPenAl开始发布GPT(GenerativePre-trainedTransformer)模型，2020年发布GPT-3,可以完成答题、写论文、代码生成等任务，被视为人工智能竞赛的里程碑事件，并直至ChatGPT的推出引起Al的热潮。 除了NLP领域，OpenAI还在多模态领域取得成就，包括发布了Al图像生成器DALL-E2,对音频转录编辑器DescriptxAl笔记应用Mem等进行投资。OpenAI发展历程OpenAI成立，马斯克等人参与发布ProximalPolicyOptimiz

12、ation算法发布GPT-2,获微软10亿美元投资研究从文本创建图像神经网络DALL-E展的主要目标，发布第一个项目OpenAIGymBeta发布GPT-1发布GPT-3,开放人工智能应用程序接口发布人工智能系统DALLE2与ChatGPT资料来源：OPenAl官网，中信证券研究部1.2演变：GPT1-无监督预训练+有监督微调中信证券ClTlCSECURITIES GPT1发布于2018年6月，参数量达117亿，预训练数据量约5GB。GPT1包含预训练和微调两个阶段，考虑到自然语言处理任务中有标签的语料少，GPT-1先在大量的无标签数据上训练语言模型，然后在下游具体任务（如分类、常识推理、自然

13、语言推理等）的有标签数据集上进行微调。1）在无监督训练中，GPT-1采用TranSfOrmer的架构，即标准的语言模型的目标函数，通过前面的词预测后面的词；2）在有监督训练中，采用标准的分类目标函数，仅需对第一阶段预训练的语言模型做出很小的结构改变，即可应用于各种下游任务。GPT-1包含预训练和微调两个训练阶段 GPT-1使用了BOokSCorPUS数据集来训练语言模型，其中有7000余本未出版的书籍。具体表现上，在有监督学习的12项任务中，GPT-1在其中9项上的表现优于专门训练的受监督模型。GPT-1在自然语言推理任务、问答和常识推理任务中的表现货科来源：improvingLanguageUnaerstanamgoygenerativerre-raining(AleCHactorckKann6厢SSlmnan、msaiimans寺JMNLImMNUmnSNLISdTatIQNLIRTEESlM*ELSto44SllSM99.9S60MethodSlofyCkvcRACEmRACFhRACEvalLSkip(5576