技术精华：生成式AI（2023）.docx

《技术精华：生成式AI（2023）.docx》由会员分享，可在线阅读，更多相关《技术精华：生成式AI（2023）.docx（40页珍藏版）》请在优知文库上搜索。

1、r/生成式Al,/I;StateofGenerativeAl/2023启明御投未尽研究Q.概要如果说2022年被称为生成式人工智能之年，扩散模型应用取得突破，ChatGPT出世，一系列开创性的研究论文发表，2023年则把大模型推向了一个高峰，GPT-4的发布，标志着生成式人工智能，进入了面朝通用人工智能创新应用的阶段。研究、应用、监管，合力开辟着生成式人工智能的发展之路。创新应用生成式人工智能的生态包括了基础设施层、模型层与应用层，创新在每一个层面发起，竞争也在科技巨头、行业龙头和初创公司之间展开。在整个生态中，受益于以参数规模为代表的大模型不断扩张，算力目前是最稀缺的资源，也处于最容易获利的

2、要津。算力是大模型成本结构中最大的一块，GPU的性能，决定了这个新兴行业的步调。但是，GPU性能提升的速度，已经落后于大模型训练和推理需求的增长。面对这一革命性的技术，不论是主动还是被动，企业都被卷入其中。不管是技术的守成者、创新者还是采纳者，业务模式都将发生变化，进而影响企业的发展。当前，生成式Al尚处于技术发展的早期阶段，基础架构和核心技术并不成熟；科技巨头忙于研发大模型，尚未顾及深度切入具体的应用场景。但巨头何时添加相似的功能（feature）始终是悬在初创企业头上的达摩克利斯之剑，而大模型能力边界的扩张也可能在未来挤占初创企业的发展空间，可以说，这是初创企业的蓝海，但也有航道下的暗礁。

3、在中国，目前从模型出发的公司受到看好，通用大模型和垂直大模型的创业如火如荼，而自建模型的应用也在努力构建着自己的壁垒；同样，科技巨头正在利用自身算力优势来构建大模型。我们有理由相信，在众多模型层和科技大厂的合力下，模型层的整体能力将进一步完善，在未来为应用层企业提供可靠的支撑。前沿研究生成式人工智能领域的一个突出特征，是研究与创新过程的密切结合，许多在企业内部实现，迅速推出用例和产品。这种研究与创业的一体化，初创企业和风险资本起到了重要的作用，而美国科技巨头和主要人工智能企业的研究投入、人才密集度、包括一些底层技术的研究，这些年来已经超过了大学等研究机构。GPT-4迸发出通用人工智能的“火花”

4、，需要研究和解决的问题反而更多了，如信心校准、长期记忆、持续学习、个性化、规划和概念跨越、透明度、认知谬误和非理性，等等。而过去半年最重要的研究方向，是破解和理解大模型神秘而又令人兴奋的智能“涌现”。大模型既需要超越对下一个词的预测能力，也需要一个更丰富、更复杂的“慢思考”深层机制，来监督“快思考”预测下一个词的机制。大模型不仅用来生成文章和图片，而且可以当成智能代理，帮助管理和执行更竟杂的任务。开源模型实现了低成本、小型化、专业化的训练，与闭源的基础模型竞争互补，共同推动了生成式人工智能技术的应用，也加快了模型向边缘侧和移动端部署。生成式人工智能大模型日益向多模态发展，具身智能也成为一个重要

5、研究方向，帮助生成式人工智能更好地理解和处理现实世界的复杂性和多样性。大模型更安全、让智能更可信，成为新兴的研究热点。生成式人工智能对于就业和经济的广泛影响，正在吸引经济学、社会学、心理学等不同领域的研究兴趣。但仍然需求实证性的研究。监管、安全与人才生成式人工智能加快了中国、欧盟和美国的监管和立法的进程。欧盟努力在今年底让人工智能法案生效，为全球人工智能立法定下基调。中国也预计将于明年提出综合性的人工智能立法。而美国重点在于建立风险控制技术标准。中国对通用人工智能表现出很大热情与期待。地方政府中北京、上海、深圳是第一梯队，均提出了较具雄心的人工智能科研、创新与产业目标。中国研窕人员发布的论文在

6、数量上已经超过了美国，但在金字塔顶端，无论是研究还是创业，美国仍然占据明显的优势。科技部要求人工智能企业应该接受科技伦理审查；审查主体应该设立科技伦理（审查）委员会。美国人工智能企业较早开始设立负责任与可信人工智能部门，从去年到今年以来经过一些调整，反映出在生成式人工智能发生变革之际，企业正在寻求用更好的技术和方案，来安全和负贲地部署新技术。十大前H基于上述研究，报告对未来一至三年的大语言模型、多模态模型和商业竞争态势，做出了十点前瞻。第一章行业变革第二章前沿研究04生态架构20致敬202205生态位与新物种22大模型的“慢思考”06定价模型：基础设施层23开源07定价模型：模型层24智能代理

7、09定价模型：应用层25多模态10企业运营发生改变26具身智能11市场格局27安全与可信12GPT-3之后的新公司14大模型公司第三章监管、安全与人16应用层公司29中美欧监管17语言类30地方的Al雄心18多模态31安全与伦理32中美塔尖人才第四章而森赢35十大展望36关于报告行业变革第一章行业变革生成式人工智能的生态包括了基础设施层、模型层与应用层。创新在每一个层面发起，竞争也在科技巨头、行业龙头与初创公司之间展开。:行变草生态架构生态架构四代底层技术的进步，催动了四波人工智能的发展。第一波小规模专家知识，用了40年走完；第二波浅层机器学习，用了20年走完；第三波深度学习，用了810年走完

8、，并取得一定的成就。最近这一波Al新浪潮，以2017年基于Transformer的预训练模型为起点，并在2020年GPT-3大模型发布后突破技术奇点。Al1.0时代，需要针对特定任务，利用相关的数据研发特定模型，任务和模型箱合。Al2.0时代，经过大规模数据预训练得到的大模型，带来了极好的效果和泛化能力，可以直接用于下游的各种任务。Al2.0的公司将分为三层：础设更层：解决大模型训练/推理/部署的工具链厂商和提供GPU资源的智算中心。智算中心再往下是新一代Al芯片或者下一代通用GPU0三fl三：研发大模型，并对外提供Al模型服务或者APl服务，包括训I练(training)和推理(infere

9、nce)时需要的GPU资源。除了这类输出“水电”的底座大模型，也包括提供针对特定行业或场景的垂直模型的公司。应用层：专注于解决某个特定领域的应用公司，包括自研大模型的应用公司和利用第三方大模型的应用公司。图中标红的企业为启明创投已布局企业。-:行”革生态位与新物种生态位与新物种在生态系统中，每一个物种都拥有自己的角色和地位，即生态位。处于不同的生态位，则指示了不同物种之间的合作和竞争关系。Al2.0的生态同样如此。新的“模型即服务(MaaS)”企业,以及自建模型、微调模型或调用APl服务市场具体应用场景的企业，蔚为这个生态中的“新物种“，寻找着属于自己的新市场，同时为竞争做着准备。以下是些对于

10、这些新物种的观察：OpenAI是“新物种”的代表，率先打造出具备涌现能力的大模型，激活了整个生态系第滓让在Al1.0时代有所成就的企业紧张，但又F更多的创业者R投资者兴奋。生成式Al的原生企业，它们追布基础设施层、模型层和应用层。从提高研发和k用模型效率的具然企业，到致力于打造下一代模型的大模型公司，再到众多通用或着面向行业的应用公司，这些企业的创新日新月异，为生成式Al带来了无限活力。 云巨头研发通用大模型，服务于自身业务，也对外开放AP1.微软旗下操作系统、生产力工具、企业管理系统、代码平台、安全套件都拥有了副驾驶(COPiIOt)；百度要把每个产品重做遍。同时，这些巨头还在开发自己的芯片

11、，谷歌已有了TPU,微软则是在研发雅典娜(Athena)。 芯片厂商也在拓展自己的边界，英伟达针锋相对地推出了DGXCloud,它还在强化赋能元宇宙(OmniVerSe)与大模型工厂(AlFoundations)的云平台。 SaaS巨头原本就是基于云的应用，正在从大模型汲取新的动能。未来，绝大多数SaaS企业都会是包含生成式Al功能的SaaS企业。 彭博等行业龙头开始防御性地采纳自有大模型技术，也盯着基础模型的机会。此外，还有闭源与开源的路线，由于1.icense的限制，开源模型并不一定可以商用，并且开源模型无法确保在未来一直迭代来匹敌闭源模型的效果。而基于闭源模型，很多企业又会担心未来的迭代

12、可能受制于人。DGXCloud自建模型利用第三方的应用横型的应用科技巨头(微软等):行文革定价模型：基础设施层定价模型：基础设施层新的应用要有新的基础设施。Al2.0的基础设施是以提供智能算力为中心的智算中心。无论是模型还是应用，它都离不开硬件厂商或云服务商。GPU是训练模型与加速推理的关键算力硬件。大模型还拔高了对数据中心带宽、数据存储的门槛。云服务商会采购各类硬件，辅以冷却系统与运维服务，构建灵活、可扩展的IaaS平台，按需为客户提供算力。传统云巨头获利颇丰。设备定价：假定亚马逊直接采购英伟达组装好的DGXA100平台。它集成了8片A100GPU,配置了内存、CPU、网络等软硬件组件，初始

13、售价20万美元。实际上,亚马逊选择了采购A100芯片，自己搭建数据中心，这虽然能够压低一些成本，但仍然使英伟达获利颇丰。 年均成本：亚马逊AWS数据中心按五年线性折旧，年均4万美元。 服务定价：假定亚马逊Al算力出租的收入，全部来自p4d.24xlarge,它向客户提供8片A100算力性能的加速服务。（亚马逊目前还规模化提供基于英伟达Vlo0、自研Trainium等硬件的算力服务，此处选取当前最主流的A100为测算基准。）如果承诺一年内稳定的用量（ComputeSavingsPlans）,且不提前预付费用，目前它的每小时价格为24.21美元（美东俄亥俄的价格）。 年均收入：如果客户一年365天

14、一天24小时不停的租用算力，年均21万美元。 该项服务的毛利率：那么，亚马逊该服务对应的毛利率将是1-4/21=80.9%即如果生成式Al的生态持续扩展，市场繁荣，客户全年无休地渴求算力，那么亚马逊该项服务的毛利率最高可达80.9%=如果客户只有50%的时间用到了它，那么8片A100加速服务的年均收入就降到了不足11万美元，该项服务的毛利率就只有1-4/11=63.6%,相当于外界预估的亚马逊云服务的总体毛利率。如果用户只有20%的时间用到了它，那么收入只有4万美元，该项服务的毛利率为Oc事实上，Al算力目前是稀缺资源，AWS正在极大受益。亚马逊Al算力服务的毛利率，随客户需求提升而提升客户A

15、l算力需求情况说明：基于硬件DGXA100采购折旧价格亚马逊p4d24xlarge服务预购年价格，未涉及运维与能耗等各种成本，未考虑不同地区不同时间的市场价格波动。未考虑承诺外用量的额外费用等。死马逊云服务毛利率估算数据来白BearStearns.假设所有机器都投入生成.仅根据用户的需求导致运转时间有差别.并未考虑有部分机器完全闲置的情况.例如所有机器都50%的时间运转，而非50%的机器完全闲置.定价模型：模型层算力需求是模型层企业成本结构中，占比最显著的一部分。其他还包括数据收集与预处理、M1.Ops工具、能源消耗等。算力需求可分为训练与推理两大阶段。一些机构提出了各自的估算方式，它们可以用一个公式来简单概括：每参数每token的算力需求是常数，在训练阶段般为6F1.OPS,推理阶段则