2024大语言模型能力测评报告.docx

极客邦科技双数研究院InfoQ研夯中心大语言模型综合能力般一屈料枝或被确免除InfoQ研变中心大模型市场发展洞察2023年，全球大模型市场进入爆发阶段大模型爆发阶段2022-2023年大模型诞生阶段2017-2018年大模型探索阶段2019-2021年11.22谷雌出BERTRoBERTa 和 XLNet2022 1130 C)PenAI 推出 ChatGPT在爆发期，大数据、大算力和大算法完美结合， 态理解与多类型内容生成能力。了多模人发布MC)SS 2.2020232.7谷歌发布Ba成(应对ChatGPT 4.11阿里云发布通义干问 5月百度发布文心大模型3.5 5.6科大讯飞发布认知大模型 5.11谷歌更新Bard并推出PaLM 2侬 5.24微软宣布WindoWS系统全方 IiCopiIot在诞生阶段，以TranSformer为代表的全新神经网络架构，奠定了大模型的算法架构基础，使大模期术的性能得到了显著提升。2017 6.12谷歌推出用于处理自然语言任务的Transformer神经网络架构2018 6.11C)PenAI发布GPT-I在探索期，基于人类反馈的强化学习(RHLF)、代码预训练、指令微调等开始出现，被用于进一步提高推理能力和任务泛化。2019 3.16百度推出可以准确理解语义的ERNIE1.0 8.21OpenAI发布GPT-2并部分开源 10.11谷即推出BERT模型的两个新版本2020 11.5OPenA吸布12(X3#®版GPT-3微软基于ChatGPT发布NeWBing 2.25FaCeBook发布LLaMA-13B 3.14OPenAI发布GPT-4并实现图像识别 3.16百度发布文，A言3.17微软宣布将GPT-4接入OffiCe全家桶4.10昆仑万维发布天工3.52023年中央及地方政府积极制定政策鼓励和规范大模型产业发展2023年，中央及地方围绕基础设施、算法、算力、数据等领域出台多项政策，坚持发展和安全并重、促进创新和依法治理相结合的原则，鼓励和规范作为硬科技的Al大模型产业发展。序号时间文件名主要内容12023年7月生成式人工智能服务懿暂行办法明确了生成式人工智能“提供者“内容生产、数据保护、隐私安全等方面的法定司王及法律雁，确立了人工智能产品的安全评估规定及管理办法。22023年7月上海市推动人工智能大模型创新发展的若干措施推动上海大模型创新发展，营造通用人工智能创新生态，力瞅打造世界级人工智能产业集群。32023年8月电子信息制造业2023-2024年稳增长行动方案鼓励加大数据基础设施和人工智能基础设施建设，满足人工智能、大模型应用需求.42023年10月人形机器人创新发展指导意见到2025年，AOl器人创新体系初步建立，"大脑、小脑、肢体"等一批关键技术取得突破,确保核心部组件安全有效侬，开发基于人工智能大模型的人形机人"大脑"。5202评11月北京市人工智能行业大模型创新应用白皮书（2023年）从大模型全球发展态势、国内外行业应用概述、北京应用情况和发展建议等方面进行了系统分析和阐述，旨在进一步推动大模型应用落地，展示北京市大模型应用成果，促进大模型价值传播和供需对接。6202舜1月广东省关于加快建设通用人工智能产业创新引领地的实施意见22条铀打造国家通用人工智能产业创新引领地。72023年12月关于加快推进视听电子产业高质量发展的指导意见支持骨干企业做大做强，支持人工智能企业研发视听应用大模型.82023年12月“雌要数（2024202弹）（征期碉）以科学数据支持大模型开发，深入挖掘包含科技文献在内的各类科学数据，通过细粒度的知识抽取,构建科学知识资源底座，建设高质量语料稿库和基础科学数据集，支持开展通用人工智能大模型和垂直领域人工智能大模型训练。2023年下半年，中国百模大战掀开序幕2023年6月至2023年8月 6.14 360发布智脑大模型4.0 6.15百川智能发布开源BaichUan-7 B 6.25清华&智谱Al发布开源ChatGLM 2 7.7华为发布盘古3.0 7.7商汤科技发布商量2.0 7.9西湖心辰发布西湖大模型 7.19 Meta 发布开源 Llama 22023年10月至2023年12月 10.9月之暗面发布Kimi Chat 10.17百度发布文心大模型4.0 10.24科大讯飞发布星火大模型3 . 0 10.27智谱Al开源了ChatGLM 3等模型 10.30百川智能发布BaiChUan2-192 K 10.31阿里云发布通义千问2.0 11.7 OPenAl发布GPT-4 Turbo 11.16 OPP。发布 AndeSGPT 11.24零一万物发布开源Yi - 34 B 12.22腾讯发布混元大模型标准版多模态.长文本、逻辑能力加强2023年8月至2023年10月 8.3阿里云推出开源QWen-7B 8.7元象科技发布开源XVERSE-13B 8.11小米发布大模型MiLM 8.17字节跳动公测大模型产品豆包 8.21云从科技发布从容大模型L5 9.5商汤科技发布商量3.0 9.6百川智能发布开源BaiChUan2 9.7腾讯发布混元助手 9.20上海人工智能实验室发布开源ImernLM-20B 9.25OPenAl发布多模态GPT-4V文本理解和逻辑能力提升、具备初级代码生成、跨模态能力从头部企业到百模家族，大模型井喷式爆发增长游戏电商IJli*三BAAI费YM能源制造I社交文娱eL*¾阅文集团*<<47IIMM8?IMyoudao及的一7nHIMMMOAil些年为云=d"n9AlSIiCMfiewI传媒影视立叼iCl中文在魏色穿黑HBC数据来源：InfoQ研究中心'根据E官网、媒体资讯等公开资料踊在法规的指导下，部分产品开始持证上岗百度、阿里、腾讯、智谱AI、百川智能等多家企业和机构，按照互联网信息服务算法推荐管理规定履行算法备案和变更、注销备案手续,获得备案批准，对公众全面开放，标志着大模型发展进入新阶段,加速推动大模型产业化应用。截止到2023年12月31日，已有两批超过20个大模型获得备案，面向公众开放。应用范围涵盖自然语言处理、图像识别、语音识别等多个领域，可应用于金融、医疗、教育等各个领域。批次模型名称所属企业第TttABAB大模型MiniMax百川大眦百川智能混元大模型腾讯GLM智谱AI盘古大模型华为日日新大模型商汤书钿用大模型上海人工智能实验室通义大模型阿里文心一意百度星火大邮云雀大模型抖音中科院说明：表格内大模型排序按照大模型名字拼音首字母进行排序批次模型名称所属企业第二批百灵大模型蚂蚁集团MathGPT好未来Moonshot月之暗面面壁露卡LUCa面壁智能奇元大模型360天工大模型昆仑万维WPSAI金山办公序列猴子出门问问子日大模型网易有道知海图AI模型知乎美团InfoQ研充中心2023年，中国大模型产品从通用产品向多行业拓展2023年公布的中国大模型产品中,84.57%的大模型产品为非通用行业模型。其中工商业经济、教育医疗占比均高于通用模型占比。数据结果统计显示中国大模型产品发布时间集中于Q2和Q3,占比达全年的80.32%。2023年中国通用大模型和行业应用产品统计商娱济20.74%教育医疗18.09%通用 15.43%工业制造9.57%生活消费9.04%传媒&营销6.91%公共事务6.91%信息&安全6.91%其他3.72%文化娱乐2.66%数据来源：根据公开资料搜集的中国188个大模型&产品统计得出2023年中国主要大模型发布时间统计2023年，模型层百花齐放，并逐渐开始应用探索江厂商服务商Ml HUAWEl ：盘古Asks 放r-n 通义I文心&FL料I星河 JD.COM I 富犀IZW*CTtttl混兀22 I鸿湖Jli IBaichuan科技公司I WtMIW I赶仅加枪mspurn 源1.0八”照 I孟子intflWlin ft X * *I无HMNMAX ff>V基粒模型S维I日日新A r IbflI颐O I智脑0从容的EI玉吉Ifl « IChatGLMM I山海门出门问问I 筋喉子研究机构tiR I PoIyLMidea二峥mossJAAI悟道X I蜗就IE)a.7 W I天河天元ChatBot。文曲B6O885IBaichuan-ChatChatJD豆包MCSS及SenseChat工天工>kimichat«智谱清言(?知海国Chat1>+培刚E田IJWPSAl7可打首艇助手尊MyAI客服营销CcMcta淘宝问问思涌Al代码CBaiducomateOCMEFKeS。1京遢义灵码U其他0文曲TSQ对金鬲增肯励手工场JHWmHiEcho如影V>三X三忘遢义仁深容医疗智能多模态科研平台(IRMlB作f戏电商_日JlI窗色大霰*阅文妙笔尢鲤1mX*三zDB文心传媒/影视行业大模型教育山港，011三b星辰教育大模型：子日J教：OWRC*S三AMI仓预汽车大模型金融文心金融行心处想金融人蚁睡文因金女模AntFinGLM型FD-LLMMFRML9Mfl能造文心能源/制造行业大模型a三r山大盘古矿山大模型ISvnTiuo(4lB)其他文心幽和城色展程同宣市,雪聚Ik科神飞首销大模型小里盘古气妣鲤白玉兰科学大模型1.0盘古跨境电商大模型玉言游戏行业大模型.SooaI(7T文曲大模型盘古媒体大模型£等DriveGpt三t三xm-AtmoTO三WXW三盘古;铸大侬叮当HeaithGPTDoctorGLM星火医疗大模型ChatLaw法律大模型LJUul