AI端侧深度报告之AI手机2024:受益端侧智能体落地驱动人机交互新范式.docx
《AI端侧深度报告之AI手机2024:受益端侧智能体落地驱动人机交互新范式.docx》由会员分享,可在线阅读,更多相关《AI端侧深度报告之AI手机2024:受益端侧智能体落地驱动人机交互新范式.docx(17页珍藏版)》请在优知文库上搜索。
1、混合I架构技伍在终据制运柠l),拢够在全球范围内带来成本.能耗、住能、E2和、安全和小性化优势.1. 成本.除着生成式的Al模型使用量和复杂性不断增长.仅在云就进什推理并不划算因数据中心的基以汉达成本,包括硬件、场兔、里托、运营、瓶外帝宽和网播传物的成本将持续增和.根据高通测算.收至2023年5月.于GPT的生成式Al技东的成本是传统拽女方法的10.从云茹非移科边境终端,可以发时云基地谈够压力并或少开支,节由成本将成为生成式Al生态的点要一环.2. 凭色支持高近Al处理的终笳能够抿供领先的能近。边缘终端粕够以很低的能托运柠生成式Al渡型,尤其是骆处理和我提传他相结合时.与云规柏比,这一能托成本
2、幺异非常相显。3. 巧拿出、ttftH-A.在正台Al架构中.终端他AI处理十分可*.能,处在云“务需和网电连接拥堵计,提供较为可病的性粕.同时,混合Al架构中终观物具有可用性的优劣,让用户无论身处何处.依然祀修正常运行.4. 3力和和安全终端1Al有助于保护用户聘私,因为查询记录和个人信息完全保例在玲咕上.无论对于企生工作场景还是消费力使用场最,不用向云例仪器保宏信息,成券外人数据和模型衣栽在堤州的安全.5. 个性化.Al幼子能够在不朽牲隐私的情况下,根据用户的表情.耳好和个性进行定制,所彩成的用户自俅他够从实行行为、价值现、病点、需求、餐总和问超不方面来为M户考虑,异口可以随行叶间拉移遗行
3、学习和茂遗.可用于用松和打选定制化的生成式Al提示,然后在终端M.松云蔚进行虻理,用户自律保留在珞站内,因此可以遇过终端翎学习不断优化和更新.根据任杀大小/臭型不同,玳云混合架构有三料不同的负般机制混合Al架构可以根据模型和支询/求的艮出度哥因病,透抒不同的方式在云院和终笳之间分配处理贪.机也高通的诧台AI是Al的卡来报告.泥台Al架构一版分为三种方氏:以终娓为中心的混合N、以于终薪感知的混合N、终端与云埼俗同处理的混合A1.1)以华端为中心的需合Al在此架的下,终院将充当用力核心,云埼仅用来处理终赛无法执行的任务,许多任务不含要复杂与理,可以在终达上充分运行.比如创作出律长也单邺件,快速响应
4、的代先火史再,即使泡成度梢右损失也不太影响用户体脸。终就值Al的低是迟反情可以让用户使用改选的提示.枭快退选代物理it,力.至茯得舄隹的脩出结果.2)A于性H8的通含Al在此架构下.边缚他运行的模型将充营云用大语3模型(类似大8)的传感鉴输入(关似眼M和耳弟)。以语音问密矣任务为例,Kji戏分配方式如下:a) 用户对首位手机发出复杂/音河堰.手机上的语音炽别类模型(小梗型)将在第仰执行.将专克风技生到的活音信号识别为文字,然后将其作为请求发送到云埼.b) 云据运行大活言模型大模型)理斛问M畀生成文字诃袅,再将该国复发团终端。O终西运柠文本生成语音蝶型(小模型),将文本转为话音答。希话-3识别加
5、文本生成活a这夷工作员戏转移至终班执行.能有效节由云始计算成本和前五资i.畀且随我大模型向多模态进展,手机茹亦可执行计总机视.觉处理,汶疗更多矣型的任务。这种工作货我板人未来在隐秘保护方面也可择到加我。僭幼手机上用户的使用习惯和货梃沉沈,如社交媒体、电子蜘件、消息、H历寻.躅他Al桥胞更懂用户,机券用户情况提供更有针对M的吸务.并且循OIAl能够读上仿护栏.以防止“AI幻觉”。rp.广沱的升算任务“系1.TUtttrtGPU也倏冷冷臭任务NPU加速冲经弼络达“*u执行多样假任务方面有关沿性.但特4城不够再效执行并行任务比电,他柠*(序任务效毕低.高精大络式执行草皮学习相关的任务其行史高的效率融
6、世效比.低切托适利于木关广泛计*加运“处理的任方,钿OS管理,应用程序述行等造对于游戏,视”络辑.科学计算、机S学习号大熄模并行处理的场景中遗常N于移动议各中,提侯快速的图像以加、语青识别等Al功枇CStW,中限法专个It双叁壮长不!臭母的任务:CPU加GPU是传统的通用处理JS.为灵活性而议计.-f,“本取工作货货运柠操作系统、游猊和其他应用。但是这些“本枳工作”冏计也会随时限制他们运行AI工作员我的可用注量.NPU专为Al打造.通过库低部分身后程姓以实现更高的峰值性能、位效和面枳效奉,从而运行机为学习所寄的大量或法.加法和其他运JUCPuft势在顺序按制和即时41.适用于低时延、低计算量的
7、任务:GPU适合面向高精,丈格式的并什处理任务:NPU适合以低功耗实现枯炊色定的南峰值性杷。NPU擅长林量、向量和张量级学运力,由于Al工作货收支委包括由标支、向支和张支数竽妲成的林泾同络层计算,以及翻后的力我性激活AU.NPU可用于核心Al工作Sft.SA17,CPU、GP1.、NPU分别迨用于不!臭任UfiQ)HCV*。比的取决于:nR!BHana1Mn.kn定制化NPU的钟用料大幅疆介.NPU令为实现以低功耗加速Al板理而打造,畀随君新Al用例,摸电和京东的发展,而不断演透,茹切大模型不断迭代,会求子机漏鼻力升爆。从2023年开始,大语言模型(*1.lama2)和大双党模型(Stable
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- AI 深度 报告 手机 2024 受益 智能 落地 驱动 人机交互 范式
