2024机器感知技术.docx

《2024机器感知技术.docx》由会员分享，可在线阅读，更多相关《2024机器感知技术.docx（43页珍藏版）》请在优知文库上搜索。

1、2024机器感知技术培训从看脸到读心:基于视觉的情感感知技术在报告中.提到：,人脸风别已近比川，世何一切尽在脸上，我们能修从脸上占到更多的内容,若干年后我I(J很可能从“利股时代”进入到“读，涧代”.读心对于我IM造行温度、在情商的Ai是至美山要的.”所谓读心,即通过人的外显语言成行为来推测,估计出人的内在心理和林神欣态,从情感角度对一个人进行评IA.但用机器解决“读心”HH.可以更好地ff1.知也险、评估风险，帮助警务人员破案等.在报告中介绍了他所带领的团队在该领域的一系列研究成果包括精神女粕徒助诊断技术.入股发情识别、面部动作检测、自监件学习以及用于视翅的巡测式生理信号的测量:等.当然,现

2、阶段让机器像人一样具备察就色的能力.还仃很长的路要，h认为.我们不货操之过急.而茅要先立足丁超决现存的计虺.比如转治号检测、数据强乏等.在过去的人好中.人依识别技术取犯非常大的进步.但从某种意义上说人依识别环究已经接近尾声.但这并不意味着我们已经把人脸上的信息读完了我们人类本身除了M别人脱，还僮绣从脸上孙到更多的信息.，例如中国可以Sh闻.何、切，其中的型就是通过心脸来自病：静通人也想具备察吉观色的能力,这是我打在人类社会中生存的她本能力.囚此,人股技术的下一步也许将从“而股时代”进入选心,对我们打造有S；度、有情商的1.至关小要.恒什么是读心？本质上就是如过人的外显语K或行为推测、估计出入内

3、在的心FIi和精神状态的技术，从情速角度对一个人进行评估，其内涵和外廷H三个加次ID解密特征.即生理指标.包括“高，体*.心律、呼%血Ai,血斜、12限率.视畿智.2)短期特征，即心理状态，包括唳劳、专注、亢奋无聊等内心在相对较短时间内的状布，3)长期特征，即Mi神状况，主要涉及到自闭症、排部症、住盅、狂歌等,礼至是人格特质，1.如果幅与识别出以上三个以次的心理和精神状态.在大际应用中将起到求变作用比如,在自动驾驶触,可以通过对诃机夜状态进行注体，从而可以预防他的的强校行为：在精神使康领域可以通过计算机视觉技术，获取更多客观化的评估：在.机器人领域.可以利用这些技术让机找人抽仃对人类情博进行理

4、解和反馈的俄力.使其能步更好地陪护人类：也可以将这些技术应MT制户画像的评估.比如贷款风险评俗、人力贯观评估等.在精稗性疾病的辅助i断方面(包括如独柱.抑俄和焦疙等)，国内、外已经有很好研亢存在巡行砧咒I2018年,朱白澳大用犯儿个大学的联合团队采用多K1.方融合的方法，将语百特衽(Para1.inguistic).头3：要花特征(Headpose)以及眼稗特征(EyeSZebehaviors)相结合,对抑就就1.j健生人译的分类.融合之后的分类制度达到88%。2018年，加国核团队也利用深度学习进行了抑镭症诊断的研允1.他打通过融合而郃特征(Appearance)和动悠特征(Dynamics

5、)进行抑然状毒的评估.在AVKC2O13数如生他括82个人、150段飒)上进行实验，结JK7.58(MAIX9.82(RMSE).虽然决芷还不是很理想，但精度却非常褥好.李E飞团队在.2018年也做了韭干3D人脱衣精和语音的抑邮程度评估1：作二耳使用的是Casua1.CNN方法.,终获花了83.3、Sensitivity和82.8%Specificity的实验结果.国外也有一些人格计算(Persona1.ityC甲hm*)方面的工作.即通过一个人的照片或视版.对耳进行第一卬皇的分类.今年6月.ScienceRePor1.上发表/一篇来自侬罗斯团队的文章,他们通过照片评估一个人的Big-five

6、人格分类(外向性，聚粕性、&的性、料”版性和开放性).这梵r作在之匍也有人研究,但足这箱文於使用了个大规极的数M1K收集了12447人的31367张照片.姆个人对自己的人格进行报告.他们用深度种经M格去做计:估，姑果通示模型的评估稿度M不和人的I1.觉评估吻台,W实上这项工作在国外很早就仃研究.2014年IEEETrans,onAffectiveCoaput1.ng就有一篇探述性文章,.介绍r这方面的门名篇文章.雄然栗川的并不克仝处沃觉也是不少工作国是些J过党的方法来做的.m对从后腔剧读心的变化做了概括性的介绍.下面介绍吓我们在.学术上的些工作,下面不重介绍几个方删.短期特征心理状态表情,面部

7、动作单元，正1疲劳/KI1.专注/分博.？1111X/-tnfc*身re、体*瞬态特征生理指标Iftf1.1.露孔雌；皮肤优图21深刻理解人的机党关瞥技术之内油和外Z一、在自闭症儿童早期诊IK上的应用探索早期儿童抑部就诊断的探像：,首光是通过传解!冷吸记我儿收的社交行为或齐个体行为的过程，然后利用计算机视觉的技术分析行为特征.为了让视&捕捉能帔不依懂于专用的设符，H的我。希望便婚及用普遍的摄像头去做视我估计.as。或者孤独症儿丽本身已依a享常多的工作,包括视女特征、表情特征、日常行为特征等，过去都有比较多的经验总结.我们依族这些势验总结.4点去通过普通掇像头搪蜒儿童的找战.然后分折他们的血的我

8、情.以及在社文过程中和别人酬神对视以及互动的方式.现有的ASD视点特征结论自然场景副象的关注偏好 ASD更顿向于关注图像中心(Nouron.2015) 多个类似物体出现时，ASD倾向于关注更少的物体(Vewon.2015) ASDW非典Si的恸向关注特定的物体We。.2015) ASM向于看社交信息少的内容(ICCV,2O17)对人脸区域的不同关注偏好 眼瞌星子、麻物体区域的注视时间百分比不同(Nafwe.2077)表情特征日常表情相对淡定，易出现极端情绪行为特征刻板行为图3：ASD视点特征结论目前涉及包的技术包括以找估计技术、表侪识别技术、面SI动作识别以及鼓粼挖掘技术,我们也开展了这芟方修

9、的研究工作.例如在视我、IE神的估it方闻.我们已匿做了一些系统的工作：在兮注度估计方面.2018年我们也参加Ew1.1.i*2018挑板要,通过班觉的方法估计对-教学过程当中学员专注的零拨.慑域仍然ImIte看非常多的挑战.包括传感59和数据出问.特别是数据层面.I1.时我/发现几乎不太可施依横行总督的、大规模的数据进行深度学习来实现这些功能.所以我们必须去到无如何徒够在班监督.无依许、格监体、小样本等数据条件K将知识嵌入到数据驱动中,使我们可以不依名于天二、邃挡鲁棒的人脸衣情识别这个工作主要是考虑人在做友情的时候径常下意识地用手遮持自己的面Sf的“SE.我们提出压于面SJ分块的门咨枳神经网

10、法，利用注意力机制门动然却人胫被遮打的区域，进而增强M应揩区域的!E要性，此后结台Bff1.I注意力和全局注立力，使得我们能移保留对表情识别的全局和局部的俏息.1J.j,4CJnn=vj,5j人脸被遮挡区域，进而增强无渡挡区域的重要性结合局部注意力与全局注意力，保留表情识别模型对面部的全局感受图七局部苕识别办法我们极幅入股特征点对人般分块，然后为限个K块学习分类贡献”的权，n.通过这样的机制,我们能够把更名的特征增处在非遮挡的面部区域使和被培片情况下的血荒去情识别结果更加曾朴.我们的方法已挣取制r明显优于之的口法的性能，在一共数据史上取得了比较优异的表现，三、基于半监督学习的AU检测划才提到做

11、农情识别.情笫识别好工作.怛这些任务的数据集是不足的,那么我们有没付可僮在有一部分标注数据和大僦无标注款率的条件下去完成这些表情、情给识别呢？去年我们在Neur1.PS上发表的工作就跪试用解决这样的门8即任半监仰务件下如何使面部动作检测.面部动作恰徵，我们又称之为Act：CnUn：t,它是根据面部肌肉解剖定义出来的一生类似于眼睑下垂、闭眼、嘴将收窄等动作，的移AtJ.这个工作对数熨标注是一个非常大的挑故,往往标注一分神的枕阙可能需要一个专*在半小时以上的时何这就导致这一筑域的数据非常匮乏-95么在没有可能利用无监督的数据做这方面的:作呢？图5Co-Training的力式同时利用1.abe1.和

12、I我们采用Co-Training的方式同时利用1.abe1.和IhhAe1.的数辑,学习两个模型.先用1.abe1.教班得到一个预测.预浦器会把所有Un1.ebe1.的数掘进行1.abe1.化.然后再和已有范有BrOUndtnth的故据结合.然后去训练第二个模功第：个模型在把UnIobeI的数据be1.化，把这个结里和原有的Inbe!数据合并,然后再训练外一个模RC这是一个迭代的Co-Trnining过程,其实这种方式不髭我们首先提出的，但我们呆M了两个不同的vie”，也就是两个不同的神经网法.两个网络仑依同学习。工”(ziew2/三三.H-A在协同学力的时候,我w为r保证两个网络仃一定的独立

13、性和相关性.设计相应的1.oss函数.同时我们也把U个不同的JW3之向进行协同.不同的面部动作弟元之间也要协同,把不同的1OS*加进去作为目标函数.使得我们学习到两个不同的网络.这样的方法在IunotionNet数抠集上的玷果比之前跖了26%在BP4Dt据里上.比原来的方法府了1.8%.四、基于自监督表示学习的AU建模与检测前面的工作此仃部分数据是监杼的.W-部分数榭是没有枝杆的.但我们觉得这还不蜘.我们看4!做一个完金采用自监各方法学刀AU的校型,这样才他然让我们在杨油AU过和中大大收少对皎网的依赖，所以这项工的出发点就是吊就利用大M带仃情绪变化,但.乂无标注的W顿数据.幺更好;皆唠嘴1曙1

14、胤管桃嫉中央部的运动事实上包含四部分.部分是面都动作导致的，S1.部分则是头31姿态导致的.所以我们首先要做的足科这两部分动作进行解糊.然后保用面部变化的数幅.图8：乱尸门慨好方法学习AU的模型为此我们谀计了一个自监伴模出，通过分解而程:动作9致的运动和姿态导致的运动，然后再合成新的iJK%.当我打分蜥的足够好时，就可以更纾的从M上合成T，K帧.具体来说,我们果用了两个分支,一个是1.个是姿态，奴后通过合成去逝近Mininui1i5i.基干大Ia的训绦，使得我们能移在BPID.HWfift隘仰的方法娘笑的M度，展至在GEr数据上我们也获得了比有隘15方法更好的性能.五、基于远距离普通摄像头的心

15、率估计上削隹我们在面部表情方面的一些工作.特别是后血的两个工作我，都是令挈傥城:仆激掂不够多的情况下fi更好的AU抬测和衣胡识别的精收.接下来再介招些上述距离普通投像头在心率估计方面的工作.在达力而.从2018年开始.我们砧续发表了一些文章.同慢的动!M1.ii1.动遣成联色网IQ性变化分析EU的联色I1.期文化.禽制心率估计C哪图9:压F远距离子迥摄像头的心率估计我们人类不Jaj从iSM离现后从血估计出个人心率的僮力.（H是我们的心班跳动会导致皮肤颜色出现战朝性变化.医学上有关心不、呼吸率、血粒的测量,过去我们常用的是悌（技术，即根第加液时光的吸收强弱的炭理.去实现对M波流业变化的检测.I1.前人们期也能显在国型富（例如0.7米）测！。人的心率，Pf吸率以及加疑等.人收视糖入礴兴域选择色登化信”提取(PCA,ICA,FiMring,AVgJ归洲分布驱动的方法学习更具判别力的特征表示?r911ng,Avg,难点：当时最大的人脸心率数据集也不超过50人，深度模型容易过拟合图10.通过数用小动的方法学习出H判别力的特征衣不通过时人质拍掇视领来砧计心率,这曲I：作从2008年开始引起人家的关注.之前的方法人都於梁