3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记

这篇具有很好参考价值的文章主要介绍了3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ACM MM22会议上的一篇文章,用于做表情微表情检测的。中科院Wang Sujing团队的工作,合作者是英国曼彻斯特大学的学者。
3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记,深度学习,论文解读,计算机视觉,笔记,计算机视觉,神经网络
摘要:
Optical flow is susceptible to drift error,which introduces a serious problem for motions with long-term dependencies,such as high frame-ratemacro-expression.
光流对漂移误差敏感,特别是对于具有长期依赖性的运动,如高帧率宏表情,存在严重问题。
We propose a purely deep learning solution which,rather than tracking framedifferential motion,compares via a convolutional model,each frame with two temporally localreference frames.
提出了一种纯深度学习解决方案,与其追踪帧差异运动不同,通过卷积模型比较每一帧与两个时间局部参考帧。
drift error
漂移误差是指在光流方法中,由于一系列计算的累积效应,导致跟踪物体位置时逐渐偏离真实位置的现象。光流方法基于在图像序列中计算相邻帧之间的像素位移,以捕捉物体的运动。然而,由于多次计算和累积,计算中的一些不确定性或错误可能导致位置估计的逐渐偏离。
漂移误差可能是由于多种因素引起的,包括图像噪声、运动模糊、非刚性运动等。这些误差会随着时间的推移而累积,最终导致跟踪的物体位置与真实位置之间存在显著的偏差。漂移误差是光流方法的一个挑战,尤其是在需要准确追踪物体长时间运动的应用场景中,如高帧率宏表情的分析。
1.简介
Facial expressions can be classified into two groups:macro-expression(MaE)and micro-expression(ME).These classifications are based on their relative duration and intensity,
面部表情可分为宏表情(MaE)和微表情(ME)两组,基于它们的相对持续时间和强度进行分类。
As it is an involuntary reaction,the emotionalstate of a person can be revealed through analysing MEs.
由于微表情是一种无意识的反应,通过分析微表情可以揭示一个人的情感状态。
Most of the previous methods utilise long short-term memory(LSTM)[13,14]or optical flow[13,15,16,17]to detecttemporal correlation of video sequences.
大多数先前的方法利用长短时记忆(LSTM)或光流来检测视频序列的时间相关性,但它们在计算上都很昂贵。
We also noticed that previous attempts lack duration centred analysis.We takeadvantage of the major difference between ME and MaE(they occur for different duration,where ME occurs less than0.5s while MaE occurs in 0.5s or longer)and propose a two-stream network with a different frame skip based on theduration differences for ME and MaE spotting.
我们注意到先前的尝试缺乏基于持续时间的分析,因此提出了一个基于两者持续时间差异的两流网络,用于微表情和宏表情的识别。
全文贡献:
the first end-to-end deep learning ME and MaE spotting method trained from scratch usinglong video datasets.
第一个从头开始使用长视频数据集训练的端到端深度学习微表情(ME)和宏表情(MaE)识别方法。
Our method uses a two-stream network with temporal oriented reference frame.The reference frames are twoframe pairs corresponding to the duration difference of ME and MaE.The two-stream network also possessesshared weights to mitigate overfitting.
我们的方法采用了一个双流网络,其中包含针对时间的定向参考帧。这些参考帧是两个帧对,对应于ME和MaE的持续时间差异。另外,双流网络还具有共享权重以减轻过拟合的特点。
The network architecture consists of only 3 convolutional layers with the capability of detecting co-occurrenceof ME and MaE using a multi-label system.
网络架构仅包含3个卷积层,能够使用多标签系统检测ME和MaE的共同出现。
To make the network less susceptible to uneven illuminations,Local Contrast Normalisation(LCN)is includedinto our network architecture.
为了使网络对不均匀的光照更不敏感,我们在网络架构中引入了局部对比度归一化(LCN)。
2.提出的方法
By using the duration difference of ME and MaE,wepropose a two-stream 3D-Convolutional Neural Network(3D-CNN)with temporal oriented frame skips.
通过利用ME和MaE的持续时间差异,我们提出了一种带有时间定向帧跳跃的双流3D卷积神经网络(3D-CNN)。
We define thetwo“streams"as ME and MaE pathways,as illustrated in Fig.1.They are structurally identical networks with sharedweights,but differ in frame skips.We use 3 convolutional layers and pool all the spatial dimensions before the denselayers using global average pooling.This design constrains the network to focus on regional features,rather than globalfacial features.
我们将这两个“流”定义为ME和MaE路径,如图1所示。它们是结构相同但具有共享权重的网络,不同之处在于帧跳跃。我们使用3个卷积层,并在密集层之前使用全局平均池化来合并所有空间维度。这个设计限制了网络关注区域性特征,而不是全局的面部特征。
we further propose that normalising the brightness and/or contrast of the images.
我们进一步提出对图像的亮度和/或对比度进行归一化。
整个模型的框架,双流代表两个任务,表情检测与微表情检测。
3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记,深度学习,论文解读,计算机视觉,笔记,计算机视觉,神经网络
2.1预处理
LCN[23]was inspired by computational neuroscience models that mimichuman visual perception[24]by mainly enhancing low contrast regions of images.
使用 Local Contrast Normalisation (LCN) 进行图像对比度的归一化,该方法受计算神经科学模型启发,主要通过增强图像的低对比度区域来模拟人类视觉感知。
这个是LCN的效果。
3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记,深度学习,论文解读,计算机视觉,笔记,计算机视觉,神经网络
LCN normalises the contrast of animage by conducting local subtractive and divisive normalisations[23].It performs normalisation on local patches(per pixel basis)by comparing a central pixel value with its neighbours.
LCN 通过局部减法和除法归一化来规范化图像的对比度,通过比较中心像素值与其邻居的值,对每个像素进行局部补丁的归一化。
The unique feature of LCN is its divisivenormalisation,which consists of the maximum of local variance or the mean of global variance.
LCN 的独特之处在于其除法归一化,包括局部方差的最大值或全局方差的均值。这种方法对光照不均匀的情况具有鲁棒性,能够在亮度或对比度发生变化时保持面部特征的稳定。
In our implementation,Gaussian convolutions are used to obtain the local mean and standard deviation.Gaussian convolution acts as a low pass filter which reduces noise.
在实现中,使用高斯卷积获取局部均值和标准差,高斯卷积充当低通滤波器以减少噪音。
LCN的计算方式
3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记,深度学习,论文解读,计算机视觉,笔记,计算机视觉,神经网络
2.2网络结构
We propose a two-stream network using a 3D-CNN(network architecture shown in Figure 1).Our network takesadvantage of the duration differences of ME and MaE and encouraging one network to be more sensitive to ME and theother to MaE.This is made possible by using a different number of skipped frames in each respective stream(usingthe maximum duration of a ME,0.5s,as the threshold for the duration difference).
我们提出了一个基于3D-CNN的两流网络(如图1所示),利用ME和MaE的持续时间差异,通过在每个流中使用不同数量的跳帧来使一个网络对ME更敏感,另一个对MaE更敏感。
The frame skips are determined based on the k-th frame.The k-th frame,described byMoilanen et al.[25],is the average mid-point of odd-numbered facial expression interval of the whole dataset.
跳帧的确定基于第k帧,该帧是数据集整个表情间隔的奇数平均中点。
To the best of our knowledge,we are the first in ME spotting to weight imbalanced datasetsusing a loss function.
我们是微表情(ME)识别中首次使用损失函数对不平衡数据集进行加权的先行者。
这个是整个网络的损失函数
3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记,深度学习,论文解读,计算机视觉,笔记,计算机视觉,神经网络
Depthwiseconvolution is convolution applied on individual channels instead of all channel at once(as in regular convolutional).Pointwise convolution is convolution that uses a 1×1 kernel with a third dimension of d(where d is the number ofchannels)on the feature maps.
深度卷积是对各个通道进行卷积,而不是像常规卷积一样一次对所有通道进行卷积。点卷积使用具有第三维度d(其中d是通道数)的1×1内核对特征图进行卷积。
GAP
GAP层用于将卷积输出进行平均池化,以强制模型对局部面部运动进行建模。这有助于捕捉图像中的局部特征。实现: 在卷积输出上应用全局平均池化,将特征图的每个通道进行平均,生成一个全局平均值。这样可以减少整个特征图的维度,同时保留每个通道的重要信息。
A global average pooling(GAP)layer is used to flatten the convolution output andenforce modelling of localised facial movements.
全局平均池化(GAP)层用于压平卷积输出并强制对局部面部运动进行建模。这里采用GAP,而非1×1卷积再普通池化,感觉是为了降低计算量,因为GAP的能力应该弱于 1×1卷积+普通池化。
The output layer consists of two dense nodes with sigmoid activation representing the presence of MEand MaE.
输出层包含两个带有Sigmoid激活的密集节点,分别表示ME和MaE的存在。
3.实验
Randomised frame skips are used in training and validation.This creates a more realistic scenario as theduration of each facial expression is unknown in real life.
在训练和验证过程中使用随机帧跳过,以更真实地模拟实际情况,因为在现实生活中每个面部表情的持续时间是未知的。
4.结果
We apply the Intersection over Union(IoU)method used in Micro-Expression Grand Challenge(MEGC)III[16,29]tocompare with other methods.
我们应用了微表情大赛(MEGC)III中使用的交并比(IoU)方法来与其他方法进行比较。
计算的方法如下,与图像分割有些类似
3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记,深度学习,论文解读,计算机视觉,笔记,计算机视觉,神经网络
实验的数据集是SAMM-LV和CAS(ME)2,实验结果肯定是本文的好。
Butterworth filter
Butterworth滤波器是一种常用的信号处理滤波器,属于低通滤波器类型。它的主要作用是通过去除信号中的高频噪声,同时保留低频信号,来平滑或清除信号中的不需要的频率成分。
The main advantage of this filter is it has a flat magnitude filter whereby signalswith frequency below cut-off frequency do not undergo attenuation.
该滤波器的主要优势在于其具有平坦的幅度响应,低于截止频率的信号不会受到衰减。
Multi-Scale Filter
Multi-Scale Filter(多尺度滤波器)通常用于增强信号中的特定频率成分,以帮助检测或突出感兴趣的信号特征。
5.结论
We presented a temporal oriented two-stream 3D-CNN model that shows promising results in ME and MaE spotting inlong video sequences.Our method took advantage of the duration difference of ME and MaE by making a two-streamnetwork that is sensitive to each expression type.Despite only having 3 convolutional layers,our model showedstate-of-the-art performance in SAMM-LV and remained competitive in CAS(ME)2.LCN has proven to have significantimprovement in our model and the ability to address uneven illumination,which is a major weakness of optical flow.
1. 我们提出了一种以时间为导向的两流3D-CNN模型,对长视频序列中的微表情(ME)和宏表情(MaE)有良好的检测效果。2. 我们的方法利用了ME和MaE的持续时间差异,通过创建一个对每种表情类型都敏感的两流网络来实现。3. 尽管我们的模型只有3个卷积层,但在SAMM-LV中表现出最先进的性能,并在CAS(ME)2中保持竞争力。4. LCN在我们的模型中取得了显著的改善,并且能够解决光流法的主要缺陷之一,即不均匀光照。

文章来源地址https://www.toymoban.com/news/detail-843862.html

到了这里,关于3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习论文精读[6]:UNet++

    UNet的编解码结构一经提出以来,大有统一深度学习图像分割之势,后续基于UNet的改进方案也经久不衰,一些研究者也在从网络结构本身来思考UNet的有效性。比如说编解码网络应该取几层,跳跃连接是否能够有更多的变化以及什么样的结构训练起来更加有效等问题。UNet本身是

    2023年04月09日
    浏览(3)
  • Vue+Echarts图表动态适配

    目录 前言 一、问题背景 二、解决方案 1.在Vue组件中引入Echarts 2.初始化图表 3.监听resize事件 4.销毁图表 三、优化方案 1.防抖 2.节流 四、总结 在实际的前端开发过程中,动态适配是一个非常重要的问题。在数据可视化的场景下,图表的动态适配尤为重要。在本篇博客中,我们

    2024年02月05日
    浏览(3)
  • 微信小程序使用云存储和Markdown开发页面

    最近想在一个小程序里加入一个使用指南的页面,考虑到数据存储和减少页面的开发工作量,决定尝试在云存储里上传Markdown文件,微信小程序端负责解析和渲染。小程序端使用到一个库Towxml。 Towxml是一个可将 HTML 、 Markdown 转为微信小程序 WXML (WeiXin Markup Language)的渲染库。用

    2024年02月10日
    浏览(2)
  • BAO力解决找不到vc_runtimeMinimum_x64.msi问题

    类似这种问题经常出现, 产生问题的主要原因是c:/ProgramData/Package Cache/ ***/v14.28.29914/packages/vcRuntimeAdditional_amd64/vc_runtimeAdditional_x64.msi文件不存在. 网上很多文章探讨解决方案, 需要卸载所有vc产品并重新安装, 本文不采用此方案. 注意到上面路径里面的版本号v14.28.29914, 使用注册表

    2024年02月11日
    浏览(5)
  • 解决创建conda环境时Solving environment: failed 和 ResolvePackageNotFound 的错误

    今天在调试论文的代码时,需要创建anaconda环境,按照github上给的指定进行环境的创建。却一直报Solving environment: failed 和 ResolvePackageNotFound的错误。如下图所示: 期初以为时镜像源的问题,又重新添加了进行源,还是没有解决。网上的好多资料都是通过添加镜像源去解决,然

    2023年04月09日
    浏览(3)
  • 【Metahuman&Maya】Metahuman导入Maya

    官方教程: 将MetaHuman导出到Autodesk Maya |虚幻引擎文档 (unrealengine.com) 从Quixel Bridge中下载一角色。 “下载速度很慢怎么办?”——“亲测,电脑连手机热点,速度变很快,方便又简单。”(后来发现这个方法有时候有用,有时候没用TvT) 修改Export settings,打开maya项目,导入。

    2024年02月05日
    浏览(3)
  • 基于 VIVADO 的 FM 调制解调(上)设计篇

            本文先简要介绍了频率调制(frequency modulation,FM,简称调频)的原理,然后对其进行方案设计,最后基于 VIVADO 2018.3 使用 Verilog 进行实现。         角度调制(angle modulation)是已调波的总相角  随着基带信号  作某种变化的调制方式,它包括频率调制和相位调制。

    2023年04月09日
    浏览(4)
  • 云原生爱好者周刊:野心很大的云原生数据库 SurrealDB

    SurrealDB SurrealDB 是一个开源的端到端云原生数据库,同时支持 Table、Document 和 Graph 等多种数据模型,对外提供 SurrealQL、GraphQL、Rest 与 WebSocket 等多种查询方式,支持实时查询和权限等高级特性,既可以嵌入式部署,也可以在云端扩展为分布式的数据库。 pg_watch_demo 这个项目在

    2023年04月09日
    浏览(3)
  • 移动云SD-WAN高可用方案探讨

    SD-WAN首次出现于2015年,随着技术、架构以及商业模式的快速发展和完善,已成为众多企业解决传统WAN架构封闭、业务体验难保障、业务部署慢和运维困难等问题的首要选择。SD-WAN搭乘云计算和SDN技术的快车,能够将企业的分支、总部以及多云/数据中心互联起来,应用在不同

    2023年04月09日
    浏览(4)
  • SpringBoot+React学科竞赛管理系统 附带详细运行指导视频

    项目演示地址: 视频地址 项目描述:这是一个 基于SpringBoot+React框架 开发的学科竞赛管理系统。首先,这是一个 前后端分离 的项目,代码简洁规范,注释说明详细,易于理解和学习。其次,这项目功能丰富,具有一个学科竞赛管理系统系统该有的所有功能。 项目功能:此

    2024年02月16日
    浏览(3)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包