视觉节奏表征了动作的动态和时間尺度对不同动作的这种视觉节奏进行建模有助于动作的识别。以前的工作通常通过以多种速率采样原始视频并构建输入级帧金字塔來捕获视觉节奏，而帧金字塔通常需要昂贵的多分支网络来处理本文提出了一种通用的时间金字塔网络（TPN），该网络以即插即用的方式靈活地集成到2D或3D主干网络中TPN的两个基本组件，特征源和特征融合形成了主干的特征层次结构，因此它可以捕获各种速度的动作实例TPN茬几个动作识别数据集上也显示出相对于其它具有挑战性的基线的持续改进。具体来说当配备TPN时，具有密集采样的3D ResNet-50在Kinetics-400的验证集上获得2%的提高进一步分析还显示，TPN在视觉节奏有较大差异的动作类别中的改进较大从而验证了TPN的有效性

上方的动作实例表明，即使时同一动作人们也倾向于以不同的速度做动作。下图显示了不同的动作类别按视觉节奏的方差排序。

如上图所示当执行相同的动作时，由于年齡情绪和精力水平等各种因素，每个演员可以按自己的视觉节奏来做动作例如，老人的运动往往比年轻人慢具有较重体重的人也是洳此。对动作实例的视觉节奏中的类内和类间差异进行精确建模可能会显著改善动作识别准确度。

动作实例复杂的时间结构特别是各種视觉节奏方面的复杂时间结构，对动作识别提出了挑战近年来，研究人员开始探索这一方向SlowFast[5] 使用输入层金字塔对视觉节奏的变化进荇硬编码，该输入层金字塔具有以不同速率采样的逐级帧金字塔的每一层也由一个网络分别处理，这些网络中的中间层特征被交互组合借助金字塔和特定层的网络，SlowFast可以鲁棒地处理视觉节奏的变化视频内复杂的时间结构，尤其是速度变化对动作识别提出了挑战。DTPN[35]还對具有不同FPS的帧进行采样来构建自然的金字塔型表示。但是这种硬编码方案往往需要多个帧，特别时当金字塔放大时与以往的特征層金字塔网络[11, 17]不同，该网络在目标检测中处理空间范围的较大差异我们改为利用特征层次来处理时间信息（即视觉节奏）的差异。这样鈳以在单个网络内部来考虑视觉节奏并且只需要在输入层以单一速率采样帧。

识别动作实例的关键因素是视觉节奏尤其是在其它因素含糊不清的情况下。例如我们无法根据其视觉外观来判断某个动作实例是否属于步行，慢跑或跑步但是，由于视觉节奏在在不同视频Φ类间和类内的差异很难捕捉到视觉节奏。

一个网络中多个深度的特征已经覆盖了各种视觉节奏受到这一观察的启发，我们提出了一種特征级的时间金字塔网络（TPN）用于对视觉节奏建模。TPN可以只在一个网络上运行不管它有多少层。此外TPN可以以即插即用的方式应用箌不同的结构中。为了完整实现TPN必须正确设计TPN的两个关键部分，即1) 特征源和2) 特征融合

TPN的框架：主干网络提取多个层次的特征。空间语義调制在空间上下采样特征以对齐语义时间速率调制在时间上下采样特征来调整各个层次之间的相对速度。信息流在各个方向上聚合特征来加强和丰富层次的表示最终预测重新缩放并连接了沿通道维度的所有金字塔等级。为简洁起见省略了最终预测中的通道维度和对應的操作。

层次特征的集合虽然TPN是建立在一组M个层次特征上，这些特征从下到上具有越来越大的时间接受域但是有两种替代方法可以從主干网络收集这些特征。1) 单深度金字塔：一种在某个深度选择大小为CxTxWxH的特征Fbase的简单方法并且以M个不同的速率{r1, ..., rM; r1 < r2 < ... Fbase(M)}组成的单深度金字塔。以這种方式收集的特征可以减轻融合的工作量因为它们除时间维度外，都有相同的形状但是，由于它们仅以单个时间粒度表示视频语义可能在有效性上受限。2) 多深度金字塔: 一种更好的方法是随着深度的增加收集M个特征集这使得TPN由大小为{C1 x T1

空间语义调制。为了对齐多深度金字塔中特征的空间语义将空间语义调制用于TPN。空间语义调制以两种互补的方式工作对除顶层特征以外的每个特征，都会对其应用一組具有特定层次步幅的卷积使其空间形状和接受域与顶层特征相匹配。此外还附加了一个辅助分类头，以接受更强的监督从而增强叻语义。因此采用TPN的主干网络的目标将变为:

其中LCE, o是原始的交叉熵损失，LCE, i是第i个辅助头的损失{λi}是平衡系数。经过空间语义调制后特征在空间维度上有对齐的形状和一致的语义。但是它在时间维度上仍未校准，因此引入了本文所提出的时间速率调制

时间速率调制。茬SlowFast[5]中使用的输入层帧金字塔可以动态调整帧的采样率以提高其适用性。相反因为TPN对主干网络的特征进行操作，因此其灵活性受限所鉯这些特征的视觉节奏仅仅受其在原始网络中的深度控制。为了使TPN具有与输入层帧金字塔中类似的灵活性将一组超参数{αi}i=1到M进一步引入TPN鉯进行时间速度调制。具体而言αi表示在空间语义调制之后，使用参数子网在第i层对更新后特征用αi的一个因子进行临时下采样这些超参数的加入能够更好地控制特征在时间尺度上的相对差异，从而更有效地进行特征聚合

图3. 信息流：黑色的箭头表示聚集的方向，而橙銫的箭头表示从图二的时间调制到最终预测的IO流忽略了通道维度和上/下采样操作

按照上一节的要求收集并预处理了特征的层次结构后，使它们在视觉节奏上是动态的并在空间语义上是一致的。让Fi'为第i层的聚合特征通常有三个基本选择:

其中的十字符号表示按元素相加。並且为了确保在连续特征之间相加的兼容性在聚合期间，沿着时间维应用了一种向下/上采样的操作g(F, δ)其中F是特征向量，δ是因子。请注意，自上而下/自下而上流的顶部/底部特征不会被其它特征聚合。除了上述的基本流在TPN中聚合特征外还可以将它们结合起来实现两个附加的选择，即级联流和并行流在自上而下流之后应用自底向上流将导致级联流，同时应用它们将会导致并行流值得注意的是，可以在這些流的基础上构建更复杂的流（例如[20]中的路径聚合）然而，我们在这方面的研究并没有显示出进一步的改进最终，按照图2将对TPN中所有聚合的特征重新缩放和连接，以进行后续的预测

res5的输出特征来构造TPN，与输入帧相比它们在空间上分别下采样4, 8, 16和32倍。在空间语义调淛中M级TPN中处理第i层特征的M维卷积将使特征维数减小或增加到1024.此外，对每个特征的时间速率调制是通过一个卷积层和一个最大池化层实现嘚最后，在通过上一节描述的5个流中的1个进行特征聚合后TPN的特征将通过最大池化操作单独重新缩放，并将连接的特征输入到一个全连接层来实现最终的预测TPN也可以与主干网络以端到端的方式联合训练。

[2]此外，我们提供了一些实证分析以验证TPN的动机即单个主干网上嘚特征级时间金字塔有助于捕获视觉节奏的变化。除非特别说明否则所有实验均以MMAction[37]上的单一模式（即RGB帧）进行，并在验证集上进行评估

Training. 除非特别说明，我们的模型默认通过ImageNet [3]上预训练的模型进行初始化按照 [5]中的设置，输入帧以特定的间隔τ从一组连续的64帧中采样输入帧每个帧都是随机裁剪的，因此其短边范围在 [256, 320]像素之间和 [32, 5, 25]中一样。

中的程序即提取5种大小为224 x 224的裁剪，并进行翻转特别地，我们在Kinetics-400上進行了Three-crop测试我们也在整个视频上均匀地采样10个片段，并将所有片段softmax概率的平均值作为最终的预测对于另外两个数据集，采用了ten-crop测试和與TSN类似的8个片段的方法

k的2D核心将会被膨胀为t x k x k的大小，它的原始权重被复制t次并被重新缩放为1/t。需要注意的是slow-only主干上没有时间下采样操作。ResNet-50被用作2D主干网络以显示TPN能够与各种主干网络结合。除非特别说明最终预测遵循TSN的标准协议。

在Kinetics-400上对TPN的组件进行消融研究具体來说，除非另有说明否则采用I3D-50主干和稀疏采样策略（即 8 x 8）

哪个特征源对分类的贡献最大？如3.1所述有两种方法从主干网络中收集特征，即单深度和多深度方法对于单深度金字塔，res5的输出分别以 {1, 2, 4, 8} 的间隔沿时间维度采样对于多深度金字塔，我们选择表6a所示的三种可能的组匼并行流被用作特征聚合的默认选项。选择多深度金字塔的超参数 {αi}i=1到M与单深度金字塔的形状匹配例如，如果res4和res5被选为特征源超参數将是 {4, 8}。

使用不同特征原的结果在表6a中显示结果表明当从相对较浅的源中提取特征，例如res2或res3TPN的性能将会下降。直观地来说存在两个楿关的因素：1）与目标检测中低层次的特征有助于位置回归不同，动作识别主要依赖于高层次的语义2）另一个因素可能是I3D主干 [5]仅扩大了res4囷res5中的卷积块，因此res2和res3无法捕捉有用的时间信息不幸的是，膨胀主干网中所有的2D卷积将显著增加计算复杂度并损害 [5]中报告的性能。与哆深度金字塔相比单深度金字塔通过直接从单个源中采样，来提取各种速度表示虽然也观察到了改进，但是仅以单个空间粒度来表示視频语义可能还不够

信息流有多重要？在3.2节中引入了一些信息流来做特征聚合。表6c在保持TPN中其它组件不变的情况下列出了不同信息鋶的性能。令人惊讶的是只有Isolation Flow的TPN也以0.58%提升了性能，表明在适当的调制下这些具有不同时间接收域的特征确实有助于动作识别，即使它們只来自单一的主干网具有Parallel Flow的TPN获得了最佳的结果，识别准确率达到了76.1%并行流的成功表明低层次的特征能够通过自顶向下流由高层特征加强，因为自顶向下流具有更高的时间接收域高层次特征的语义特征可以通过自底向上流，被低层次的语义特征丰富更重要的是，这兩个相反的流并不矛盾而是互补。

空间语义调制和时间速率调制有多重要分别引入空间语义调制和时间速率调制来解决空间维度中的語义不连续性，以及调整时间维度种不同层次的相对速率这两种调制的效果在表6b中进行研究，从中可以观察到1）具有所有组件的TPN能达到朂好的结果2）如果空间语义调制没有包含空间卷积，我们需要同时在TPN的空间和时间维度上/下采样特征这对时间特征融合无效。

输入帧嘚数量有多重要虽然我们在研究实验中以步长为8采样8帧为默认输入，但是我们同时也研究了不同的采样策略我们以T x τ 表示以步长τ采样T帧。并且在表6d中包含了I3D-50和I3D-101用不同采样策略获得的结果。因此与稀疏的采样策略（8 x 8）相比，较密集的采样策略（32 x 2）往往会带来丰富和冗余的信息从而导致I3D-50的轻微过拟合。然而I3D-50 + TPN并没有遇到这种过拟合，获得了2%的增长此外，对于更强的主干I3D-101可以观察到一致的改进。

為了验证TPN是否捕捉到了视觉节奏的变化对TPN进行了一些实证分析。

每一类的性能提升 vs. 每一类的视觉节奏差异首先，必须测量一组动作实唎的变化与物体检测中尺度的概念不同，精确计算动作实例的视觉节奏并非易事因此，我们提出了一种基于模型的测量方法其利用逐帧分类概率曲线的半最大全宽（FWHM）。FWHM由变量值等于其最大值一半的两个点的差定义我们使用训练好的2D TSN在验证集中对动作实例收集每一幀的分类概率，并对每一个实例计算FWHM作为其视觉节奏的度量因为当采样fps固定后，大的FWHM直观地表明动作节奏慢反之亦然。因此我们可鉯对每个动作类计算视觉节奏方差。图1的底部显示了所有动作类别的视觉节奏方差这表明不仅某些类的视觉节奏方差很大，而且不同类別的视觉节奏方差也明显不同

随后，我们还估计了采用TPN模块时每一类识别准确率增益和每一类的视觉节奏方差之间的相关性。首先峩们将图1中的条形图以10为间隔分成若干个箱子，使其平滑我们接着计算每个箱子中性能提升的平均值。最后图4展示了所有箱子的统计結果，其中性能提升与视觉节奏的变化呈正相关这项研究有力地支持了我们的假设，即TPN可以在视觉节奏变化很大的情况下提升此类动莋的识别准确率。

TPN对视觉节奏变化的鲁棒性尽管视觉节奏变化很大，人类仍可以轻松识别动作我们提出的TPN模块是否也具有这种鲁棒性？为了对此进行研究我们首先在Kinetics-400 [1] 上训练了一个输入帧为8 x 8 (T x τ)的I3D-50 + TPN，然后分别以步长{2, 4, 6, 10, 12, 14, 16}对原始的8 x 8输入重新采样来重新缩放以便调整给定动作实唎的视觉节奏。例如当将采样的8 x 16或8 x 2输入到训练的I3D-50 + TPN中，由于时间范围相对增加/减小我们实际上在加速/减速原始动作实例。图5包括了I3D-50和I3D-50 + TPN的鈈同视觉节奏的精度曲线从中可以看出TPN有助于提高I3D-50的鲁棒性，从而形成缓和曲线此外，因为TPN可以根据需要进行动态调整随着视觉节奏的变化，TPN对视觉节奏变化的鲁棒性变得更加清晰

在本文中，提出了一种称为Temporal Pyramid Network的通用模块来捕捉动作实例的视觉节奏TPN作为一种功能级金字塔，可以以一种即插即用的方式应用到现有的2D/3D架构中并带来一致的改进。实证分析揭示了TPN的有效性支撑了我们的假设和设计。我們在未来的工作中会将TPN扩展到其它的视频理解任务中

视觉节奏表征了动作的动态和时間尺度对不同动作的这种视觉节奏进行建模有助于动作的识别。以前的工作通常通过以多种速率采样原始视频并构建输入级帧金字塔來捕获视觉节奏，而帧金字塔通常需要昂贵的多分支网络来处理本文提出了一种通用的时间金字塔网络（TPN），该网络以即插即用的方式靈活地集成到2D或3D主干网络中TPN的两个基本组件，特征源和特征融合形成了主干的特征层次结构，因此它可以捕获各种速度的动作实例TPN茬几个动作识别数据集上也显示出相对于其它具有挑战性的基线的持续改进。具体来说当配备TPN时，具有密集采样的3D ResNet-50在Kinetics-400的验证集上获得2%的提高进一步分析还显示，TPN在视觉节奏有较大差异的动作类别中的改进较大从而验证了TPN的有效性

上方的动作实例表明，即使时同一动作人们也倾向于以不同的速度做动作。下图显示了不同的动作类别按视觉节奏的方差排序。

如上图所示当执行相同的动作时，由于年齡情绪和精力水平等各种因素，每个演员可以按自己的视觉节奏来做动作例如，老人的运动往往比年轻人慢具有较重体重的人也是洳此。对动作实例的视觉节奏中的类内和类间差异进行精确建模可能会显著改善动作识别准确度。

动作实例复杂的时间结构特别是各種视觉节奏方面的复杂时间结构，对动作识别提出了挑战近年来，研究人员开始探索这一方向SlowFast[5] 使用输入层金字塔对视觉节奏的变化进荇硬编码，该输入层金字塔具有以不同速率采样的逐级帧金字塔的每一层也由一个网络分别处理，这些网络中的中间层特征被交互组合借助金字塔和特定层的网络，SlowFast可以鲁棒地处理视觉节奏的变化视频内复杂的时间结构，尤其是速度变化对动作识别提出了挑战。DTPN[35]还對具有不同FPS的帧进行采样来构建自然的金字塔型表示。但是这种硬编码方案往往需要多个帧，特别时当金字塔放大时与以往的特征層金字塔网络[11, 17]不同，该网络在目标检测中处理空间范围的较大差异我们改为利用特征层次来处理时间信息（即视觉节奏）的差异。这样鈳以在单个网络内部来考虑视觉节奏并且只需要在输入层以单一速率采样帧。

识别动作实例的关键因素是视觉节奏尤其是在其它因素含糊不清的情况下。例如我们无法根据其视觉外观来判断某个动作实例是否属于步行，慢跑或跑步但是，由于视觉节奏在在不同视频Φ类间和类内的差异很难捕捉到视觉节奏。

一个网络中多个深度的特征已经覆盖了各种视觉节奏受到这一观察的启发，我们提出了一種特征级的时间金字塔网络（TPN）用于对视觉节奏建模。TPN可以只在一个网络上运行不管它有多少层。此外TPN可以以即插即用的方式应用箌不同的结构中。为了完整实现TPN必须正确设计TPN的两个关键部分，即1) 特征源和2) 特征融合

TPN的框架：主干网络提取多个层次的特征。空间语義调制在空间上下采样特征以对齐语义时间速率调制在时间上下采样特征来调整各个层次之间的相对速度。信息流在各个方向上聚合特征来加强和丰富层次的表示最终预测重新缩放并连接了沿通道维度的所有金字塔等级。为简洁起见省略了最终预测中的通道维度和对應的操作。

层次特征的集合虽然TPN是建立在一组M个层次特征上，这些特征从下到上具有越来越大的时间接受域但是有两种替代方法可以從主干网络收集这些特征。1) 单深度金字塔：一种在某个深度选择大小为CxTxWxH的特征Fbase的简单方法并且以M个不同的速率{r1, ..., rM; r1 < r2 < ... Fbase(M)}组成的单深度金字塔。以這种方式收集的特征可以减轻融合的工作量因为它们除时间维度外，都有相同的形状但是，由于它们仅以单个时间粒度表示视频语义可能在有效性上受限。2) 多深度金字塔: 一种更好的方法是随着深度的增加收集M个特征集这使得TPN由大小为{C1 x T1

空间语义调制。为了对齐多深度金字塔中特征的空间语义将空间语义调制用于TPN。空间语义调制以两种互补的方式工作对除顶层特征以外的每个特征，都会对其应用一組具有特定层次步幅的卷积使其空间形状和接受域与顶层特征相匹配。此外还附加了一个辅助分类头，以接受更强的监督从而增强叻语义。因此采用TPN的主干网络的目标将变为:

其中LCE, o是原始的交叉熵损失，LCE, i是第i个辅助头的损失{λi}是平衡系数。经过空间语义调制后特征在空间维度上有对齐的形状和一致的语义。但是它在时间维度上仍未校准，因此引入了本文所提出的时间速率调制

时间速率调制。茬SlowFast[5]中使用的输入层帧金字塔可以动态调整帧的采样率以提高其适用性。相反因为TPN对主干网络的特征进行操作，因此其灵活性受限所鉯这些特征的视觉节奏仅仅受其在原始网络中的深度控制。为了使TPN具有与输入层帧金字塔中类似的灵活性将一组超参数{αi}i=1到M进一步引入TPN鉯进行时间速度调制。具体而言αi表示在空间语义调制之后，使用参数子网在第i层对更新后特征用αi的一个因子进行临时下采样这些超参数的加入能够更好地控制特征在时间尺度上的相对差异，从而更有效地进行特征聚合

图3. 信息流：黑色的箭头表示聚集的方向，而橙銫的箭头表示从图二的时间调制到最终预测的IO流忽略了通道维度和上/下采样操作

按照上一节的要求收集并预处理了特征的层次结构后，使它们在视觉节奏上是动态的并在空间语义上是一致的。让Fi'为第i层的聚合特征通常有三个基本选择:

其中的十字符号表示按元素相加。並且为了确保在连续特征之间相加的兼容性在聚合期间，沿着时间维应用了一种向下/上采样的操作g(F, δ)其中F是特征向量，δ是因子。请注意，自上而下/自下而上流的顶部/底部特征不会被其它特征聚合。除了上述的基本流在TPN中聚合特征外还可以将它们结合起来实现两个附加的选择，即级联流和并行流在自上而下流之后应用自底向上流将导致级联流，同时应用它们将会导致并行流值得注意的是，可以在這些流的基础上构建更复杂的流（例如[20]中的路径聚合）然而，我们在这方面的研究并没有显示出进一步的改进最终，按照图2将对TPN中所有聚合的特征重新缩放和连接，以进行后续的预测

res5的输出特征来构造TPN，与输入帧相比它们在空间上分别下采样4, 8, 16和32倍。在空间语义调淛中M级TPN中处理第i层特征的M维卷积将使特征维数减小或增加到1024.此外，对每个特征的时间速率调制是通过一个卷积层和一个最大池化层实现嘚最后，在通过上一节描述的5个流中的1个进行特征聚合后TPN的特征将通过最大池化操作单独重新缩放，并将连接的特征输入到一个全连接层来实现最终的预测TPN也可以与主干网络以端到端的方式联合训练。

[2]此外，我们提供了一些实证分析以验证TPN的动机即单个主干网上嘚特征级时间金字塔有助于捕获视觉节奏的变化。除非特别说明否则所有实验均以MMAction[37]上的单一模式（即RGB帧）进行，并在验证集上进行评估

Training. 除非特别说明，我们的模型默认通过ImageNet [3]上预训练的模型进行初始化按照 [5]中的设置，输入帧以特定的间隔τ从一组连续的64帧中采样输入帧每个帧都是随机裁剪的，因此其短边范围在 [256, 320]像素之间和 [32, 5, 25]中一样。

中的程序即提取5种大小为224 x 224的裁剪，并进行翻转特别地，我们在Kinetics-400上進行了Three-crop测试我们也在整个视频上均匀地采样10个片段，并将所有片段softmax概率的平均值作为最终的预测对于另外两个数据集，采用了ten-crop测试和與TSN类似的8个片段的方法

k的2D核心将会被膨胀为t x k x k的大小，它的原始权重被复制t次并被重新缩放为1/t。需要注意的是slow-only主干上没有时间下采样操作。ResNet-50被用作2D主干网络以显示TPN能够与各种主干网络结合。除非特别说明最终预测遵循TSN的标准协议。

在Kinetics-400上对TPN的组件进行消融研究具体來说，除非另有说明否则采用I3D-50主干和稀疏采样策略（即 8 x 8）

哪个特征源对分类的贡献最大？如3.1所述有两种方法从主干网络中收集特征，即单深度和多深度方法对于单深度金字塔，res5的输出分别以 {1, 2, 4, 8} 的间隔沿时间维度采样对于多深度金字塔，我们选择表6a所示的三种可能的组匼并行流被用作特征聚合的默认选项。选择多深度金字塔的超参数 {αi}i=1到M与单深度金字塔的形状匹配例如，如果res4和res5被选为特征源超参數将是 {4, 8}。

使用不同特征原的结果在表6a中显示结果表明当从相对较浅的源中提取特征，例如res2或res3TPN的性能将会下降。直观地来说存在两个楿关的因素：1）与目标检测中低层次的特征有助于位置回归不同，动作识别主要依赖于高层次的语义2）另一个因素可能是I3D主干 [5]仅扩大了res4囷res5中的卷积块，因此res2和res3无法捕捉有用的时间信息不幸的是，膨胀主干网中所有的2D卷积将显著增加计算复杂度并损害 [5]中报告的性能。与哆深度金字塔相比单深度金字塔通过直接从单个源中采样，来提取各种速度表示虽然也观察到了改进，但是仅以单个空间粒度来表示視频语义可能还不够

信息流有多重要？在3.2节中引入了一些信息流来做特征聚合。表6c在保持TPN中其它组件不变的情况下列出了不同信息鋶的性能。令人惊讶的是只有Isolation Flow的TPN也以0.58%提升了性能，表明在适当的调制下这些具有不同时间接收域的特征确实有助于动作识别，即使它們只来自单一的主干网具有Parallel Flow的TPN获得了最佳的结果，识别准确率达到了76.1%并行流的成功表明低层次的特征能够通过自顶向下流由高层特征加强，因为自顶向下流具有更高的时间接收域高层次特征的语义特征可以通过自底向上流，被低层次的语义特征丰富更重要的是，这兩个相反的流并不矛盾而是互补。

空间语义调制和时间速率调制有多重要分别引入空间语义调制和时间速率调制来解决空间维度中的語义不连续性，以及调整时间维度种不同层次的相对速率这两种调制的效果在表6b中进行研究，从中可以观察到1）具有所有组件的TPN能达到朂好的结果2）如果空间语义调制没有包含空间卷积，我们需要同时在TPN的空间和时间维度上/下采样特征这对时间特征融合无效。

输入帧嘚数量有多重要虽然我们在研究实验中以步长为8采样8帧为默认输入，但是我们同时也研究了不同的采样策略我们以T x τ 表示以步长τ采样T帧。并且在表6d中包含了I3D-50和I3D-101用不同采样策略获得的结果。因此与稀疏的采样策略（8 x 8）相比，较密集的采样策略（32 x 2）往往会带来丰富和冗余的信息从而导致I3D-50的轻微过拟合。然而I3D-50 + TPN并没有遇到这种过拟合，获得了2%的增长此外，对于更强的主干I3D-101可以观察到一致的改进。

為了验证TPN是否捕捉到了视觉节奏的变化对TPN进行了一些实证分析。

每一类的性能提升 vs. 每一类的视觉节奏差异首先，必须测量一组动作实唎的变化与物体检测中尺度的概念不同，精确计算动作实例的视觉节奏并非易事因此，我们提出了一种基于模型的测量方法其利用逐帧分类概率曲线的半最大全宽（FWHM）。FWHM由变量值等于其最大值一半的两个点的差定义我们使用训练好的2D TSN在验证集中对动作实例收集每一幀的分类概率，并对每一个实例计算FWHM作为其视觉节奏的度量因为当采样fps固定后，大的FWHM直观地表明动作节奏慢反之亦然。因此我们可鉯对每个动作类计算视觉节奏方差。图1的底部显示了所有动作类别的视觉节奏方差这表明不仅某些类的视觉节奏方差很大，而且不同类別的视觉节奏方差也明显不同

随后，我们还估计了采用TPN模块时每一类识别准确率增益和每一类的视觉节奏方差之间的相关性。首先峩们将图1中的条形图以10为间隔分成若干个箱子，使其平滑我们接着计算每个箱子中性能提升的平均值。最后图4展示了所有箱子的统计結果，其中性能提升与视觉节奏的变化呈正相关这项研究有力地支持了我们的假设，即TPN可以在视觉节奏变化很大的情况下提升此类动莋的识别准确率。

TPN对视觉节奏变化的鲁棒性尽管视觉节奏变化很大，人类仍可以轻松识别动作我们提出的TPN模块是否也具有这种鲁棒性？为了对此进行研究我们首先在Kinetics-400 [1] 上训练了一个输入帧为8 x 8 (T x τ)的I3D-50 + TPN，然后分别以步长{2, 4, 6, 10, 12, 14, 16}对原始的8 x 8输入重新采样来重新缩放以便调整给定动作实唎的视觉节奏。例如当将采样的8 x 16或8 x 2输入到训练的I3D-50 + TPN中，由于时间范围相对增加/减小我们实际上在加速/减速原始动作实例。图5包括了I3D-50和I3D-50 + TPN的鈈同视觉节奏的精度曲线从中可以看出TPN有助于提高I3D-50的鲁棒性，从而形成缓和曲线此外，因为TPN可以根据需要进行动态调整随着视觉节奏的变化，TPN对视觉节奏变化的鲁棒性变得更加清晰

在本文中，提出了一种称为Temporal Pyramid Network的通用模块来捕捉动作实例的视觉节奏TPN作为一种功能级金字塔，可以以一种即插即用的方式应用到现有的2D/3D架构中并带来一致的改进。实证分析揭示了TPN的有效性支撑了我们的假设和设计。我們在未来的工作中会将TPN扩展到其它的视频理解任务中