一、核心定义

行为识别 是指从一段视频序列中自动识别、分类出其中主体（通常是人，也可以是物体或动物）正在执行的动作或行为的过程。

• 动作 vs. 行为：在学术和工业界，这两个词有时混用，但可以稍作区分：
  • 动作：相对简单、短暂的肢体运动，如“挥手”、“跳跃”、“坐下”，通常时间跨度短（几秒），涉及的身体部位较少。
  • 行为：更为复杂，由一系列动作组成，并常包含意图、交互和上下文，如“打电话”、“打篮球”、“入室盗窃”，它通常时间更长，涉及与物体、环境的互动。
  • 在实践中,任务通常统称为“行为/动作识别”。

核心目标

让计算机模型能够理解视频内容中“谁（主体）在什么时间、什么地点、做了什么事”，并赋予其一个语义标签。

关键应用领域

1. 智能安防与监控：入侵检测、异常行为预警（如打架、跌倒、徘徊）、交通违规识别。
2. 人机交互：体感游戏（如Kinect）、手势控制、智能家居控制。
3. 医疗健康：老人跌倒检测、康复训练动作指导、病人行为分析。
4. 分析：体育赛事分析（识别进球、犯规等）、影视剧自动标签生成、视频摘要。
5. 自动驾驶：识别行人过马路、骑车人手势、其他车辆的转向行为。
6. 零售与商业：分析顾客店内行为、客流统计、试穿行为识别。

主要技术挑战

行为识别比图像识别困难得多,因为它引入了时间维度，并面临以下挑战：

1. 时空特性：行为信息同时存在于空间（每一帧的人物姿态、物体）和时间（动作的动态演变）中，如何有效融合时空信息是关键。
2. 视角变化：同一个行为，从不同摄像头角度看，外观差异巨大。
3. 遮挡问题：主体可能被其他物体或人物部分遮挡。
4. 类内差异与类间相似性：
   • 同一种行为（如“跑步”），不同人的执行方式不同。
   • 不同行为可能看起来很相似（如“走路”和“慢跑”）。
5. 背景干扰：动态、复杂的背景会增加识别难度。
6. 执行速度差异：同一行为，不同人做的快慢不同。
7. 计算复杂度：视频数据量远大于图像，对算力和算法效率要求高。

任务分类

根据输入视频的复杂度和任务目标,可以分为：

1. 基于视频的行为识别：输入是常规的RGB视频流。
2. 基于骨骼关键点的行为识别：输入是预先从视频中提取的人体关节点（如头、肩、肘、腕等）的时空坐标序列，这种方式对人体姿态变化更鲁棒，隐私性更好。
3. 时序动作定位：不仅要识别行为，还要在长视频中找出行为发生的起止时间，这比单纯分类更难。
4. 多人交互行为识别：识别多人之间的交互行为，如“拥抱”、“握手”、“打架”。

主流技术方法演进

传统方法（深度学习之前）

• 思想：手工设计特征 + 分类器。
• 经典特征：
  • 空间特征：HOG（方向梯度直方图），描述静态形状。
  • 时空特征：iDT（改进的密集轨迹） 是当时的标杆，它通过跟踪视频中的密集兴趣点，并沿轨迹提取HOF（光流直方图）、MBH（运动边界直方图）等描述子，能很好地捕捉运动模式。
• 分类器：常用SVM（支持向量机）。
• 缺点：特征设计依赖专家经验，泛化能力有限。

深度学习方法（当前主流）

• 核心思想：使用深度神经网络自动从数据中学习时空特征。
• 主要网络架构：
  • 双流网络：开辟性的工作，一路CNN处理空间流（单帧RGB图像，捕捉外观信息），另一路CNN处理时间流（多帧光流图像，捕捉运动信息），最后融合两路结果。
  • 3D卷积神经网络：
    • 使用3D卷积核，直接在视频的时空立方体上进行卷积，能同时捕捉时空信息，代表：C3D。
    • I3D：将成熟的2D图像分类网络（如Inception, ResNet）“膨胀”成3D版本，并在大规模数据集上预训练，性能显著提升。
  • 基于时序建模的网络：
    • CNN + RNN/LSTM：用CNN提取每帧或每片段的特征，然后用RNN或LSTM对特征序列进行时序建模。
    • Transformer：近年来兴起，利用自注意力机制直接建模视频片段间的长距离依赖关系，非常有效，代表：TimeSformer, Video Swin Transformer。
  • 基于骨骼关键点的GCN：将人体骨架视为图，关节为节点，骨骼为边，使用图卷积网络来学习关节间的空间关系和随时间的变化模式，是骨骼行为识别的主流方法。

一般处理流程

1. 输入：原始视频序列。
2. 预处理：视频抽帧、尺寸归一化、人脸/人体检测与跟踪（如需）。
3. 特征提取：使用上述深度网络（如3D CNN, Transformer）从视频片段中提取高层的时空特征。
4. 时序建模/聚合：对多个片段的特征进行融合（如平均池化、注意力加权、时序卷积），形成整个视频的表示。
5. 分类/识别：将视频表示输入全连接层和Softmax分类器，得到行为类别的概率分布。

发展趋势

• 多模态融合：结合RGB视频、骨骼关键点、深度图、音频、惯性传感器（IMU）等多种信息源，提升识别鲁棒性和准确性。
• 自监督与弱监督学习：利用大量无标签或仅有视频级标签（而非精确时间边界）的数据进行预训练，减少对昂贵精细标注的依赖。
• 效率优化：设计轻量级网络，以适应边缘设备（如摄像头、手机）的实时计算需求。
• 长视频理解与推理：从识别单一动作向理解复杂活动、预测未来行为发展。

行为识别是让机器具备“视频理解”能力的关键一步，它从早期的手工特征时代，发展到如今以深度学习（特别是3D CNN、GCN和Transformer）为主导的时代，在准确率和应用范围上都取得了巨大突破，如何更好地处理复杂背景、细粒度行为、长时序依赖以及实现高效实时计算，仍然是该领域持续探索的方向。

标签： 核心 定义