一、核心概念

少样本学习是机器学习的一个子领域，其目标是让模型在仅使用极少量标注样本（每个类别只有1-5个样本）的情况下，就能学习到一个有效的分类或回归模型。

• 核心矛盾：现代深度学习模型（如深度神经网络）通常是“数据饥渴”的，需要大量标注数据才能避免过拟合、学到泛化能力，少样本学习旨在解决标注数据稀缺、获取成本高昂的现实问题。
• 类比：就像人类看到一种新动物（鸭嘴兽”）的几张照片后，就能在野外认出它，FSL希望AI具备类似的快速学习能力。
• 相关概念区分：
  • 零样本学习：一个样本都没有，通过类别属性的语义描述（如“有羽毛、会飞”）来识别未知类别。
  • 迁移学习：在一个大数据源任务上预训练，然后在一个小数据目标任务上微调。少样本学习常常严重依赖于迁移学习/预训练。
  • 元学习：“学会如何学习”，是实现少样本学习最主流、最有效的方法论框架。

关键方法

少样本学习的实现策略主要分为以下几类：

基于度量的方法

核心思想：学习一个优质的嵌入空间，在这个空间里，同类样本彼此靠近，异类样本彼此远离，预测时，计算新样本（查询集）与少量支持集样本之间的距离，进行最近邻分类。

• 经典模型：
  • 孪生网络：学习一个相似度函数，判断两个输入是否属于同一类。
  • 匹配网络：引入注意力机制，将查询样本与整个支持集进行加权匹配。
  • 原型网络：为每个类别计算其支持集样本在嵌入空间中的均值（原型），分类时，计算查询样本到各个原型的距离。
  • 关系网络：不仅学习嵌入函数，还学习一个可训练的关系模块，来评估样本对之间的相似性得分。

基于优化的方法（元学习的核心）

核心思想：让模型学会快速适应，在“元训练”阶段，模型不是在学一个具体的分类任务，而是在学习一个良好的模型初始参数，或者一个高效的优化算法，使得在面对新任务时，只需几步梯度更新就能达到好性能。

• 经典模型：
  • 模型无关的元学习：这是里程碑式的方法，其目标是找到一组初始参数，使得对于从任务分布中采样的任何新任务，其损失函数对参数敏感，从而通过少量梯度步骤就能实现大幅性能提升。
  • 核心流程：在多个“任务”上训练，每个任务都有自己的小支持集和查询集，在支持集上计算损失并更新（内循环），然后在查询集上计算元损失，并反向传播更新初始参数（外循环）。

基于模型的方法

核心思想：设计一个能够内部存储或快速参数化的模型架构。

• 经典思路：
  • 记忆增强网络：引入外部记忆模块（如神经图灵机），存储和快速读取过去经验的表征。
  • 快速参数化：设计一个网络（如超网络），能够根据少量支持集样本，动态生成目标任务模型的权重。

基于数据增强与正则化的方法

核心思想：在数据或特征层面“创造”更多的多样性，以缓解过拟合。

• 数据增强：对有限的样本进行强力的、符合领域知识的变换（如对图像进行旋转、裁剪、颜色抖动）。
• 特征增强：在特征空间进行混合、扰动。
• 正则化技术：使用更强的Dropout、权重衰减等，约束模型复杂度。

基于预训练与微调的方法

核心思想：这是当前（尤其是大语言模型时代）最强大、最实用的范式，它分两步：

1. 大规模预训练：在海量的无标签或通用有标签数据上，训练一个基础模型（如ResNet、ViT、BERT、GPT），这个模型学到了非常通用和丰富的世界知识和特征表示。
2. 小样本适应：将预训练模型应用到下游少样本任务。
   • 线性探测：冻结预训练模型的所有参数，只训练新添加的一个线性分类器头部，简单有效，是强基线。
   • 提示微调：尤其对于大语言模型/VLM，设计合适的文本提示，引导模型输出所需答案，将图像和“这是一张{猫/狗}的照片”的提示输入CLIP模型。
   • 适配器微调：在预训练模型中插入少量可训练的“适配器”模块，而冻结绝大部分原始参数，高效且避免灾难性遗忘。

应用场景

少样本学习在数据获取困难或类别繁多的领域极具价值：

1. 计算机视觉：
   • 罕见物种、特殊医学图像（如罕见病病理切片）识别。
   • 工业质检中的新缺陷检测。
   • 个性化推荐（新用户/新商品）。
2. 自然语言处理：
   • 为特定领域（如法律、医疗）快速定制文本分类器。
   • 低资源语言翻译。
   • 对话系统理解新指令或意图。
3. 机器人学：

   让机器人通过少量演示学会新技能（模仿学习）。

4. 药物发现：

   基于少量已知活性分子,预测新分子的性质。

主要挑战与未来方向

1. 领域差距：如果少样本目标任务与元训练/预训练数据的领域差异过大，性能会急剧下降，如何实现跨域少样本学习是关键。
2. 任务复杂性：目前FSL在相对简单的图像分类上很成功，但对于更复杂的任务（如检测、分割、推理），挑战更大。
3. 理论理解：对元学习为何有效的理论解释尚不充分。
4. 与基线的比较：一个强大的“预训练模型 + 简单线性探测”基线常常很难被超越，这使得新方法的创新和评估需要更加严谨。
5. 未来方向：
   • 与自监督/无监督学习的结合：利用海量无标签数据进行预训练，是提升FSL性能的根本路径。
   • 基础模型范式：如CLIP（图文对比预训练）、GPT系列，其强大的零样本/少样本能力正在重新定义FSL的范式和上限。
   • 更高效的适应算法：研究如何用更少的计算和样本，实现更精准的适应。

少样本学习是让AI迈向“通用人工智能”和“高效学习”的关键一步，其核心范式已经从早期的纯元学习，演变为今天的 “大规模预训练 + 高效微调/提示”，预训练模型提供了一个丰富的先验知识库，而少样本学习技术则为我们提供了从这座知识宝库中快速、精准地提取所需信息的“钥匙”。

标签： 核心 概念