从NLP到CV：手把手教你用CoOp实现视觉语言模型的提示学习（附PyTorch代码解析）

从NLP到CV：手把手教你用CoOp实现视觉语言模型的提示学习（附PyTorch代码解析）

当CLIP等视觉语言模型展现出强大的零样本迁移能力时，如何让这些"通才"模型快速适应特定下游任务成为关键挑战。传统的人工提示工程需要反复尝试不同措辞，例如在OxfordPets数据集中测试"a photo of a [CLASS]"、"a close-up of a [CLASS] paw"等多种变体，不仅耗时且难以达到最优效果。本文将深入解析Context Optimization（CoOp）这一创新方法，它通过可学习的连续向量自动优化提示上下文，让预训练模型在保持参数冻结的情况下，仅需少量样本就能获得显著性能提升。

1. CoOp核心原理解析

1.1 从离散提示到连续优化

传统CLIP使用的硬提示（Hard Prompt）本质是人工设计的离散token组合，例如：

prompt = "a photo of a [CLASS]"

而CoOp将其转化为可学习的连续向量表示：

context_vectors = nn.Parameter(torch.randn(4, 512))  # 假设上下文长度为4，嵌入维度512
class_embedding = clip_model.encode_text("dog")      # 获取类别词嵌入
prompt_embedding = torch.cat([context_vectors, class_embedding.unsqueeze(0)], dim=0)

这种转变带来三个关键优势：

1. 自动化搜索：通过反向传播在连续空间探索最优上下文
2. 灵活架构：支持统一上下文（Unified Context）和类别特定上下文（CSC）两种模式
3. 小样本适应：在1-16个样本/类的设置下仍能保持优异性能

1.2 两种上下文建模策略

CoOp提供了两种上下文配置方案：

表：M为上下文token数量，d为嵌入维度，C为类别数

实际应用中，当处理ImageNet等通用分类任务时，统一上下文更为高效；而在StanfordCars等细粒度数据集上，CSC模式能捕捉更细微的类别差异。

2. 实战：在OxfordPets上实现CoOp

2.1 环境配置

首先安装必要依赖：

pip install torch torchvision ftfy regex
git clone https://github.com/KaiyangZhou/CoOp.git

2.2 模型架构修改

我们需要在CLIP的文本编码器前插入可学习的上下文向量：

class CoOpWrapper(nn.Module):
    def __init__(self, clip_model, context_length=4):
        super().__init__()
        self.clip = clip_model
        self.context_length = context_length
        # 初始化上下文参数
        self.context = nn.Parameter(
            torch.randn(context_length, clip_model.text_projection.shape[-1])
        )
        
    def forward(self, image, class_names):
        # 处理类别文本
        class_embeddings = []
        for name in class_names:
            text = f"a photo of a {name}"
            class_embed = self.clip.encode_text(text)
            class_embeddings.append(class_embed)
        
        # 构建提示嵌入
        prompt_embeds = []
        for emb in class_embeddings:
            prompt = torch.cat([self.context, emb.unsqueeze(0)])
            prompt_embeds.append(prompt)
            
        # 计算相似度
        image_features = self.clip.encode_image(image)
        text_features = torch.stack(prompt_embeds).mean(dim=1)
        logits = image_features @ text_features.t()
        return logits

2.3 训练流程关键代码

以下是训练循环的核心片段：

def train(coop_wrapper, train_loader, optimizer, epoch):
    coop_wrapper.train()
    for images, labels, class_names in train_loader:
        optimizer.zero_grad()
        
        # 前向传播
        logits = coop_wrapper(images, class_names)
        
        # 计算损失
        loss = F.cross_entropy(logits, labels)
        
        # 反向传播
        loss.backward()
        optimizer.step()
        
        # 仅更新上下文参数，冻结其他参数
        for name, param in coop_wrapper.named_parameters():
            if "context" not in name:
                param.grad = None

注意：学习率通常设置为0.002，batch size根据GPU内存调整，16-shot设置下训练约100epoch能达到收敛

3. 骨干网络选择与性能对比

3.1 不同视觉编码器影响

我们在OxfordPets上测试不同backbone的表现：

3.2 上下文长度超参数研究

上下文token数量M的选择需要平衡性能与泛化：

# 实验不同上下文长度
for m in [2, 4, 8, 16]:
    model = CoOpWrapper(clip_model, context_length=m)
    train(model, ...)
    acc = evaluate(model, ...)
    print(f"M={m}: {acc:.1f}%")

典型实验结果曲线显示：

• M=4时已显著优于人工提示
• M=8达到性能峰值
• M>16可能引发过拟合

4. 进阶技巧与问题排查

4.1 类别token位置策略

除了默认的末尾位置，将类别token置于中间可能提升性能：

# 中间位置提示构造
t = [V]_1...[V]_{M/2}[CLASS][V]_{M/2+1}...[V]_M

在Flowers102数据集上，这种结构能使准确率再提升2-3%。

4.2 常见训练问题解决方案

1. 梯度不稳定：

   • 尝试降低学习率（如0.0005）
   • 添加梯度裁剪（torch.nn.utils.clip_grad_norm_）

2. 过拟合：

   • 增加正则化（权重衰减0.01）
   • 早停策略（验证集性能下降时终止）

3. 收敛慢：

   • 检查参数是否冻结正确
   • 尝试余弦退火学习率调度

# 示例学习率调度
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(
    optimizer, T_max=100, eta_min=1e-5
)

4.3 可视化学习到的上下文

通过最近邻搜索可解释学习到的提示：

def interpret_prompt(coop_wrapper, tokenizer):
    context = coop_wrapper.context.detach()
    vocab = tokenizer.get_vocab()
    
    for i in range(context.shape[0]):
        similarities = []
        for word, idx in vocab.items():
            emb = tokenizer.encode(word)
            sim = cosine_similarity(context[i], emb)
            similarities.append((word, sim))
        
        top_words = sorted(similarities, key=lambda x: -x[1])[:5]
        print(f"Context {i}: {[w[0] for w in top_words]}")

在OxfordPets上可能输出：

Context 0: ["fluffy", "paw", "fur", "pet", "cute"]
Context 1: ["close-up", "detailed", "sharp", "focus", "shot"]