浙大 IJCAI 论文提出自适应非对称适配器，给 CLIP 图像塔微调「踩刹车」

浙江大学陈静远教授课题组与斯旺西大学联合团队提出自适应非对称适配器，通过预测置信度自动抑制图像塔微调，在 11 个视觉数据集上超越 CoOp、MaPLe、MMRL 等 11 种方法。实验发现文本分支微调收益更高，而 OOD 场景下激进微调图像塔会严重破坏 CLIP 泛化力。该方法在单张 A800 GPU 上训练推理开销低于 MMRL，并兼容 ViT 与 ResNet-50。