近年来，多模态大语言模型（MLLMs）取得了令人瞩目的突破，在视觉理解、跨模态推理、图像描述等任务上表现出强大的能力。然而，随着这些模型的广泛部署，其潜在的安全风险也逐渐引起关注。
研究表明，MLLMs 同样继承了视觉编码器对抗脆弱性的特征，容易受到对抗样本的欺骗。这些对抗样本在现实应用中可能导致模型输出错误或泄露敏感信息，给大规模模型的安全部署带来严重隐患。
在此背景下，如何提升对抗攻击的可迁移性 —— 即对抗样本跨模型、尤其是跨闭源模型仍能保持攻击有效性 —— 成为当前研究的关键难题。
然而，当面对如 GPT-4、Claude-3 等强大的闭源商业模型时，现有攻击方法的迁移效果显著下降。原因在于，这些方法通常仅对齐全局特征（如 CLIP 的 [CLS] token），而忽略了图像补丁（patch tokens）中蕴含的丰富局部信息，导致特征对齐不充分、迁移能力受限。
为解决这一难题，本文提出了一种名为FOA-Attack（Feature Optimal Alignment Attack）的全新靶向迁移式对抗攻击框架。该方法的核心思想是同时在全局和局部两个层面实现特征的最优对齐，从而显著提升攻击的迁移能力。
- 在全局层面，通过余弦相似度损失来对齐粗粒度的全局特征。
- 在局部层面，创新性地使用聚类技术提取关键的局部特征模式，并将其建模为一个最优传输（Optimal Transport, OT）问题，实现细粒度的精准对齐。
- 此外，本文还设计了一种动态集成权重策略，在攻击生成过程中自适应地平衡多个模型的影响，进一步增强迁移性。
大量实验表明，FOA-Attack 在攻击各种开源及闭源 MLLMs 时，性能全面超越了现有 SOTA 方法，尤其是在针对商业闭源模型的攻击上取得了惊人的成功率，且本工作对应的论文和代码均已开源。
- 论文链接：https://arxiv.org/abs/2505.21494
- 代码链接：https://github.com/jiaxiaojunQAQ/FOA-Attack
研究背景
多模态大语言模型（MLLMs），如 GPT-4o、Claude-3.7 和 Gemini-2.0，通过融合视觉和语言能力，在图像理解、视觉问答等任务上展现了非凡的性能。然而，这些模型继承了其视觉编码器的脆弱性，容易受到对抗样本的攻击。对抗样本通过在原始图像上添加人眼难以察觉的微小扰动，就能诱导模型产生错误的输出。
对抗攻击分为非目标攻击（旨在使模型输出错误）目标攻击（旨在使模型输出特定的目标内容）。对于无法访问模型内部结构和参数的黑盒场景（尤其是商业闭源模型），实现高效的目标迁移攻击极具挑战性。
这意味着，在一个或多个替代模型（surrogate models）上生成的对抗样本，需要能够成功欺骗一个完全未知的黑盒目标模型。尽管现有工作已证明了这种攻击的可行性，但其迁移成功率，特别是针对最先进的闭源 MLLMs 时，仍有很大的提升空间。
动机和理论分析
在多模态大语言模型（MLLMs）依赖的 Transformer 架构视觉编码器（如 CLIP）中，存在明确的特征分工：[CLS] token 提炼图像宏观主题（如「大象」「森林」），但会舍弃细粒度细节；patch tokens 则编码局部信息（如「大象耳朵形态」「植被密度」），是模型精准理解图像的关键，缺失会导致对抗样本语义真实性不足。
现有对抗攻击方法的核心局限的是，仅聚焦 [CLS] token 全局特征对齐，忽略 patch tokens 的局部价值，引发两大问题：一是语义对齐不充分，全局特征难区分「大象在森林」与「大象在草原」这类细节差异，局部特征却能清晰界定；二是迁移性差，扰动过度适配替代模型的全局特征，闭源 MLLMs（如 GPT-4o）因视觉编码器设计不同，易识别「虚假语义」，攻击效果骤降。
为突破此局限，FOA-Attack 提出「全局 + 局部」双维度对齐思路（如图 1 所示）：
图 1 (a) 中「特征最优对齐损失」包含两大模块，全局层面用余弦相似度损失对齐 [CLS] token，保证整体语义一致；局部层面通过聚类提取关键模式，将对齐建模为最优传输（OT）问题（右侧「Optimal Transmission」），用 Sinkhorn 算法实现细粒度匹配。
图 1 (b) 的「动态集成模型权重策略」则让多编码器并行生成对抗样本，依收敛速度自适应调权 —— 易优化模型权重低、难优化模型权重高，避免偏向单一模型特征。两者互补，解决了单一维度对齐缺陷，显著提升对开源及闭源 MLLMs 的攻击迁移性。
