177-B1｜攻击破解文生图NSFW防御，资源受限图像描述化（基于傅里叶变换），基于频率的INR与超分；DNN决策过程可解释系列

主要观点总结

本文介绍了三个关于人工智能和机器学习领域的最新研究，涉及图像生成、图像超分辨率和图像解释性。包括新颖的攻击方法RT-Attack，用于解决当前图像描述模型在资源有限设备上的效率瓶颈的SwiFTeR模型，以及通过适应性离散余弦变换频率损失解决频率一致性的FreqINR方法。还有关于解释性人工智能的新研究，通过基于特征联合的扰动解释方法来揭示深度神经网络决策过程。

关键观点总结

关键观点1: RT-Attack方法

一种新颖的黑盒攻击方法，旨在破解文本到图像（T2I）模型，通过两阶段的随机搜索算法利用随机令牌生成对抗性提示，增强攻击的有效性和隐蔽性，绕过最新的防御机制，展示出相较于现有方法显著提高的成功率和效果。

关键观点2: SwiFTeR模型

一种全新的图像描述模型，通过结合傅里叶变换和保留机制，以更高效的方式处理视觉特征，提高计算效率。尽管生成的描述质量较低，但预示着有进一步提升的空间。

关键观点3: FreqINR方法

一种解决图像超分辨率问题的方法，通过引入适应性离散余弦变换频率损失（ADFL）确保频率一致性，有针对性地恢复图像中的高频细节。以轻量级的设计在计算效率上展现出显著优势，达到当前最先进的性能。

关键观点4: 基于特征联合的扰动解释方法

一种解释深度神经网络决策过程的方法。通过提取相关特征的框架进行网络解释，考虑特征之间的相互依赖关系。采用基于强化学习的偏好优化算法（RLPO）生成概念图像集，提高解释的可理解性和有效性。

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） Topic: Image Generation｜T2I Safety｜NSFW RT-Attack: Jailbreaking Text-to-Image Models via Random Token 2024-08-25｜NKU, NTU, Alibaba Group, Oxford , A*STAR｜⭐️ http://arxiv.org/abs/2408.13896v1 概述 本文介绍了一种新颖的黑盒攻击方法，称为RT-Attack，旨在破解文本到图像（T2I）模型，具体是为了绕过针对不安全内容（NSFW）的防御机制 。随着T2I模型在图像生成和编辑方面的成功，这些技术在生成潜在危险内容方面带来了严重的安全隐患。大多数现有的攻击方法视T2I模型为“白盒”系统，利用梯度信息进行对抗性提示优化，但在实际场景中，攻击者往往无法访问模型的梯度。因此，本文提出了一种两阶段的随机搜索算法，利用随机令牌生成对抗性提示，不需要模型的梯度，从而增强攻击的有效性和隐蔽性。通过实验证 ………………………………