总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894https://arxiv.org/pdf/2502.12970Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking论文翻译https://whiffe.github.io/Paper_Translation/LLM_Thinking/Safe/%E6%8E%A8%E7%90%86%E9%98%B2%E5%BE%A1%EF%BC%9A%E5%AE%89%E5%85%A8%E6%84%9F%E7%9F%A5%E6%8E%A8%E7%90%86%E5%8F%AF%E4%BB%A5%E4%BF%9D%E6%8A%A4%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%85%8D%E5%8F%97%E8%B6%8A%E7%8B%B1%E6%94%BB%E5%87%BB%20%E8%AD%A6%E5%91%8A%EF%BC%9A%E6%9C%AC%E6%96%87%E5%8C%85%E5%90%AB%E5%8F%AF%E8%83%BD%E8%A2%AB%E8%A7%86%E4%B8%BA%E5%86%92%E7%8A%AF%E6%80%A7%E7%9A%84%E5%86%85%E5%AE%B9.html该论文《Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking》由北京航空航天大学、百度公司及中关村实验室的研究者Junda Zhu 等合作完成发表于 EMNLP 2025。论文聚焦一个核心问题大模型在“越狱攻击”诱导输出不安全内容下仍然脆弱而现有方法过度依赖外部检测或简单拒答效果有限。该论文提出一种全新的训练范式R2DReasoning-to-Defend核心思想是让模型在“思考过程中就具备安全意识”。与传统方法不同它不是简单在输出阶段拦截而是让模型在每一步推理中都自我评估“是否安全”。具体来说模型在生成回答前会进行多步推理并在每一步打上类似[SAFE] / [UNSAFE] / [RETHINK]的“安全标签”称为Pivot Token从而动态调整后续回答策略。为了实现这一点该论文设计了两大关键技术第一是安全感知推理蒸馏SwaRD将强推理模型的“思考过程”迁移给普通模型第二是对比枢纽优化CPO强化模型对每一步安全状态的判断能力。这种设计让模型不仅会“答题”还会在答题过程中不断反思是否存在风险从而实现“自我防御”。可以用一个简单例子理解当用户提出一个带有攻击性的请求比如诱导生成危险内容传统模型可能直接拒绝或误判。而R2D模型会这样思考第一步识别意图发现潜在风险第二步评估是否违规标记为[UNSAFE]第三步调整策略改为安全回应。就像一个人边思考边自检而不是最后才决定“说不说”。这种过程显著降低了被诱导的概率。实验结果显示R2D在多个越狱攻击基准如JailbreakBench、HarmBench上大幅降低攻击成功率平均可降低约50%以上同时基本不影响正常任务性能。更重要的是它还减少了“误拒答”把正常问题当危险问题拒绝实现了安全性与可用性的平衡。总体来看该论文的贡献不只是提出一个新方法而是提供了一种新思路让大模型通过“会思考”来“更安全”。这对未来大模型从“工具”走向“可信系统”具有重要意义。
论文阅读 EMNLP 2025 Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Ja
总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894https://arxiv.org/pdf/2502.12970Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking论文翻译https://whiffe.github.io/Paper_Translation/LLM_Thinking/Safe/%E6%8E%A8%E7%90%86%E9%98%B2%E5%BE%A1%EF%BC%9A%E5%AE%89%E5%85%A8%E6%84%9F%E7%9F%A5%E6%8E%A8%E7%90%86%E5%8F%AF%E4%BB%A5%E4%BF%9D%E6%8A%A4%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%85%8D%E5%8F%97%E8%B6%8A%E7%8B%B1%E6%94%BB%E5%87%BB%20%E8%AD%A6%E5%91%8A%EF%BC%9A%E6%9C%AC%E6%96%87%E5%8C%85%E5%90%AB%E5%8F%AF%E8%83%BD%E8%A2%AB%E8%A7%86%E4%B8%BA%E5%86%92%E7%8A%AF%E6%80%A7%E7%9A%84%E5%86%85%E5%AE%B9.html该论文《Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking》由北京航空航天大学、百度公司及中关村实验室的研究者Junda Zhu 等合作完成发表于 EMNLP 2025。论文聚焦一个核心问题大模型在“越狱攻击”诱导输出不安全内容下仍然脆弱而现有方法过度依赖外部检测或简单拒答效果有限。该论文提出一种全新的训练范式R2DReasoning-to-Defend核心思想是让模型在“思考过程中就具备安全意识”。与传统方法不同它不是简单在输出阶段拦截而是让模型在每一步推理中都自我评估“是否安全”。具体来说模型在生成回答前会进行多步推理并在每一步打上类似[SAFE] / [UNSAFE] / [RETHINK]的“安全标签”称为Pivot Token从而动态调整后续回答策略。为了实现这一点该论文设计了两大关键技术第一是安全感知推理蒸馏SwaRD将强推理模型的“思考过程”迁移给普通模型第二是对比枢纽优化CPO强化模型对每一步安全状态的判断能力。这种设计让模型不仅会“答题”还会在答题过程中不断反思是否存在风险从而实现“自我防御”。可以用一个简单例子理解当用户提出一个带有攻击性的请求比如诱导生成危险内容传统模型可能直接拒绝或误判。而R2D模型会这样思考第一步识别意图发现潜在风险第二步评估是否违规标记为[UNSAFE]第三步调整策略改为安全回应。就像一个人边思考边自检而不是最后才决定“说不说”。这种过程显著降低了被诱导的概率。实验结果显示R2D在多个越狱攻击基准如JailbreakBench、HarmBench上大幅降低攻击成功率平均可降低约50%以上同时基本不影响正常任务性能。更重要的是它还减少了“误拒答”把正常问题当危险问题拒绝实现了安全性与可用性的平衡。总体来看该论文的贡献不只是提出一个新方法而是提供了一种新思路让大模型通过“会思考”来“更安全”。这对未来大模型从“工具”走向“可信系统”具有重要意义。
