AI 安全与对齐关注如何确保 AI 系统按人类意图行事、不产生意外危害。随着大模型部署激增，越狱攻击、微调导致的安全退化、语音诈骗等现实威胁频发，安全对齐已从理论课题变为工程必选项。
当前主要玩家包括 OpenAI（红队测试）、Anthropic（宪法 AI）、DeepMind（可解释性），以及开源社区的工具（如 MLCommons 的 AI Safety 基准）。路线分为训练时对齐（RLHF、宪法 AI）和部署时防护（输入/输出过滤器、自适应检测）。
怎么上手、怎么选
上手路径：先建立安全基线——集成基础过滤库（如 OpenAI Moderation API 或开源分类器），对输入输出做实时扫描。然后引入红队测试：用自动化工具（如 Garak）模拟常见越狱模式，验证模型脆弱点。
选型时需权衡：若用第三方 API，优先选择提供安全护栏的提供商（如 Anthropic 的宪法 AI 微调）；若自开源模型微调，务必保留 10-20% 的数据作为安全对抗样本，并持续监控微调后安全指标下滑。
常见坑：过度依赖单一过滤层、忽视上下文越狱（如角色扮演、多轮诱导）、未区分不同语言的安全差异（如低资源语言防护更弱）。应建立多层防御：输入过滤 + 模型级对齐 + 输出审核 + 异常行为告警。
常见问题
对齐和红队区别是什么？
对齐是训练时就模型意图进行正向设计，如 RLHF、宪法 AI；红队是部署后查漏补缺，通过攻击测试发现安全漏洞。两者互补，对齐减少漏洞，红队暴露未覆盖场景。
开源模型是否更不安全？
不一定。开源模型安全性取决于社区贡献的防御方法。若缺乏对齐训练，开源模型可能更脆弱，但可通过微调添加安全层。闭源模型虽自带防护，但用户无法审计内部机制。
微调模型如何避免安全退化？
在微调数据中混合 5-10% 的安全正例/反例，采用多任务学习保留原始安全能力。微调后运行基准红队测试，若安全指标下降，回滚或增加对抗训练。
语音 AI 安全有何特殊风险？
语音生成与克隆已被用于电信诈骗，攻击者可伪造亲友声音。防御需结合声纹验证、内容关键词检测和主动挂断验证机制。输出端应加水印或不可听标记。
是否有国际安全标准？
MLCommons 的 AI Safety 基准、NIST AI 风险管理框架、ISO/IEC 42001 等正在形成。工程上应参考 OWASP 大模型安全 Top-10，实施输入注入、敏感数据泄露等控制。
可解释性能帮助安全吗？
能，但有限。可解释性（如注意力可视化）可定位模型内部分类器行为，帮助发现越狱触发模式。但完全解释大模型决策仍困难，建议作为辅助而非主要防线。