CAIS、CAISI 与社会规模风险

问题

第 19、20 课涵盖实验室内部的扩展政策。第 21 课涵盖独立能力评测。本课涵盖第三种视角：塑造灾难性 AI 风险公共讨论与监管基线的公民社会与政府组织。

有两个不同的实体值得注意。CAIS 是一家非营利研究组织，发布思考 AI 风险的框架并协调公开声明。CAISI 是 NIST 内部面向美国政府的中心，与实验室开展自愿协议，并进行非密能力评测。名字押韵；使命并不重叠。实践者两个都该知道。

实际内容：CAIS 的四类风险框架是文献中被引用最多的社会规模风险分类法。安全文化属于组织风险，是四类之一，也是最直接处于实践者控制之下的一类。SB-53（加州）若签署，将成为美国首个州级灾难性风险法规；该法案的框架很重要，因为在美国科技政策中，州级监管历来先于联邦行动。

概念

CAIS —— AI 安全中心

• 成立：2022 年，旧金山，由 Dan Hendrycks 及同事创立（「Zhang」这个名字指一位早期合作者，不是现任联合创始人；现任领导层见 CAIS 网站）。
• 状态：501(c)(3) 非营利组织。
• 2023 年重要产出：灭绝风险声明，由数百名研究者和 CEO 联署。声明称：「缓解 AI 带来的灭绝风险，应当与流行病和核战争等其他社会规模风险一样，成为全球优先事项。」
• 2026 年产出：用于前沿模型评测的 AI Dashboard、远程劳动指数（与 Scale AI 合作）、超级智能战略论文、AI Frontiers 通讯。

四类风险框架

CAIS 的框架将灾难性 AI 风险归为四个顶层类别：

1. 恶意使用：恶意行为者利用 AI 造成危害（合成生物武器、虚假信息、网络攻击）。
2. AI 竞赛：实验室、公司或国家之间的竞争压力把部署推过安全点。
3. 组织风险：实验室内部动态（安全文化失败、审计不足、安全资源不足）导致糟糕的部署。
4. 失控 AI：能力足够强的 AI 追求与人类福祉冲突的目标。

这不是唯一的分类法；它是被引用最多的。这些类别并不互斥——一个由在竞赛中为速度牺牲审计的组织产出的失控 AI，同时属于四类。

组织风险的位置

在四类中，组织风险对实践者最可操作。实验室的安全文化、审计严格度、防御分层和信息安全，决定了他们的模型发布时是否真正具备第 10–18 课的控制措施，还是那些控制只是没人核实过的清单项。

具体的组织风险杠杆：

• 安全文化：团队成员是否感到可以提出关切而不付出职业代价？CAIS 的调查发现，这是其他杠杆的强预测因子。
• 严格审计：外部和内部。仅有内部审计会产生乐观的报告。
• 多层防御：任何单一层都不够（第 15 阶段的贯穿主题）。
• 信息安全：模型权重泄露、评测数据泄露、监控绕过技术泄露。第 19 课中的 RAND SL-4 是一项具体标准。

CAISI —— 人工智能标准与创新中心

• 在 NIST 内部运作。
• 与前沿实验室开展自愿协议。
• 发布非密能力评测，聚焦网络、生物和化学武器风险。
• 与 CAIS 不同；缩写相撞；查看 URL（nist.gov）以确认你读的是哪一个。

CAISI 的角色是 METR 私人实验室合作（第 21 课）的公开、面向政府的对应物。CAISI 报告是非密的；METR 报告通常受 NDA 限制。同时阅读两者的实践者能获得更完整的图景。

加州 SB-53

加州参议院法案（2025–2026 会期）针对前沿模型的灾难性风险。草案中的关键条款：

• 触发州级义务的具体能力阈值。
• 对 AI 实验室员工的举报人保护。
• 灾难性故障的事件报告要求。

若签署，它将成为美国首个州级灾难性风险法规。无论签署状态如何，该法案的框架都会影响其他州立法机构处理该问题的方式。加州的实践者应跟踪法案状态；其他地方的实践者应阅读它，以了解美国州级监管可能的样子。

社会规模风险不是单层问题

第 15 阶段的贯穿主题——纵深防御——同样适用于社会层。没有任何单一组织、法规或框架能消除灾难性风险。生态系统只有在以下条件同时成立时才运转：

• 实验室发布扩展政策（第 19、20 课）。
• 外部评测者产出测量（第 21 课）。
• 公民社会跟踪并公开（CAIS）。
• 政府运行自愿项目和基线监管（CAISI、SB-53）。
• 实践者构建多层控制（第 10–18 课）。

这是本阶段的最终综合：此前每一课都是栈中的一层，栈的完整性比任何单层强度都重要。

使用它

code/main.py 实现了一个小型风险清单工具。给定一个拟议部署，它按四类风险打标签并返回缓解清单。它是该框架的阅读辅助，不能替代人的判断。

交付它

outputs/skill-societal-risk-review.md 评审一个部署的社会规模风险姿态：它触及四类中的哪些、已有哪些缓解措施、组织风险暴露是什么。

练习

1. 运行 code/main.py。输入三个不同规模的合成部署。确认四类风险标签符合预期；找出一个工具打错标签（过少或过多）的案例。

2. 完整阅读 CAIS 的四类风险论文。选一个风险类别，用两段话写下你认为该类别 2026 年最重要的发展。

3. 阅读加州 SB-53 的当前草案。找出你认为一条增强灾难性风险姿态的条款，以及一条你认为削弱的条款。为两者给出理由。

4. 选一个你了解的生产 AI 部署（你自己的或已公开的）。按组织风险的子杠杆给它打分：安全文化、审计严格度、多层防御、信息安全。哪个最弱？把它补齐到合格水平需要什么成本？

5. 草拟 2028 年版四类风险框架，反映额外一年的能力进展和额外一年的部署经验。你会增加、删除或重组什么？

关键术语

延伸阅读

• Center for AI Safety — 四类风险框架的机构主页。
• CAIS — AI Risks that Could Lead to Catastrophe — 四类风险论文。
• CAIS — May 2023 statement on extinction risk — 简短的联合声明。
• NIST CAISI — 面向政府的 AI 标准与创新中心。
• Anthropic — Measuring agent autonomy in practice — 将实验室层面的承诺与社会规模框架联系起来。

示意图共 1 张