1. 众说纷纭的代价

1.1. 在国家和超国家层面，在一个全面的、可执行的框架下，巧妙的监管可以平衡技术进步的需求与合理的安全限制，从科技巨头和军队，到高校的小型研究团队和初创企业，都应当受到监管

1.2. 制定并实施有效的法规是一项艰巨的任务

• 1.2.1. 技术日新月异，但走完立法流程需要数年时间

1.3. 目前，在车库里工作的业余爱好者能接触到更强大的工具，科技公司也在研发上投入了数十亿美元，而大多数政客仍在为媒体金句或拍照机会而整日奔波

1.4. 当政府陷入从一场危机到另一场危机的恶性循环时，政客几乎无暇应对那些需要专业知识且需要在不确定的时间范围内做出审慎判断的结构性问题

1.5. 各个技术领域存在数百个截然不同的项目，它们缺乏统一的规划和方向

1.6. 一个国家即便拥有丰富的专业知识、完备的制度、清晰的规划及充足的资源，也未必能够有效应对突如其来的危机

1.7. 在能够通过现代图灵测试的人工智能技术面前，即便最深思熟虑且富有远见的政府机构，其反应也可能与应对新冠疫情时相似

1.8. 政府总是善于应对过去的战争、过去的疫情以及过去的技术浪潮

1.9. 监管机构也总是善于监管可以预见的情况

2. 仅靠监管是不够的

2.1. 如果人工智能对基本人权或基础设施、公共交通、卫生或社会福利等关键系统产生影响，那么其将被归为“高风险”类别，将受到更加严苛的监管和问责

2.2. 大多数监管措施都需要在多方利益之间进行权衡

2.3. 对发展速度快、用途广泛的技术进行监管尤具挑战

2.4. 有效的监管不仅要依靠立法者，还需要警察、交通管理员、汽车公司、机械师、城市规划者和保险公司的共同参与

2.5. 新一轮技术浪潮即将到来，我们没有足够的时间让众多机构慢慢摸索应对策略，也无法静待正确的价值观和最佳实践自然形成，而是需要快速、准确地实施先进的监管措施

2.6. 每个国家都希望站在技术前沿，并希望向外界展示其实力，因为这是国家尊严的体现，是国家安全的保障，也是关乎生存的必要举措

• 2.6.1. 各国迫切希望监管这些技术，希望对技术进行遏制，主要是担心这些技术会威胁到国家作为权力中心的地位

2.7. 每个国家在发展技术时都融入了各自独特的法律和文化习俗

2.8. 监管无法阻止别有用心的破坏者或意外事故的发生，也无法触及开放且难以预测的研究体系的核心问题

• 2.8.1. 考虑到技术发展带来的巨大经济利益，监管也无法提供其他替代方案

• 2.8.2. 监管措施并不能解决战略上的必要性问题

• 2.8.3. 各国如何就这一诱人的、难以定义的跨国现象进行协调，特别是在国际条约经常失效的背景下，如何构建微妙而关键的联盟力量

2.9. 遏制技术浪潮的欲望与塑造和拥有它的欲望之间，以及防范技术带来的风险与防范他人带来的风险之间，存在无法逾越的鸿沟

2.10. 一个国家政府，甚至多国政府联手，都难以实现有效的遏制

2.11. 依靠监管是远远不够的，但监管至少是一个起点

3. 新的大契约

3.1. 对技术的有效遏制能使我们摆脱困境

3.2. 除了严厉打击滥用扩散技术的行为外，技术遏制还指导着新生技术的发展、方向和治理

3.3. 遏制需要对技术本身的特性做出反应，并将其引导至更易于掌控的方向

3.4. 可行的路径

• 3.4.1. 技术的潜在应用场景越多，控制起来就越困难

  • 3.4.1.1. 相较于通用系统，我们更应当鼓励使用适用范围更窄、针对特定领域的技术系统

• 3.4.2. 技术的非物质化程度越高，就越容易受到难以掌控的超级进化性的影响

• 3.4.3. 技术的价格和复杂性是否在降低

• 3.4.4. 安全可行的替代技术越多，就越容易淘汰现有技术

  • 3.4.4.1. 氯氟碳化物之所以能被禁用，部分原因是存在更便宜、更安全的制冷替代技术

• 3.4.5. 某些技术更容易带来意外并暴露漏洞，风险更大

• 3.4.6. 从本质上来讲，一项技术越需要人为干预，失控的可能性就越小

• 3.4.7. 在人工智能或生物技术领域抢占领先地位则将获得巨大的经济和军事优势

  • 3.4.7.1. 这些“优势”技术更难拒绝

• 3.4.8. 将技术发展转向防御而非进攻，有助于实现技术遏制

• 3.4.9. 从全球范围来看，适合合成生物学初创企业的杰出人才仍然凤毛麟角

  • 3.4.9.1. 这些因素都有助于在短期内实现技术遏制

3.5. 专用技术相较于通用技术更容易监管，但通用技术的监管更为重要

4. 洪水来临之前

4.1. 人们很难想到技术还包括对全球粮食供应至关重要的灌溉系统，以及新生儿生命维持设备

4.2. 技术的作用远不只存储自拍照片，它代表着世界文化和智慧的积

4.3. 科技并非小众领域，它是主导人类生活的核心

4.4. 气候变化所涉及的风险通常具有分散性、不确定性，在时间和空间上都比较遥远，缺乏像在热带草原上遭遇伏击时那样的显著性、紧张感和即时性—这种风险正是我们擅长应对的风险类型

4.5. 认识问题

• 4.5.1. 需要冷静地承认，技术浪潮即将到来，如果不大幅改变现有路线，我们就将陷入困境

4.6. 着眼于边际收益，即通过缓慢、持续地汇聚小成果来提高理想结果出现的概率

4.7. 目标是改变技术开发和应用的环境，其中包括想方设法争取时间、放慢节奏、为深入研究答案提供空间、引起大众关注、建立联盟，以及推进技术工作等

4.8. 任何期待迅速解决问题、寻找简单答案的人肯定会失望

5. 安全

5.1. 技术安全的阿波罗计划

5.2. 人类的文字创作中总是少不了恶意的偏见，而人工智能则会进一步放大这些偏见

5.3. 从错误信息到煤气灯效应等一系列严重问题也尚未解决

5.4. 人工智能在消除不良输出方面取得的飞速进步无疑是令人瞩目的

• 5.4.1. 通过人类反馈进行的强化学习

• 5.4.2. 为了纠正带有偏见的大语言模型，研究人员采用了精心构建的多轮对话机制，诱导模型产出令人不悦、有害或冒犯性的言论，观察它在何种情境下以及以何种方式犯这样的错误

• 5.4.3. 与我们试图教导孩子们在餐桌上避免使用不恰当语言的方式并无太大不同

5.5. 解决大语言模型中的种族主义和偏见问题是一个例证，说明了谨慎和负责任的部署对于提升这些模型的安全性是必要的

• 5.5.1. 通过多接触现实世界，开发人员能够更好地理解、纠正并改进这些模型的安全性

5.6. 尽管认为靠技术修复就能解决人工智能带来的社会和伦理问题是错误的观点，但不可否认的是，技术修复确实可以成为这些问题解决方案的一部分

• 5.6.1. 确保技术安全，包括代码和实验室的安全，是任何技术遏制计划的首要环节

5.7. 从物理上控制技术很重要

• 5.7.1. 技术遏制并非简单地构建一个魔法盒子来封存技术，但这并不表示我们不想努力打造一个这样的盒子

• 5.7.2. 最严格的控制模式仍然是物理层面的控制，这适用于服务器、微生物、无人机、机器人以及算法等各类技术元素

• 5.7.3. 断开互联网连接、减少人员接触以及限制外部接口等

• 5.7.4. 将人工智能系统封装在位置明确的物理盒子中

• 5.7.5. 在理论上能够阻止人工智能与更广泛的外界环境交互或以某种方式“逃逸”​

5.8. 物理隔离仅仅是调整技术安全架构以迎接新技术浪潮挑战的方式之一

5.9. 充分利用现有手段是技术遏制的重要的第一步

• 5.9.1. 国际原子能机构已发布了100多份安全报告，为从放射性废物分类到紧急情况准备等特定情境制定了具体的技术标准

• 5.9.2. 类似电气电子工程师学会这样的机构则管理着2 000多项技术安全标准，涵盖从自主机器人开发到机器学习等多个技术领域

• 5.9.3. 生物技术和制药行业几十年来一直在遵循比大多数软件企业更为严格的安全标准

5.10. 前沿人工智能安全研究仍然是一个尚未成熟的新兴领域，其主要目标是防止自主性日益增强的系统夺取人类对它们的理解和控制能力

5.11. 与潜在风险的严重性相比，人工智能的安全和伦理研究显得尤为不足

• 5.11.1. 只有少数机构出于资源方面的挑战，在认真对待技术安全问题

5.12. 必须做的是激励并直接资助该领域进行更多研究

5.13. 在人工智能领域，技术安全措施还包括沙盒和安全模拟，这些措施用于构建可验证安全性的气隙环境，以便在先进的人工智能系统被实际应用之前对其进行严格的测试

5.14. 解释能力也是技术安全前沿领域的一个重要方面

• 5.14.1. 目前尚无人能确切解释模型为何会产生特定的输出

5.15. 可证明有益的人工智能模型

5.16. 另一个长期存在的问题是如何攻克“可修正性”的难题，以确保我们能够始终访问并纠正系统

5.17. 几乎所有的现代复印机和打印机都采用了防止复制或打印货币的技术，有些机器会在你尝试此类操作时自动关闭

• 5.17.1. 可以为人工智能系统构建加密保护，以确保模型权重，即系统中最有价值的知识产权，只能被有限次地复制或在特定条件下复制

5.18. 无论是在合成生物学、机器人技术还是人工智能领域，最艰巨的挑战都莫过于创建一个绝对可靠的关闭程序，即一种能够终止任何可能失控的技术的手段

5.19. 太多的安全工作都是渐进式的，常常关注狭隘的影响评估、微小的技术问题或技术发布后才出现的问题，而非提前解决基础性问题，这种做法并不明智

5.20. 安全功能不应是技术发布后才考虑的问题，而应成为这些新技术的内在设计属性，从而为后续的所有工作奠定基础