暂停大型人工智能实验：公开信
发布网站：Future of Life Institute
会议时间：2023年3月29日
原文链接：
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
免责声明：本纪要仅供浙商证券的客户使用，本公司不会因接收人收到本纪要而视其为本公司的当然客户；会议纪要由浙商证券科技团队翻译/整理，内容根据官网发布内容翻译而来，或因语法理解、翻译有误、翻译不完整等原因造成含义与公司表述有偏差的风险，仅供参考，准确内容请参见原文链接；会议纪要内容仅供投资者参考，不包含任何浙商证券研究所的投资意见和建议，投资者需自行承担投资决策的风险。
我们呼吁所有人工智能实验室立即暂停对比GPT-4更强大的人工智能系统的培训至少6个月。
大量研究表明，具有人类竞争情报的人工智能系统可能对社会和人类构成深刻风险，并得到顶尖人工智能实验室的认可。正如得到广泛赞同的Asilomar人工智能原理,先进的人工智能可能代表着地球生命史上的一场深刻变革，应该以相应的关心和资源进行规划和管理。不幸的是，这种水平的规划和管理并没有发生，尽管最近几个月来，人工智能实验室陷入了一场失控的竞赛，开发和部署更强大的数字思维，没有人——甚至他们的创造者——能够理解、预测或可靠地控制。
当代人工智能系统在一般任务上正变得具有人类竞争力，我们必须问自己：
应该让机器用宣传和谎言淹没我们的信息渠道吗？
应该自动化了所有的工作吗，包括令人满意的工作吗？
应该让我们开发出非人类的思想，最终可能会在数量上超过我们，比我们聪明，被淘汰，甚至取代我们？
应该让我们会冒着失去文明控制的风险吗？
这样的决策决不能委托给未经选举产生的技术领导者。只有当我们确信强大的人工智能系统的影响将是积极的，其风险将是可控的时候，才应该开发它们。这种信心必须有充分的理由，并随着系统潜在影响的大小而增加。OpenAI的最近关于人工通用智能的声明指出，“在某个时候，在开始训练未来的系统之前获得独立审查可能是重要的，对于最先进的努力，同意限制用于创建新模型的计算增长率。”我们同意这一点，就是现在。
因此，我们呼吁所有的人工智能实验室立即暂停至少 6 个月的比GPT-4更强大的 AI 系统的培训。这一暂停应该是公开的和可核查的，并包括所有关键行为者。如果这样的暂停不能迅速实施，各国政府应该介入并实施暂停。
人工智能实验室和独立专家应该利用这段时间，共同开发和实施一套高级人工智能设计和开发的共享安全协议，由独立外部专家进行严格审计和监督。这些协议应确保遵守协议的系统是安全的，排除合理的怀疑。这不是意味着人工智能发展总体上的暂停，只是从危险的竞赛中后退一步，以便向具有突发能力的更大的不可预测的黑盒模型前进。
人工智能的研究和开发应该重新聚焦于使今天强大的、最先进的系统更加准确、安全、可解释、透明、强大、一致、值得信赖和忠诚。
同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的新的和有能力的监管机构；监督和跟踪高能力的人工智能系统和大型计算能力池；出处和水印系统，以帮助区分真实和合成，并跟踪模型泄漏；强大的审计和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金；以及资源充足的机构，以应对人工智能将导致的巨大的经济和政治破坏。
人类可以通过人工智能享受一个繁荣的未来。现在，在成功创造出强大的人工智能系统之后，我们可以享受一个 "人工智能之夏"。在这个夏天，我们收获了回报，为所有人的共同利益设计这些系统，并给社会一个适应的机会。社会已经暂停了对社会有潜在灾难性影响的其他技术，我们在这里也可以这样做。让我们享受一个漫长的人工智能夏季，而不是在毫无准备的情况下匆忙坠入秋季。
