奥尔特曼提出，可以尝试使用AI系统来监督其他AI系统，OpenAI正在进行相关的研究
萨姆·奥尔特曼（SamAltman）是近期世界级热门科技人物。他是人工智能公司OpenAI的CEO与联合创始人，去年11月，OpenAI推出聊天机器人ChatGPT，五天后用户总数突破百万，两个月后破亿，引发全世界的AI新浪潮，目前公司最新估值接近300亿美元。
最近，奥尔特曼正在全球访问，已到访五大洲20多个国家，与当地用户、开发者、学生、政府交流，谈论AI与AI监管、安全问题。
6月10日上午，奥尔特曼在北京智源大会再谈AI安全。这是自ChatGPT发布以来，奥尔特曼首次在中国演讲。
ChatGPT让公众直观领受到AI的力量。它展现出强大的翻译、理解、推理能力，在多项考试中超过人类平均水平，在带来AGI（通用人工智能，像人一样思考、从事多种用途的人工智能）曙光的同时，也带来AI导致失业、虚假信息，甚至取代人类等问题的担忧。
奥尔特曼多次公开谈论AI安全问题。今年2月，他在一篇文章中称AGI有潜力赋能人类，也有招致社会混乱的风险，而OpenAI的使命是确保AGI造福全人类。
3月底，包括特斯拉CEO马斯克（Elon Musk）、苹果公司联合创始人史蒂夫·沃兹尼亚克（SteveWozniak）、AI独角兽Stability CEO埃玛德·莫斯塔克（EmadMostaque）等在内的科技领袖签署联名信，称AI技术“可能对社会造成灾难性影响”，呼吁各方立即暂停训练比GPT-4更强大的AI系统至少6个月，期间共同开发一套安全协议；若无法暂停，政府应当介入。
奥尔特曼未参与此次签名，称该信提出的方法并非最佳，缺少“我们需要暂停的技术细节”，但他承认谨慎行事、严格面对安全问题非常重要。
两个月后，他在另一封仅有22个单词的公开信上签名：“降低AI（给人类）带来灭绝的风险，应该与流行病、核战争等其他社会规模的风险一起，成为全球优先事项”。在5月中旬的参议院听证会上，奥尔特曼也敦促政府与立法机构对人工智能进行规范与监管。
在6月10日的发言中，他倡议全球各界就AI安全问题进行协作，建立互信关系与国际通行的AI安全规范，并推进AI对齐（alignment，即引导AI系统的行为，使其符合设计者的利益和预期目标）研究。
与马斯克们不同，奥尔特曼并不赞同人类应该为了避免AI的危害，而停止AI研究。相反，他提出，可以尝试使用AI系统辅助人类，监督其他AI系统，OpenAI正在进行相关的研究。而这一路径的好处是，随着AI技术的发展，监督AI的技术也在同步发展。
演讲后的问答环节，围绕AI安全以及OpenAI战略展开，提问者为智源研究院理事长张宏江。奥尔特曼认为，未来十年内，全球很可能拥有一个非常强大的AI系统，届时人类会面临很多安全问题，因此，要从现在开始准备。他透露，OpenAI近期不会研发GPT-5，并称中国有很多优秀的人才，他期待中国AI研究者们能为AI安全做出贡献。
以下为《财经十一人》翻译、整理的演讲原文及问答内容：
AI安全至关重要。
今天，我想谈谈未来。具体来说，就是AI系统的巨大发展，以及我们需要做些什么，来为AI部署到世界做好准备。
科学史告诉我们，技术进步遵循指数曲线。我们已经在农业、工业和计算革命中见证这一点。而AI带来的影响，不仅在于规模，还在于其进展的速度。它正在以极快的速度拓展人类的想象力。
想象一下未来十年，AGI最终创造的生产力体量可能超过目前最大的公司。这场AI革命，将创造共享的繁荣，并减轻每个人的生活负担。但我们必须共同管理这个过程，才能实现这个目标。
现在，我时常感激大国们。它们求同存异，即使在历史上最困难的时刻，也找到了合作的方式。过往合作的重点多为医疗和科学领域，比如消灭小儿麻痹症和天花等疾病，以及减少气候变化。
随着愈发强大的AI系统出现，全球合作的利害关系变得前所未有的重要。如果我们不够谨慎，没有建立起一个对齐的机制，AI可能会提出不靠谱的建议，进而破坏整个医疗系统。类似地，旨在优化农业实践的AI系统，如果缺乏对长期可持续性的考量，可能反而导致自然资源的耗尽、生态系统的破坏，从而影响粮食生产和环境平衡。
我希望大家都能认同，推进AGI安全是我们共同的立场。接下来，我想重点谈谈，我们可以从哪里着手。
如何保障AI安全？
第一个领域是AGI治理。AGI拥有彻底改造文明的能力，因此，有意义的国际合作非常必要。如果能实现治理上的合作，并以安全、负责的方式引导这个过程，AGI系统可以为全球经济做出无与伦比的贡献，帮助解决气候变化、卫生安全等共同挑战，每个人都可以从中获益。
我深信，这会在未来实现。作为地球上的一员，我们需要投资于AGI安全，以实现并享受这个未来。而这需要谨慎的协调。这是一项全球性的技术，轻率发展带来的事故，将影响所有人。
国际合作中，有两个关键领域最为重要。
首先，我们需要建立国际规范和标准，并注重过程的包容性。我们要为所有国家建立相同的使用AGI的防护措施；在这些措施范围内，人们也有足够的机会做出自己的选择。
其次，要建立起全球的互信，以可验证的方式，安全地建立日益强大的AI系统。我知道这并不容易。我们需要为此付出大量而持续的关注。道教说：千里之行，始于足下。我认为，最有建设性的第一步，是国际科学界、技术界展开合作。
我们应该在AGI安全领域，推动建立增加透明度和知识共享的机制。发现紧急情况的研究人员应该为了人类的利益，分享他们的发现。我们需要仔细考虑，如何在尊重和保护知识产权的同时鼓励这种做法。
更广泛地说，我们应该推动、引导AI对齐和安全研究。在OpenAI，我们为了将AI系统打造成有帮助的、安全的系统，做了技术方面的对齐研究。比如，我们会调整ChatGPT，使其不会发出暴力威胁，或帮助用户进行有害活动。
但随着我们接近AGI，任何对齐问题的潜在影响和重要性都将成倍增长。现在解决这些问题，未来灾难性结果的风险就会降到最低。
对于当前的系统，我们主要利用来自人类反馈的强化学习（RLHF）进行训练，以保证它们有益、安全。这只是多种对齐技术中的一个例子，我们也在研发新的技术方法。
GPT-4完成预训练后8个月，我们都在进行对齐、解决安全问题，然后才部署。GPT-4的对齐程度，比我们之前的模型更高。
然而，对于更高级的AI系统来说，对齐仍然是一个未解决的问题。这需要新的技术方法，以及政府更多的监督。想想未来的AGI系统，可能包含10万行的二进制代码，人类监督者很难判断，它是否在进行不当行为。
我们已经确定了一些新的研究方向，希望能够取得突破。
首先是可扩展的监督。我们可以尝试利用AI系统辅助人类，监督其他AI系统。例如，我们可以训练一个模型，来帮助人类监督员发现其它模型输出内容的缺陷。
其次是可解释性。我们需要更好地理解，模型内部发生了什么。我们最近发表了一篇论文，使用GPT-4来解释GPT-2中的神经元。还有很长的路要走，先进的机器学习技术可以进一步提高我们解释模型的能力。
最终，我们的目标是训练AI系统，来辅助对齐研究。这种方法的优势在于，它能跟随AI技术同步发展。未来，模型会变得更加智能、更加有用，也能更好地辅助我们找到更好的对齐技术。
实现AGI的好处，并减轻其风险，是我们这个时代的重要挑战之一。我看到了美国、中国以及世界各地的研究人员的巨大潜力，如果合作能够实现，我相信我们能利用AGI解决世界上最重要的问题，并显著提高人类的生活质量。
以下为智源研究院理事长张宏江与奥尔特曼的问答，Q为张宏江，A为奥尔特曼。《财经十一人》对问答内容、顺序进行了删减与调整：
Q：这次环球访问中，你获得了哪些成果？
A：我认为一个重大进展是，人们对于共同制定“安全地开发先进AI系统”的国际标准感到兴奋，我们思考在部署强大模型之前，应该进行怎样的测试。我们讨论如何构建反映全球价值观和偏好的数据库；我们还探讨了如何建立机制来分享安全性研究。
Q：我们距离AGI还有多远？
A：确切的时间很难预测。这可能很快发生，也可能很久才实现。而且，不同人对AGI的定义也不相同。但我确实认为，在未来的10年内，我们很有可能拥有非常强大的AI系统。在那样的世界中，AI安全问题迫切而重要。历史上有一些例子，新技术比人们预想的更快地彻底改变世界。因此，我呼吁国际社会立即共同努力解决这个问题。
Q：我们可以仅仅通过对齐，来解决AGI安全问题吗？
A：我认为“对齐”这个词在不同的情境中有不同的含义。我们需要解决整个挑战，即如何确保我们的AI系统安全。从传统意义上说，对齐是指让模型的行为与用户意图一致，这当然是其中的一部分。但还会涉及其他问题，比如：如何验证系统正在按照我们期望的方式运行。我们需要看到整体情况。
Q：将来，我们是否有可能需要改变整AGI模型的基础架构，以使其更安全、更容易预测？
A：无论是从功能角度还是从安全角度来看，我们都有可能需要一些不同的架构。这有助于我们解释当前的模型。如果Transformer之后，架构领域又有一次巨大的飞跃，我不会感到意外。
Q：如果我们对世界上的模型数量进行控制，比如，世界上只有三种模型，就像控制拥有核武器的国家数量一样，这会让大模型更加安全吗？
A：我认为更重要的是，我们是否能建立起一个机制，让任何强大的模型都有足够安全措施的限制？我们是否有一个框架，让任何创建足够强大模型的人都具备资源和责任，确保他们创建出安全的系统？
Q：OpenAI和AGI的下一步是什么？会有GPT-5吗？
A：我对未来的发展也非常好奇。这是我最喜欢这项工作的一点：身处研究的前沿，没有人知道未来会发生什么，这让人充满兴奋和惊喜。我们正在探索许多关于未来的可能。当然，某个时候我们会尝试制作一个GPT-5模型，但不会很快。我们还不确定具体的时间。
Q：你如何构想OpenAI的发展，是什么促使你们坚定地朝这个方向努力？是什么让你不知疲倦地推动AI安全？
A：我无法想象任何一项比安全的AGI更令人兴奋、更重要的工作。刚起步时，我们认为成功的概率非常低；但如果我们能找到构建AGI的方法，那肯定会带来深刻的变革。而实现这个目标的一部分就是确保安全性。我真心相信，这是最具变革性的事情之一。
