ChatGPT写文章调代码，文心一言巧解鸡兔同笼数学题，Microsoft 365Copilot帮“打工人”做PPT，Midjourney V5绘制的20世纪90年代中国情侣刷屏朋友圈……人工智能领域的大事一件接着一件，令人欣喜，也引人担忧。担心被AI“抢饭碗”，担心AI发展过快超出人类管控的能力范围。

最近，包括“ChatGPT之父”、OpenAI创始人兼CEO山姆·阿尔特曼，谷歌DeepMind公司CEO戴密斯·哈萨比斯以及美国Anthropic公司的CEO达里奥·阿莫代伊在内的一众AI界大佬联名签署了一封公开信，信的内容很短，加上the和a在内仅有22个单词。字数少，但信息量很大。信中这样说：“与流行病和核战争等其他社会规模的风险一样，缓解人工智能导致的灭绝风险应该被视作全球的优先事项。”信中把AI提到了与流行病和核战争同样的级别，足以见得AI野蛮生长带来的问题的严重性。比如AI系统设计不当或被恶意使用，可能会让歧视和偏见不断固化、虚假信息蔓延、隐私数据泄露……呼吁全球通力合作，对人工智能进行规范与监管，共同去应对、去解决AI超速发展带来的挑战。

上一封著名的AI公开信是在3月底，距离GPT-4发布仅两周时间。包括特斯拉CEO埃隆·马斯克在内的1000多名企业高管、学界专家联署发表公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统，暂停至少6个月。

【资料图】

为什么全球顶尖AI公司的高管和学界大咖要呼吁限制AI发展，他们在担心些什么？或许是AI快速发展在带给人们惊喜的同时也带来了未知，有些问题甚至连开发者本身都无能为力。

近日，在2023北京智源大会上，阿尔特曼呼吁全球各方就AI安全问题通力合作，建立国际通行的AI安全标准，并推进人工智能对齐（AI alignment，即引导AI系统的表现，使其符合设计者的预期目标）研究。他提出，可以尝试使用AI系统辅助人类来监督其他AI系统。以未来的AGI（通用人工智能）系统为例，可能包含10万行的二进制代码，人类有必要借助AI来辅助监督，判别系统是否存在违规行为。除了必要性之外，这种方法的好处在于，伴随AI技术的突破，AI监管技术也在同步发展。

在与智源研究院理事长张宏江围绕“AI安全与对齐”议题的问答讨论中，阿尔特曼谈到，未来十年内，全球很可能拥有一个非常强大的AI系统，届时人类会面临很多安全问题，因此，要从现在开始做好准备。他强调，对于AI安全而言，建立统一公平的框架和测试标准，让每个达到一定能力的AI模型都接受测试具有重要意义。他表示，解决AI对齐问题难度极大，需要来自世界各地最好的头脑，并称中国有很多优秀的人工智能人才，期待中国AI研究者能为AI安全提供中国智慧。

请扫码观看视频

划重点！关于AI对齐

什么是AI对齐？

AI对齐（AI alignment）是AI控制问题中的一个主要问题，即要求AI系统的目标要和人类的价值观与利益保持一致。

实现AI对齐面临哪些挑战？

◆ 选择合适的价值观

◆ 将价值观编码到AI系统中，使系统表现与价值观一致

◆ 选择合适的训练数据

AI对齐的研究方法

DeepMind和OpenAI围绕AI对齐分别从“提出合适的价值观”和“用技术方法实现对齐”两方面进行研究。

在用技术方法实现对齐方面，DeepMind提出了一种基于“逆强化学习（Inverse Reinforcement Learning）”的方法，该方法关注人类的行为，能够从行为表现中推断出价值观，并将其编码到AI系统中。OpenAI则提出了一种基于“对抗训练（Adversarial Training）”的方法，通常用于增强模型的鲁棒性和泛化能力，该方法可以让AI系统在与人进行交互时学习到人类的价值观。

逆强化学习的关注点在于人类的行为，从行为表现推断价值观；而对抗训练的重点是交互，从AI系统与人的交互中学习价值观。

关键词：