【AI安全治理】姚期智：有益的AGI与可证明的安全AGI，或是AI安全的两个方向

文章预览

随着以ChatGPT为代表的大模型飞速发展，越来越多的人开始关注人工智能的安全治理。图灵奖得主、中国科学院院士姚期智在2024世界人工智能大会人工智能前沿技术的治理挑战与应对论坛上呼吁：“人工智能安全治理日趋重要，超大型大模型的治理，需要尽快研发出规范。” “大模型会记得一些训练时用过的隐私数据。用户问它一个训练时完全没用过的问题，它的回答中可能会出现它训练里用过的数据。” 姚期智介绍道，此前有学者对GPT-2设计了一个攻击方法，让GPT-2产生20万个文本，用算法从其中选出1800个文本，使用了6种算法，发现平均33.5%的文本是在训练中使用过的。“在不久的将来，随着AI越来越多的出现在实际生活中，我们还需要面对物理智能、生物智能的风险。”姚期智谈道。 “通用人工智能的能力快速增长，人类是否还有能力管控它 ………………………………