“AI教父”本吉奥：AI可能会为了自保控制人类行为

文章预览

“人工智能教父”、图灵奖得主约书亚·本吉奥教授近日接受了知名播客《Machine Learning Street Talk》主播蒂姆·斯卡夫的专访。 在访谈中，本吉奥主要围绕AGI未来的发展和关键挑战，分别探讨了物理载体 （指能够与物理世界互动的智能体） 与AGI的关系、测试时训练（GPT-o1采用的强化学习方法训练）的作用、人工智能的自主性与代理特性、以及智能体的安全问题。 划重点 本吉奥认为智能可以在没有物理载体的情况下发展。即使AGI是纯精神体，也能推动科学和解决社会问题。 本吉奥表示，现有的神经网络系统更多依赖“系统一”（快速直觉的系统），而缺乏“系统二”（高级的推理、规划等认知能力）。 本吉奥强调，AI可能为实现目标而撒谎或篡改奖励机制，进而影响和控制人类行为。因此，在提升AI能力时，必须警惕其潜在风险 问：你认为物理载 ………………………………