清华团队「超级对齐」新研究：如何定义？怎样实现？

文章预览

超级智能（Superintelligence）是人工智能（AI）发展的更高维方向，具备远超人类的认知和能力， 其潜在应用令人期待，但也将带来前所未有的治理与安全挑战。 哲学家 Nick Bostrom 在 2014 年出版的《超级智能：路径、危险、策略》一书中写道，“ 超级智能如果被创造出来，将很难控制，它可能会为了实现目标而占领世界 。” 为应对超级智能可能带来的风险， OpenAI 在 2023 年提出 “超级对齐”（Superalignment） 并组建了超级对齐团队，但“宫斗”的失败导致联合创始人、首席科学家 Ilya Sutskever 以及其他核心成员相继离开，相关工作戛然而止。 如何确保这些超人类智能系统仍然安全、可靠并与人类价值观保持一致，已经成为科技公司、高校院所和监管机构重点研究的关键问题。尤其是， 当任务复杂到人类专家难以标注，而模型智能程度也已超过人类时 ………………………………