新国大团队打造ALI-Agent框架，助力开发者审查大模型伦理合规等问题

文章预览

众所周知，大模型在理解文本和生成文本这两方面展现出令人瞩目的能力，并被广泛部署于各种应用程序中。 伴随着大模型的扩展应用，保持大模型与人类价值观对齐的重要性也日益凸显。 如果大模型生成的内容与人类价值观存在偏离，可能会带来传播有害信息、强化社会偏见、或提供违法指导等严重风险，进而对用户和社会造成负面影响。 在应对上述挑战中，现有的评估基准主要依赖人工设计上下文场景来评估大模型的对齐性。 但是，由于这种方式存在劳动密集、测试范围有限等弊端，难以覆盖现实世界中的各种应用场景，也无法及时适应大模型的快速演进从而发现新的对齐性漏洞。 与此同时，大模型赋能的智能体逐渐展现出优秀的自动化式解决任务的能力。 具体表现为：能从过往交互中提炼经验、整合外部工具、通过推理来解决复杂任务 ………………………………