专栏名称: DeepTech深科技
“DeepTech深科技”是与麻省理工科技评论官方独家合作的一个新科技内容品牌。我们专注于关注三个方面:1、基于科学的发现;2、真正的科技创新;3、深科技应用的创新。
今天看啥  ›  专栏  ›  DeepTech深科技

北航团队提出全新偏好数据构建框架,助力大模型实现更全面的对齐效果

DeepTech深科技  · 公众号  · 科技媒体  · 2024-11-20 18:07
    

主要观点总结

近期科学研究领域取得多个重要进展:1.北京航空航天大学等团队合作提出PopAlign框架,通过集成六种对比响应的引导生成策略,帮助大模型构建更多样化的偏好数据,提高大模型的安全性和鲁棒性。2.王泽坤等研究大模型领域收获一系列成果,包括统一四个模态数据理解和生成大模型MIO等。3.科学家在神经系统疾病治疗、大气水收集装置、固态钠离子电池、人工生物叶片和AI可持续发展等方面也取得重要突破。

关键观点总结

关键观点1: PopAlign框架助力大模型对齐效果提升

北京航空航天大学等团队通过集成多种对比策略,提出了PopAlign框架,以提高大模型的安全性和鲁棒性。该框架能够摆脱额外的人类或AI反馈标签,提升对齐效果并降低对齐成本。

关键观点2: 王泽坤等大模型领域收获一系列成果

王泽坤等人在大模型领域取得一系列重要成果,包括统一四个模态数据理解和生成大模型MIO、大模型的角色扮演数据模型评测全方案RoleLLM等。他们的研究为大模型的应用和发展提供了重要支持。

关键观点3: 神经系统疾病治疗的新突破

科学家揭示了核斑点在RNA剪切中的角色,为探索核斑点转录组提供更优工具,为神经系统疾病的治疗提供了新的突破和思路。

关键观点4: 大气水收集装置的研发

科学家以树蛙皮肤为灵感研制出大气水收集装置,每平方米产能超过60升/天,有望满足工业级用水需求,为解决水资源短缺问题提供新思路。

关键观点5: 固态钠离子电池的新突破

孙学良院士团队开发了双阴离子基钠超离子导体,打破了传统固态电解质的局限,为开发高性能全固态钠离子电池开辟新途径。

关键观点6: 科学家制备人工生物叶片

科学家结合有机半导体薄膜与细菌人工光合作用,制备出具有自支撑和能量自给特性的人工生物叶片,为可再生能源和环境保护领域的研究提供新思路。

关键观点7: 生成式AI的可持续发展问题

针对生成式AI可能产生大量电子垃圾的问题,科学家提出算力物质流方法,为AI的可持续发展提供新视角。


文章预览

近期,北京航空航天大学、AI 初创公司 零一万物 、清华大学等团队合作,提出了一种 PopAlign 框架。 它集成了六种对比响应的引导生成策略,全面覆盖了在响应生成过程中可能出现的各种对比先验。 这些对比策略分别包括前缀对比、示例对比、引导对比、参数数量对比、排行榜对比和改良对比,涵盖了从提示(Prompt)、模型(Model)到管道(Pipeline)的多个层级。 通过对这些对比引导策略的综合应用,该课题组能够帮助大模型构建出更加多样化的偏好数据。并且,由于先验足够明确,也可以摆脱额外的人类或 AI 反馈标签。 基于此,PopAlign 不但提升了对齐效果,而且降低了对齐成本,为大模型的安全性和鲁棒性提供了保障。 图丨 PopAlign 的工作流程(来源: arXiv ) 近日,相关论文以《PopAlign:使对比模式多样化,实现更全面的对齐》( PopAlign: Diver ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览