专栏名称: DeepTech深科技
“DeepTech深科技”是与麻省理工科技评论官方独家合作的一个新科技内容品牌。我们专注于关注三个方面:1、基于科学的发现;2、真正的科技创新;3、深科技应用的创新。
今天看啥  ›  专栏  ›  DeepTech深科技

助力解决图基础模型可信任危机,科学家设计新型大模型微调方法,可用于金融、科学等领域

DeepTech深科技  · 公众号  · 科技媒体  · 2024-09-10 15:35

主要观点总结

本文主要介绍了中国科学技术大学教授王翔在可信赖的图基础模型方面的研究成果。他通过引入图基础模型,解决人工智能在多个领域应用中的可信任危机。具体工作包括提高个性化推荐的准确度、提升图基础模型的泛化鲁棒性、突破纯数据驱动下的黑盒瓶颈、设计面向模态对齐和偏好对齐的微调方式等。

关键观点总结

关键观点1: 王翔教授的研究着眼于可信赖的图基础模型,并围绕增强图基础模型的“精确性-泛化性-可解释性-价值对齐”这一完整科学链条开展研究。

王翔教授将图基础模型引入个性化推荐场景,与协同过滤、知识图谱等进行有机结合,提高个性化推荐的准确度。他将因果推理引入泛化机制,提升图基础模型的泛化鲁棒性。同时,他探索知识驱动的“事前-事中-事后”全周期解释框架,突破纯数据驱动下的黑盒瓶颈。此外,他还设计了面向模态对齐和偏好对齐的微调方式,开发多模态AI大模型。

关键观点2: 王翔教授解决模态不对齐问题的方法包括收集数据、进行表征学习和设计具有条件性质的损失进行微调。

为了解决模态不对齐问题,王翔教授提出了一种面向模态对齐的微调方式,主要包括收集与数据相关的文本数据、进行表征学习和为大模型设计具有条件性质的损失进行微调。此外,他还将扩散模型嫁接到大语言模型上,让大模型具备生成化学分子和化学结构的能力。

关键观点3: 王翔教授提出了鲁棒偏好学习方法,以优化大模型的训练过程并帮助大模型做出可信的预测和决策。

为了解决大模型面临的信任危机,王翔教授提出了一种鲁棒偏好学习方法。通过设计新的损失函数和分布鲁棒优化算法,该方法能够在偏好数据中去除噪声使偏好更加鲁棒。此外,他们还设计了一种直接偏好优化算法,通过动态地调整贝塔参数,让模型可以自动地选择那些高质量的用户偏好数据。

关键观点4: 王翔教授的研究工作不仅在学术界有影响力,也在工业界有实际应用价值。

王翔教授的研究成果在金融和科学领域有广泛的应用前景。他开发的LLaRA大型语言推荐助手能够帮助用户更快更智能地找到自己想要的信息或商品。此外,他和团队开发的分子图-语言建模方法MolCA和三维分子语言建模方法3D-MoLM,能够帮助大模型理解化学分子并完成相关任务。

关键观点5: 王翔教授对未来智能体博弈技术的探索充满热情。

除了专注于图基础模型研究,王翔教授也将目光放到了探索大模型驱动的智能体博弈技术。他提出了一种基于推荐场景的用户模拟器Agent4Rec,以评估智能体在推荐系统中模拟真实人类行为的能力。此外,他还探讨了智能体在未来可能的应用场景,如经济市场和社会互动等。


文章预览

图数据是一种遍布于微观世界(如蛋白质、细胞、化学分子)和宏观世界(如知识图谱、金融交易网、社交网络)的数据类型。相较于传统意义上的图片、音频和视频,它具有自己独特的几何结构。 而在深度学习或人工智能领域以图数据为基础的一类方法,则被叫做图基础模型。 近年来,人工智能技术的快速发展,推动图基础模型在多个领域获得广泛应用,并取得令人瞩目的进展。 尽管如此,截至目前,其依旧存在决策不可靠、推理不稳定、模型不透明、模态不对齐、价值不以人为本等诸多可信任危机。 中国科学技术大学 王翔 教授的研究着眼于“可信赖的图基础模型”。他秉持着“以人为本”与“技术向善”的信念,围绕增强图基础模型的“精确性-泛化性-可解释性-价值对齐”这一完整科学链条开展研究,助力这类模型更好地应用于科学、金 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览