文献 | 小麦育种多模态大语言模型：智能育种的新探索

文章预览

转自：植物表型资讯 无人机遥感技术 已成为作物育种中的一项关键技术，可实现作物表型数据的高通量、无损采集。然而，育种的多学科性质给知识挖掘带来了技术壁垒和效率挑战。因此，开发一种智能育种目标工具对跨域多模态数据的挖掘具有重要意义。基于Qwen-VL、InternVL、Deepseek-VL等不同的预训练开源多模态大型语言模型（MLLMs），采用监督微调（supervised fine-tuning，SFT）、检索增强生成（retrieval-augmented generation，RAG）和人类反馈强化学习（reinforcement learning from human feedback，RLHF）等技术，将跨领域知识注入MLLMs，构建小麦育种多模态大型语言模型（large language models for wheat breeding，WBLMs)）。上述WBLM采用本研究新建立的评价基准进行评价。结果表明，采用SFT、 RAG 和RLHF技术和InternVL2-8B构建的WBLM具有领先的性能。然后，使用WBLM进行后续实验。消融 ………………………………