哈佛、麻省推出面向医学多模态助手—PathChat

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 哈佛医学院、麻省理工学院、俄亥俄州立大学韦克斯纳医学等研究人员联合推出了，面向医学领域的多模态AI助手——PathChat。 PathChat不仅能理解、分析复杂的医学图像，还能基于多轮文本对话，为临床医生、医护人员提供精准和个性化的病理学指导。 论文地址：https://www.nature.com/articles/s41586-024-07618-3 为了提升PathChat的多功能处理能力，使用了一个多模态架构由视觉编码器、多模态投影和大语言模型三大块组成。 视觉编码器充当PathChat的“眼睛”也是整个架构的核心模块之一 ，可将高分辨率的病理学图像转换成机器可以处理的低维特征表示，使得视觉信息能够被语言模型理解和处理。视觉编码器 ………………………………