MedTsLLM：利用大模型进行多模态医学时间序列分析 - 约翰霍普金斯大学

文章预览

核心速览 在许多实际应用中，数据的复杂性和异质性对传统机器学习和信号处理技术提出了重大挑战。例如，在医学领域，有效分析多样的生理信号对患者监测和临床决策至关重要，然而却极具挑战性。我们介绍了MedTsLLM，一个通用的多模态大型语言模型（LLM）框架，它有效地整合了时间序列数据和丰富的文本形式的上下文信息来分析生理信号，执行三个具有临床相关性的任务：语义分割、边界检测和时间序列中的异常检测。这些关键任务能够对生理信号进行深入分析，并能为临床医生提供可操作的见解。 我们利用一个重编程层来对齐时间序列片段的嵌入与预训练LLM的嵌入空间，并将原始时间序列与文本上下文有效结合使用。鉴于医学数据集的多变量特性，我们开发了方法来处理多个协变量。我们还定制了文本提示，以包含患者特定信息。我们的 ………………………………